[nikruba]

Из спортивного интереса можно пробовать... За основу брать что-то типа быстро обновляющихся новостных ресурсов, сдирать их структуру и "модель поведения". Но если страниц многие тысячи, боюсь, даже это не поможет.
Хотя бы из-за Crawl delay