Запрос в поиске - приход бота?!?!

[samzhiv]

Ре�?ил спросить у Nigmы, покажи мой дор, ввел адрес в поиск, естественно мне ничего не показали. Но, сразу же при�?ел на страницу кто-то(робот не робот не знаю) с запросом HEAD и с вот таким ЮзерАгентом :
"Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.0.7) Gecko/20060909 Firefox/1.5.0.7" ,
а вот ip:194.186.121.175.
Что это?

[konter]

какой-то проверщик, робот нигмовский.

.:: Hidden Block (you must be registered and have 1 posts) ::.

Да и нафиг этот Нигма нужен, с него ведь трафа практически нет.

[samzhiv]

А случайно у Я�?и такого нет? Ведь как то это можно использовать?
P.S. У нигмы поиск реализован с использованием Яндекс.XML

[konter]

Надо вбить в Я�?у и посмотреть логи ;) Хотя врятли там такое будет. Что прям робот индексирующий придёт =))

[samzhiv]

Что прям робот индексирующий придёт =))

Нет конечно, ну хотя-бы как Nigm-овский (кто-то), информацию(HEAD) стянул о сайте, не просто же так. Кстати представитель ботов от Nigm-ы
у меня уже был.

[samzhiv]

Не, реально боты идут. Я понимаю что не от туда от куда надо(не Я�?а), но идут.
Пол часа назад про�?елся по нескольким поисковикам, прямо из бара, какие были забиты, и результат:Ask Jeeves/Teoma, бот приходил.

[samzhiv]

А это что такое : ,кто нибудь знает?
30 страниц съел!

[1cv7]

http://forum.searchengines.ru/archive/index.php/t-223988.html

[samzhiv]

�? ещё вопрос, если бот googla, хавает по примерно 60 (вчера 3 захода по 20 паг(ровно)) паг в день, то всё 100% попадет в индекс?