Запрос в поиске - приход бота?!?!
 

Решил спросить у Nigmы, покажи мой дор, ввел адрес в поиск, естественно мне ничего не показали. Но, сразу же пришел на страницу кто-то(робот не робот не знаю) с запросом HEAD и с вот таким ЮзерАгентом :
"Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.0.7) Gecko/20060909 Firefox/1.5.0.7" ,
а вот ip:194.186.121.175.
Что это?

какой-то проверщик, робот нигмовский.



Да и нафиг этот Нигма нужен, с него ведь трафа практически нет.

А случайно у Яши такого нет? Ведь как то это можно использовать?
P.S. У нигмы поиск реализован с использованием Яндекс.XML

Надо вбить в Яшу и посмотреть логи ;) Хотя врятли там такое будет. Что прям робот индексирующий придёт =))

Нет конечно, ну хотя-бы как Nigm-овский (кто-то), информацию(HEAD) стянул о сайте, не просто же так. Кстати представитель ботов от Nigm-ы
у меня уже был.

Не, реально боты идут. Я понимаю что не от туда от куда надо(не Яша), но идут.
Пол часа назад прошелся по нескольким поисковикам, прямо из бара, какие были забиты, и результат:Ask Jeeves/Teoma, бот приходил.

А это что такое : ,кто нибудь знает?
30 страниц съел!

http://forum.searchengines.ru/archiv.../t-223988.html

И ещё вопрос, если бот googla, хавает по примерно 60 (вчера 3 захода по 20 паг(ровно)) паг в день, то всё 100% попадет в индекс?