PDA

Просмотр полной версии : Яндекс заглючил? или новая проверка?

Darth Wayer
17.11.2009, 21:46
На одном домене периодически робот Яндекса загружает robots.txt, меняет IP и снова загружает robots.txt.
95.108.142.154 - - [15/Nov/2009:22:24:08 +0000] "GET /robots.txt HTTP/1.1" 200 47 "-" "Yandex/1.01.001 (compatible; Win16; I)"
95.108.142.154 - - [15/Nov/2009:22:24:11 +0000] "GET / HTTP/1.1" 200 10008 "-" "Yandex/1.01.001 (compatible; Win16; I)"
77.88.22.224 - - [15/Nov/2009:23:32:00 +0000] "GET /robots.txt HTTP/1.1" 200 47 "-" "Yandex/1.01.001 (compatible; Win16; I)"
77.88.22.224 - - [15/Nov/2009:23:32:02 +0000] "GET / HTTP/1.1" 200 10008 "-" "Yandex/1.01.001 (compatible; Win16; I)"
95.108.142.154 - - [16/Nov/2009:02:43:19 +0000] "GET /robots.txt HTTP/1.1" 200 47 "-" "Yandex/1.01.001 (compatible; Win16; I)"
95.108.142.154 - - [16/Nov/2009:02:43:28 +0000] "GET / HTTP/1.1" 200 10008 "-" "Yandex/1.01.001 (compatible; Win16; I)"
77.88.22.224 - - [16/Nov/2009:04:22:59 +0000] "GET /robots.txt HTTP/1.1" 200 47 "-" "Yandex/1.01.001 (compatible; Win16; I)"
77.88.22.224 - - [16/Nov/2009:04:23:02 +0000] "GET / HTTP/1.1" 200 10008 "-" "Yandex/1.01.001 (compatible; Win16; I)"
95.108.142.154 - - [16/Nov/2009:07:09:36 +0000] "GET /robots.txt HTTP/1.1" 200 47 "-" "Yandex/1.01.001 (compatible; Win16; I)"
95.108.142.154 - - [16/Nov/2009:07:09:38 +0000] "GET / HTTP/1.1" 200 10008 "-" "Yandex/1.01.001 (compatible; Win16; I)"
95.108.142.154 - - [16/Nov/2009:11:29:15 +0000] "GET /robots.txt HTTP/1.1" 200 47 "-" "Yandex/1.01.001 (compatible; Win16; I)"
95.108.142.154 - - [16/Nov/2009:11:29:18 +0000] "GET / HTTP/1.1" 200 10008 "-" "Yandex/1.01.001 (compatible; Win16; I)"
77.88.22.224 - - [16/Nov/2009:11:34:52 +0000] "GET /robots.txt HTTP/1.1" 200 47 "-" "Yandex/1.01.001 (compatible; Win16; I)"
77.88.22.224 - - [16/Nov/2009:11:35:16 +0000] "GET / HTTP/1.1" 200 10008 "-" "Yandex/1.01.001 (compatible; Win16; I)"
77.88.22.224 - - [16/Nov/2009:16:43:39 +0000] "GET /robots.txt HTTP/1.1" 200 47 "-" "Yandex/1.01.001 (compatible; Win16; I)"
77.88.22.224 - - [16/Nov/2009:16:43:42 +0000] "GET / HTTP/1.1" 200 10008 "-" "Yandex/1.01.001 (compatible; Win16; I)"
77.88.25.27 - - [16/Nov/2009:20:19:58 +0000] "GET /robots.txt HTTP/1.1" 200 47 "-" "Yandex/1.01.001 (compatible; Win16; I)"
Завис чтоли? Я так понимаю, индексировать он не будет.
robots.txt я проверял - запрета нет
yaya
17.11.2009, 21:50
Он его хотит. Сделай ему файлик, пусть подавится :)

У меня похожее было. сканил его падла дня 2а. потом проиндексил морду и все, боль�?е нет его, наверное обидился :(
Sauron
17.11.2009, 21:54
Он его хотит. Сделай ему файлик, пусть подавится :)

Так есть у него файлик (robots.txt отдаёт 200OK) и судя по размеру отданной страницы и контент есть тоже - килобайт 10.
Darth Wayer
17.11.2009, 22:02
Так есть у него файлик (robots.txt отдаёт 200OK) и судя по размеру отданной страницы и контент есть тоже - килобайт 10.

Вообще-то 47 байт, а 10К - это морда
Sauron
17.11.2009, 22:07
Вообще-то 47 байт, а 10К - это морда

Ну так я об этом и говорю - 200 - статус подтверждающий, что файл есть. Даль�?е да, видно, что он весит 47 байт. Ну и 10к я имел ввиду, что контент, а раз запра�?ивает главную - то, понятно - морда.
yaya
17.11.2009, 22:08
Сорри, не обратил внимание что 200 отдает.
AlexStep
17.11.2009, 22:18
наблюдал такое, даже тут отписался https://arbadoor.ru/showthread.php?t=392
чем это кончилось для доров уже не помню...