Поясните, а зачем запрещать? Чем плохо-то что бот по css прошелся? Там трафика съелось-то "кот наплакал". Конечно и хорошего тоже ничего нет, просто на это даже внимание никогда не обращал.
Поясните, а зачем запрещать? Чем плохо-то что бот по css прошелся? Там трафика съелось-то "кот наплакал". Конечно и хорошего тоже ничего нет, просто на это даже внимание никогда не обращал.
В ксс, наверное, тоже, можно какое-нить палево положить...
luxer, это хитробот от Яши, палит клоакинг, редирект
Приходит из Яндекс поиска.
Емулятор браузера, на Роботс.тхт не смотрит, исполняет скрипты.
Скорее всего куки тоже юзает.
У Гугла тоже такое есть