Смена User-Agent роботов Яндекса

[wal]

В скором времени, с началом лета боты Яндекса предстанут перед нами в новой «одежке».

А именно они сменят вид своего представления в User-Agent. Компания Яндекс хочет добиться этим того, что все роботы будут приведены к одному виду представления, что позволит сделать значения User-Agent в логах более развернутым и информативным.

Исходя из этого, можно будет с легкостью понимать какой именно бот прошелся по страницам вашего сайта и какой именно бот помог загнать страницу в топ или наоборот, помочь странице оттуда выпасть.

Список новых представлений в User-Agent:
Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот.
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий зеркала сайтов.
Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор Яндекс.Картинок.
Mozilla/5.0 (compatible; YandexVideo/3.0) — индексатор Яндекс.Видео.
Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультимедийные данные.
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам, индексирующий комментарии постов.
Mozilla/5.0 (compatible; YandexAddurl/2.0) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL».
Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий пиктограммы сайтов (favicons).
Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса.
Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка» Яндекс.Директа.
Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот Яндекс.Метрики.
Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» Яндекс.Каталога.
Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор Яндекс.Новостей.

Как видно, все предыдущие буковки типа «D», «I» и так далее, сменятся на английские слова. На мой взгляд это хороший ход, теперь все боты будут «читаемыми». Хотя теперь пропадут выражения типа «бот дятел», «бот I» и так далее.

Желаю всем летом увидеть в логах своего веб сервера или виртуального хоста, побольше записей про бот с User-Agent’ом Mozilla/5.0 (compatible; YandexBot/3.0)