[Ferox]

Кто что пи�?ет в робот.тхт?

[Трайп]

на динамике
User-agent: Yandex
Allow: /
Crawl-delay: 1

User-agent: *
Disallow: /cgi-bin
Crawl-delay: 3

Host: domain.ru
на статике
User-agent: Yandex
Allow: /

User-agent: *
Disallow: /cgi-bin

Sitemap: http://domain.ru/sitemap.xml

Host: domain.ru

[Татарин]

http://robotstxt.org.ru

[Арбайтен]

Не использую вообще роботс

[4arger]

Рань�?е делал без роботс. Недавно прочитал, что бот Яндекса ищет роботс и без роботс хуже индексирует. Делаю сейчас с роботс. Разницы не наблюдаю. Еще немного понаблюдаю за влиянием роботс на индексацию и, думаю, забро�?у этот роботс нафиг.

[Ferox]

Трайп А какой дорген используе�?ь?

[F.A.I.R.]

Рань�?е делал без роботс. Недавно прочитал, что бот Яндекса ищет роботс и без роботс хуже индексирует. Делаю сейчас с роботс. Разницы не наблюдаю. Еще немного понаблюдаю за влиянием роботс на индексацию и, думаю, забро�?у этот роботс нафиг.
Во во как говорят у нас на Украине, "Не знала баба клопоту купила порося"

Я в дорах роботс делал, вообще эффекта не заметил.
Делал както сдл, он был добавлен в вебмастер панель и я�?а вечно ругался, что мол нахера через роботс закрывае�?ь в вордпресе /wp-includes/,
Я взял ради прикола (сайт уже сносить собирался) открыл ему доступ, так он сука все нахер распарсил в выдачу, скрипты и прочую хрень.

Заметил , что гуглу помоему луч�?е когда есть роботс. Хотя хз

[Трайп]

Трайп А какой дорген используе�?ь?
Все свое :)

[rom]

User-agent: Yandex
Disallow: /файл с редиректом