Форум о seo технологиях  
Друзья Форум вебмастеров
Bookmark and Share

  Форум о seo технологиях > Новичкам

Ответ
 
Опции темы
Старый 31.03.2010, 15:55   #1
i'm Nickname
Дорвейщик
 
Регистрация: 10.11.2009
Сообщений: 134
По умолчаниюСтатистика ботов на фришниках

Как можно проверять приходили ли боты на фришки, такие как narod.ru например, там где нет логов сайта?

upd:
нашёл вот
Цитата:

if(preg_match("!google|yandex|rambler|msn|yahoo!i" ,$_SERVER['HTTP_USER_AGENT'])){
$date = date(r);
$ip = $_SERVER['REMOTE_ADDR'];
$me = $_SERVER['REQUEST_METHOD'];
$qs = $_SERVER['REQUEST_URI'];
$ref = $_SERVER['HTTP_REFERER'];
$ua = $_SERVER['HTTP_USER_AGENT'];
$log = $ip.' | '.$date.' | "'.$me.'" - '.$qs.' | '.$ref.' | '.$ua;
$f = fopen('bots_access_log.txt', 'a');
fwrite($f,$log."\n");
fclose($f);
}
?>
и это
Цитата:

$agent = getenv("HTTP_USER_AGENT");
$ip = getenv("REMOTE_ADDR");
$url = getenv("REQUEST_URI");
$time = date("Y-m-d H:i:s");

$bots = array(
"GoogleBot" => "Googlebot",
"Yandex" => "Yandex",
"MSN Bot" => "msn",
"Yahoo" => "Yahoo",
"Rambler" => "Rambler"
);

$is_bot = false;
foreach($bots as $name => $p) {
if (preg_match("#{$p}#msi", $agent)) {
$is_bot = true; $agent = "[{$bot_agent}] ".$agent;
break;
}
}

$fn = ($is_bot) ? "bots.log" : "hosts.log";


$str = "{$time} {$ip} {$agent} :::::> {$url}\n";
// if ($is_bot) // log2file($fn, $str);


function log2file($fn, $text) {
$fh = fopen($fn, 'a');
fwrite($fh, $text);
fclose($fh);
}
?>

В связи с этим ещё вопросы: Сработают ли эти?) Какой скрипт лучше использовать из этих? Не палевно ли использовать их, никаких санкций не будет? И какие есть ещё варианты отлова ботов, кроме скриптов?
__________________
Пишу шаблоны для rb и rbt на заказ => NickName at World Wide Web

Последний раз редактировалось i'm Nickname; 31.03.2010 в 17:31. Причина: upd
i'm Nickname вне форума  Ответить с цитированием
Старый 31.03.2010, 18:31   #2
wal
Дорвейщик
 
Регистрация: 05.07.2009
Сообщений: 162
По умолчанию

эти скрипты могут не сработать если прав на создание файла и запись в него не хватит...

тут нужно проверять экспериментальным путем...

санкций никаких не должно быть...
главное чтоб место не кончилось на диске =)
__________________
пишу скрипты для Хуман Эмулятора на заказ, обращаться в личку.
wal вне форума  Ответить с цитированием
Старый 31.03.2010, 22:53   #3
ZPavliG
Полудорвейщик
 
Регистрация: 17.12.2009
Сообщений: 53
По умолчанию

Для этого же нужно чтобы хост поддерживал пхп? А на том же народе его нет.
ZPavliG вне форума  Ответить с цитированием
Старый 01.04.2010, 19:19   #4
i'm Nickname
Дорвейщик
 
Регистрация: 10.11.2009
Сообщений: 134
По умолчанию

Да пхп нада. Должен же быть способ, спалите =)
__________________
Пишу шаблоны для rb и rbt на заказ => NickName at World Wide Web
i'm Nickname вне форума  Ответить с цитированием
Старый 01.04.2010, 21:26   #5
wal
Дорвейщик
 
Регистрация: 05.07.2009
Сообщений: 162
По умолчанию

способ есть только один, это ссылка на удаленный жаваскрипт или картинку из страницы дора...

но тут нужно быть уверенным, что бот это схавает...
__________________
пишу скрипты для Хуман Эмулятора на заказ, обращаться в личку.
wal вне форума  Ответить с цитированием
Старый 01.04.2010, 22:44   #6
Арбайтен
Бесмертный
 
Аватар для Арбайтен
 
Регистрация: 04.07.2009
Сообщений: 3,271
По умолчанию

Цитата:
Сообщение от wal Посмотреть сообщение
способ есть только один, это ссылка на удаленный жаваскрипт или картинку из страницы дора...

но тут нужно быть уверенным, что бот это схавает...
Ну вообще то за это Яндекс банит
__________________
Мой блог - палим темы тоннами
Арбайтен вне форума  Ответить с цитированием
Старый 01.04.2010, 23:12   #7
1cv7
Дорвейщик
 
Аватар для 1cv7
 
Регистрация: 22.11.2009
Сообщений: 475
По умолчанию

Цитата:
Сообщение от Арбайтен Посмотреть сообщение
Ну вообще то за это Яндекс банит
за ссылку на удаленный java скрипт? Не верю. Несколько белых проектов у меня имеют такое. И вовсе не в бане

Добавлено:
с картинками тоже, но не на белых а на дорах. Нормально живут. 4 месяц пошел.

P.s. счетчики статистики, например LI, так и устроены. По твоему яндекс банит за счетчики?

Последний раз редактировалось 1cv7; 02.04.2010 в 00:06.
1cv7 вне форума  Ответить с цитированием
Старый 02.04.2010, 00:03   #8
traffoLocker
Дорвейщик
 
Аватар для traffoLocker
 
Регистрация: 21.08.2009
Сообщений: 104
По умолчанию

Чтобы счетчик на ДжаваСкрипте отработал нужно чтобы его выполнили, сомневаюсь что боты выполняют скрипты...
traffoLocker вне форума  Ответить с цитированием
Старый 02.04.2010, 00:05   #9
1cv7
Дорвейщик
 
Аватар для 1cv7
 
Регистрация: 22.11.2009
Сообщений: 475
По умолчанию

Выполняют. Только не любые
1cv7 вне форума  Ответить с цитированием
Старый 02.04.2010, 00:15   #10
wal
Дорвейщик
 
Регистрация: 05.07.2009
Сообщений: 162
По умолчанию

не,

идея тут не в выполнении кода, а в том, что когда бот подсасывает удаленный файл, в этом файл инфу о боте получить(кто такой, откуда пришел и т.д.) и уже эту инфу можно потом анализировать...

например ссылаемся на картинку, эта картинка есть пхп скрипт, который после отработки выдает какую-нить картинку + получет инфу о боте =)
для пущей убедительности даже можно сделать так, что файло с расширением jpg(gif,js и т.д.) обрабатывалось как пхп-скрипт

и прикопаться тут не к чему со стороны пс...
__________________
пишу скрипты для Хуман Эмулятора на заказ, обращаться в личку.
wal вне форума  Ответить с цитированием
Ответ

« Предыдущая тема | Следующая тема »

Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 
Опции темы
Версия для печатиВерсия для печати
Отправить по электронной почтеОтправить по электронной почте

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Текущее время: 13:34. Часовой пояс GMT +3.


Powered by vBulletin® Version 3.8.6
Copyright ©2000 - 2010, Jelsoft Enterprises Ltd. Перевод: zCarot
General Media Group