PDA

Просмотр полной версии : Статистика ботов на фри�?никах


i'm Nickname
31.03.2010, 14:55
Как можно проверять приходили ли боты на фри�?ки, такие как narod.ru например, там где нет логов сайта?

upd:
на�?ёл вот (https://arbadoor.ru/showthread.php?t=166)


if(preg_match("!google|yandex|rambler|msn|yahoo!i" ,$_SERVER['HTTP_USER_AGENT'])){
$date = date(r);
$ip = $_SERVER['REMOTE_ADDR'];
$me = $_SERVER['REQUEST_METHOD'];
$qs = $_SERVER['REQUEST_URI'];
$ref = $_SERVER['HTTP_REFERER'];
$ua = $_SERVER['HTTP_USER_AGENT'];
$log = $ip.' | '.$date.' | "'.$me.'" - '.$qs.' | '.$ref.' | '.$ua;
$f = fopen('bots_access_log.txt', 'a');
fwrite($f,$log."\n");
fclose($f);
}
?>

и это


$agent = getenv("HTTP_USER_AGENT");
$ip = getenv("REMOTE_ADDR");
$url = getenv("REQUEST_URI");
$time = date("Y-m-d H:i:s");

$bots = array(
"GoogleBot" => "Googlebot",
"Yandex" => "Yandex",
"MSN Bot" => "msn",
"Yahoo" => "Yahoo",
"Rambler" => "Rambler"
);

$is_bot = false;
foreach($bots as $name => $p) {
if (preg_match("#{$p}#msi", $agent)) {
$is_bot = true; $agent = "[{$bot_agent}] ".$agent;
break;
}
}

$fn = ($is_bot) ? "bots.log" : "hosts.log";


$str = "{$time} {$ip} {$agent} :::::> {$url}\n";
// if ($is_bot) // log2file($fn, $str);


function log2file($fn, $text) {
$fh = fopen($fn, 'a');
fwrite($fh, $text);
fclose($fh);
}
?>



В связи с этим ещё вопросы: Сработают ли эти?) Какой скрипт луч�?е использовать из этих? Не палевно ли использовать их, никаких санкций не будет? �? какие есть ещё варианты отлова ботов, кроме скриптов?

wal
31.03.2010, 17:31
эти скрипты могут не сработать если прав на создание файла и запись в него не хватит...

тут нужно проверять экспериментальным путем...

санкций никаких не должно быть...
главное чтоб место не кончилось на диске =)

ZPavliG
31.03.2010, 21:53
Для этого же нужно чтобы хост поддерживал пхп? А на том же народе его нет.

i'm Nickname
01.04.2010, 18:19
Да пхп нада. Должен же быть способ, спалите =)

wal
01.04.2010, 20:26
способ есть только один, это ссылка на удаленный жаваскрипт или картинку из страницы дора...

но тут нужно быть уверенным, что бот это схавает...

Арбайтен
01.04.2010, 21:44
способ есть только один, это ссылка на удаленный жаваскрипт или картинку из страницы дора...

но тут нужно быть уверенным, что бот это схавает...

Ну вообще то за это Яндекс банит

1cv7
01.04.2010, 22:12
Ну вообще то за это Яндекс банит

за ссылку на удаленный java скрипт? Не верю. Несколько белых проектов у меня имеют такое. �? вовсе не в бане

Добавлено:
с картинками тоже, но не на белых а на дорах. Нормально живут. 4 месяц по�?ел.

P.s. счетчики статистики, например LI, так и устроены. По твоему яндекс банит за счетчики?

traffoLocker
01.04.2010, 23:03
Чтобы счетчик на ДжаваСкрипте отработал нужно чтобы его выполнили, сомневаюсь что боты выполняют скрипты...

1cv7
01.04.2010, 23:05
Выполняют. Только не любые

wal
01.04.2010, 23:15
не,

идея тут не в выполнении кода, а в том, что когда бот подсасывает удаленный файл, в этом файл инфу о боте получить(кто такой, откуда при�?ел и т.д.) и уже эту инфу можно потом анализировать...

например ссылаемся на картинку, эта картинка есть пхп скрипт, который после отработки выдает какую-нить картинку + получет инфу о боте =)
для пущей убедительности даже можно сделать так, что файло с рас�?ирением jpg(gif,js и т.д.) обрабатывалось как пхп-скрипт

и прикопаться тут не к чему со стороны пс...

1cv7
01.04.2010, 23:22
не,

идея тут не в выполнении кода, а в том, что когда бот подсасывает удаленный файл, в этом файл инфу о боте получить(кто такой, откуда при�?ел и т.д.) и уже эту инфу можно потом анализировать...

например ссылаемся на картинку, эта картинка есть пхп скрипт, который после отработки выдает какую-нить картинку + получет инфу о боте =)
для пущей убедительности даже можно сделать так, что файло с рас�?ирением jpg(gif,js и т.д.) обрабатывалось как пхп-скрипт

и прикопаться тут не к чему со стороны пс...

Какой фри�?ный хост даст заинклюдить php скрипт?

wal
02.04.2010, 02:37
хе-хе =)

не нужно ничего инклюдить =)
в дор вставляется картинка(жаваскрипт) с удаленного сервера
на этом серваке это не картинка, а скрипт который генерит картинку и попутно получает инфу о том кто эту картинку запросил...

например, иногда в подписи на форумах можно встретить баннер на котором инфа о тебе(ип, браузер-юзерагент, ос)

http://smart-ip.net/_res/userbar/lg-bar.gif
http://2ip.ru/bar/ip3.gif

вот что-то подобное и для на�?их целей можно сдлеать..
главное чтоб бот запросил эту картинку...

Арбайтен
02.04.2010, 03:21
за ссылку на удаленный java скрипт? Не верю. Несколько белых проектов у меня имеют такое. �? вовсе не в бане



Мало что вы не верите. Я знаю что за это банит и тут оспаривать нечего. Давно пройденный этап.

traffoLocker
02.04.2010, 13:58
хе-хе =)

не нужно ничего инклюдить =)
в дор вставляется картинка(жаваскрипт) с удаленного сервера
на этом серваке это не картинка, а скрипт который генерит картинку и попутно получает инфу о том кто эту картинку запросил...

например, иногда в подписи на форумах можно встретить баннер на котором инфа о тебе(ип, браузер-юзерагент, ос)

http://smart-ip.net/_res/userbar/lg-bar.gif
http://2ip.ru/bar/ip3.gif

вот что-то подобное и для на�?их целей можно сдлеать..
главное чтоб бот запросил эту картинку...
Счетчики LI так и устроенны, но я ниразу в статистике не видел информацию о заходе ботов.

1cv7
02.04.2010, 14:50
Счетчики LI так и устроенны, но я ниразу в статистике не видел информацию о заходе ботов.

на счет ботов не скажу, но насчет того что бана за это нет, это точно. �?наче 70% рунета в бане были бы

1cv7
02.04.2010, 14:52
Мало что вы не верите. Я знаю что за это банит и тут оспаривать нечего. Давно пройденный этап.

Арб, ты точно говори�?ь о том же что и я?
Какой бан за счетчики LI?
А технология одна и та же.
+ еще раз повторю. Мои доры с такой фи�?кой с января по сей день в индексе

i'm Nickname
05.04.2010, 17:43
не,

идея тут не в выполнении кода, а в том, что когда бот подсасывает удаленный файл, в этом файл инфу о боте получить(кто такой, откуда при�?ел и т.д.) и уже эту инфу можно потом анализировать...

например ссылаемся на картинку, эта картинка есть пхп скрипт, который после отработки выдает какую-нить картинку + получет инфу о боте =)
для пущей убедительности даже можно сделать так, что файло с рас�?ирением jpg(gif,js и т.д.) обрабатывалось как пхп-скрипт

и прикопаться тут не к чему со стороны пс...

Нихуя не понял( Поближе к реалиям можно? Скрипты например выложить.


Другие идеи есть у кого?

Madness_Lvov
22.04.2010, 23:27
главное чтоб бот запросил эту картинку...

I бот Я�?и картинку не запросит )