Определение поисковых ботов и OS и браузера пользователя..

Discussion in 'PHP' started by Trieg, 15 Jan 2009.

  1. Trieg

    Trieg Elder - Старейшина

    Joined:
    26 Oct 2007
    Messages:
    82
    Likes Received:
    9
    Reputations:
    0
    Решил сбацать скрипт для ведения статистики у себя на сайте..

    всю инфу о боте\ос\браузере само собой собираюсь тащить из $_SERVER['HTTP_USER_AGENT']..

    в общем интересует актуальная на данный момент инфа о браузерах и поисковых ботах.. тобеш кусок строки по которой можно определить бота\браузер

    ЗЫ: список ботов и реализацию определения можно сделать паблик и закрепить в отдельной теме (список ботов\браузеров обновлять по мере возможностей.. имхо хочется чтоб инфа была как можно более актуальная).. хотя может я погорячится и оно людям нафиг не надо..
     
    #1 Trieg, 15 Jan 2009
    Last edited: 15 Jan 2009
  2. brasco2k

    brasco2k Elder - Старейшина

    Joined:
    23 Nov 2007
    Messages:
    258
    Likes Received:
    91
    Reputations:
    0
    CodeIgniter->load->agent();
     
  3. BuG_4F

    BuG_4F Member

    Joined:
    20 May 2008
    Messages:
    88
    Likes Received:
    67
    Reputations:
    5
    Кури модуль онлайна от дле
     
  4. Trieg

    Trieg Elder - Старейшина

    Joined:
    26 Oct 2007
    Messages:
    82
    Likes Received:
    9
    Reputations:
    0
    Список браузеров и ос еще более менее.. а вот с ботами там совсем туго

    смотрел.. опять же слишком вяло
     
  5. serfertty

    serfertty Guest

    Reputations:
    0
  6. Trieg

    Trieg Elder - Старейшина

    Joined:
    26 Oct 2007
    Messages:
    82
    Likes Received:
    9
    Reputations:
    0
    тоже видел.. в списке ботов нет даже рамблера..
     
  7. BlackSun

    BlackSun Banned

    Joined:
    1 Apr 2007
    Messages:
    989
    Likes Received:
    1,168
    Reputations:
    446
    PHP:
    function SpiderDetect($user_agent)
    {
        
    $engines = array(
            array(
    'Aport', 'Aport robot'),
            array(
    'Google', 'Google'),
            array(
    'msnbot', 'MSN'),
            array(
    'Rambler', 'Rambler'),
            array(
    'Yahoo', 'Yahoo'),
            array(
    'AbachoBOT', 'AbachoBOT'),
            array(
    'accoona', 'Accoona'),
            array(
    'AcoiRobot', 'AcoiRobot'),
            array(
    'ASPSeek', 'ASPSeek'),
            array(
    'CrocCrawler', 'CrocCrawler'),
            array(
    'Dumbot', 'Dumbot'),
            array(
    'FAST-WebCrawler', 'FAST-WebCrawler'),
            array(
    'GeonaBot', 'GeonaBot'),
            array(
    'Gigabot', 'Gigabot'),
            array(
    'Lycos', 'Lycos spider'),
            array(
    'MSRBOT', 'MSRBOT'),
            array(
    'Scooter', 'Altavista robot'),
            array(
    'AltaVista', 'Altavista robot'),
            array(
    'WebAlta', 'WebAlta'),
            array(
    'IDBot', 'ID-Search Bot'),
            array(
    'eStyle', 'eStyle Bot'),
            array(
    'Mail.Ru', 'Mail.Ru Bot'),
            array(
    'Scrubby', 'Scrubby robot'),
            array(
    'Yandex', 'Yandex'),
            array(
    'YaDirectBot', 'Yandex Direct')
        );

        foreach (
    $engines as $engine)
        {
            if (
    strstr($user_agent, $engine[0]))
            {
                return(
    $engine[1]);
            }
        }

        return 
    False;
    }    
        
        
    $user_agent = getenv("HTTP_USER_AGENT");
        
    $spider = SpiderDetect($user_agent);
     
  8. slesh

    slesh Elder - Старейшина

    Joined:
    5 Mar 2007
    Messages:
    2,702
    Likes Received:
    1,224
    Reputations:
    455
    А ты пробуй палить по IP т.е. получи имя компа по его IP. И там в логах уже сможешь найти то, домены принадлежащие или близкие к доменам поисковиков.