фильтрация ботов

Discussion in 'SЕО - тонкости, методы раскрутки' started by GAiN, 3 Oct 2014.

  1. GAiN

    GAiN Elder - Старейшина

    Joined:
    2 Apr 2011
    Messages:
    2,531
    Likes Received:
    166
    Reputations:
    99
    фильтрую ботов на своих сайтах
    и однажды ссылки начали пропадать из яндекса, яндекс ответил что сервер отдавал 404, но при проверке http://webmaster.yandex.ru/server-response.xml отдаёт код 200

    отключил все блокировки на время, наблюдая несколько дней потом в логах обнаружил что есть определённый ip, который точно бот, но неопознанный, и он чем то связан с яндексом, кроме бота яндекса который и хостом отличается и юзерагентом, этот имеет обычный юзерагент и простой айпишник

    109.234.156.0 - 109.234.159.255
    и обычный useragent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Ubuntu Chromium/23.0.1271.97 Chrome/23.0.1271.97 Safari/537.11
    как этот бот стал заходить на главную страницу то сразу и ссылки начали появляться в поиске и посещать стал основной робот яндекса
    возможно их несколько и они чередуются
    что получается у них есть секретный бот ?