Googlebot исполняет Ajax-функции и эмулирует поведение юзеров

Discussion in 'Мировые новости. Обсуждения.' started by d3l3t3, 16 May 2012.

  1. d3l3t3

    d3l3t3 Banned

    Joined:
    3 Dec 2010
    Messages:
    1,771
    Likes Received:
    98
    Reputations:
    10
    Поисковый бот Google становится умнее. С 2008 года Googlebot умеет сабмиттить GET-формы. Летом 2011-го года он научился исполнять Javascript, а полгода назад — делать POST-запросы через Ajax.

    Такой функционал нужен боту, чтобы нажимать Ajax-кнопки и индексировать страницы сайта, которые спрятаны за ними.

    Интеллект «гуглобота» постепенно повышается. Веб-мастер одного из сайтов сообщает, что Googlebot успешно разобрал на части сложное Ajax-меню и «понял» встроенные функции JavaScript. В логах остались такие строчки:
    66.249.67.106 ... "GET /ajax/xr/ready?x=clcgvsgizgxhfzvf HTTP/1.1" ...
    66.249.67.106 ... "GET /content/halloc/index.html?&x=clcgvsgizgxhfzvf ...

    IP-адрес 66.249.67.106 резолвится как crawl-66-249-67-106.googlebot.com, то есть принадлежит поисковому боту Google.

    В данном случае нужно отметить, что бот добавил к запросу аргумент x для конкретной функции. Таким образом, он эмулирует живых пользователей, а именно — нажимает на кнопки Ajax-меню и смотрит, какие страницы после этого открываются.

    Другие веб-мастеры дополняют, что на самом деле Googlebot не только успешно исполняет скрипты, но и замеряет время отклика сайта, что тоже влияет на позицию сайта в поисковой выдаче.

    Дата: 16.05.2012
    http://www.xakep.ru/post/58705/
     
  2. GAiN

    GAiN Elder - Старейшина

    Joined:
    2 Apr 2011
    Messages:
    2,531
    Likes Received:
    166
    Reputations:
    99
    скоро будет и флеш нажимать :)
    а вообще уже и с iframe индексирует, если доступ к файлу iframe не закрыт для поисковика