Парсинг картинок google

Discussion in 'PHP' started by huntercs16, 30 Nov 2013.

  1. huntercs16

    huntercs16 Member

    Joined:
    7 Oct 2013
    Messages:
    140
    Likes Received:
    10
    Reputations:
    6
    Пример запроса для поиска в браузере
    https://www.google.ru/search?q=гонки&newwindow=1&source=lnms&tbm=isch&sa=X&
    Если в таком виде попытаться забить в браузер -мы видим что html код содержит адреса jpg файлов с различных сайтов, отсюда элементарно ссылки дергаются регуляркой.

    Пытаюсь изобразить подобное действие в CURL, которому кормлю вышеуказанную ссылку.
    Раньше все прекрасно парсилось, НО...
    теперь получается внешний вид такой
    [​IMG]
    То есть в браузере и библиотеке CURL совершенно 2 разных вида! Даже не понимаю что могло измениться,теперь ничего не работает....
     
    #1 huntercs16, 30 Nov 2013
    Last edited: 30 Nov 2013
  2. dshelyuzhak

    dshelyuzhak Member

    Joined:
    25 Oct 2012
    Messages:
    139
    Likes Received:
    7
    Reputations:
    1
    Я не в теме, но может это связанно с нововведениями по поиску от гугла?
     
  3. попугай

    попугай Elder - Старейшина

    Joined:
    15 Jan 2008
    Messages:
    1,515
    Likes Received:
    400
    Reputations:
    196
    Гугл просто показывает разный дизайн для разных браузеров.
    Для устаревших - упрощенный вид. Твой скрипт он определяет как устаревший. Смотри на UserAgent.
     
  4. Gar|k

    Gar|k Moderator

    Joined:
    20 Mar 2009
    Messages:
    1,166
    Likes Received:
    266
    Reputations:
    82
    huntercs16, какая разница в каком виде тебе возвращается HTML если ты можешь его записать и настроить свой парсер под этот вид?
     
    _________________________
  5. huntercs16

    huntercs16 Member

    Joined:
    7 Oct 2013
    Messages:
    140
    Likes Received:
    10
    Reputations:
    6
    В том виде какой возвращает CURL нету никаких прямых адресов картинок. Вытащить нереально.

    Думаете виноват User Agent?
     
    #5 huntercs16, 6 Dec 2013
    Last edited: 6 Dec 2013
  6. Fepsis

    Fepsis Elder - Старейшина

    Joined:
    17 Sep 2008
    Messages:
    791
    Likes Received:
    391
    Reputations:
    72
    Скорее всего, дело в том, что твой "браузер" не поддерживает JS. Сравни страницу выдачи с включенным JS и без него.
     
  7. huntercs16

    huntercs16 Member

    Joined:
    7 Oct 2013
    Messages:
    140
    Likes Received:
    10
    Reputations:
    6
    Достаточно было юзер агент прописать и всё заработало. Спасибо!