Бан поисковиком за частые запросы....

Discussion in 'Болталка' started by LolFEm, 15 May 2008.

  1. LolFEm

    LolFEm Elder - Старейшина

    Joined:
    8 Sep 2006
    Messages:
    160
    Likes Received:
    52
    Reputations:
    5
    Собственно интересна тема.
    Пишу парсер Яндекса, Гугла и Яши...
    надо отпарсить 10000 запросов.

    Сейчас стоит между запросами dalay = 1сек.
    Будет ли бан за частые запросы, если да то как по большому кол-ву запросов с одного Ip...
    Собственно вот кто знает через какое время поисковики дают бан за частое обращение к поиску...
     
  2. Vid0k

    Vid0k Elder - Старейшина

    Joined:
    24 Dec 2007
    Messages:
    393
    Likes Received:
    125
    Reputations:
    13
    может будет иногда когда гуугл ручками парсю после 10-20 страницы
    пишет мол у вас какие траблы с компьютером и дальше ни как
     
  3. ДеЦл

    ДеЦл Banned

    Joined:
    7 May 2008
    Messages:
    10
    Likes Received:
    15
    Reputations:
    -6
    icq.com юзай
     
  4. Spyder

    Spyder Elder - Старейшина

    Joined:
    9 Oct 2006
    Messages:
    1,388
    Likes Received:
    1,209
    Reputations:
    475
    ДеЦл, там походу тоже ввели ограничение
     
  5. ДеЦл

    ДеЦл Banned

    Joined:
    7 May 2008
    Messages:
    10
    Likes Received:
    15
    Reputations:
    -6
    мы ж с тобой кажись парсер писали?
     
  6. Spyder

    Spyder Elder - Старейшина

    Joined:
    9 Oct 2006
    Messages:
    1,388
    Likes Received:
    1,209
    Reputations:
    475
    было дело =) вот он чё то нормально работать перестал =\
    надо переделывать, а мне влом
     
  7. ДеЦл

    ДеЦл Banned

    Joined:
    7 May 2008
    Messages:
    10
    Likes Received:
    15
    Reputations:
    -6
    мне соответственно тоже)
     
  8. Piflit

    Piflit Banned

    Joined:
    11 Aug 2006
    Messages:
    1,249
    Likes Received:
    585
    Reputations:
    31
    а у меня есть! =Р
     
  9. ДеЦл

    ДеЦл Banned

    Joined:
    7 May 2008
    Messages:
    10
    Likes Received:
    15
    Reputations:
    -6
    баян
     
  10. Vid0k

    Vid0k Elder - Старейшина

    Joined:
    24 Dec 2007
    Messages:
    393
    Likes Received:
    125
    Reputations:
    13
    а как возможно обойти эту фичу если она и на icq.com появиласть менять прокси?
     
  11. LolFEm

    LolFEm Elder - Старейшина

    Joined:
    8 Sep 2006
    Messages:
    160
    Likes Received:
    52
    Reputations:
    5
    Можно использовать прокси. Но если есть возможность ставить паузу между запросами можно просто скрипт Кроном форкать...
     
  12. BlackCats

    BlackCats Elder - Старейшина

    Joined:
    1 Feb 2006
    Messages:
    642
    Likes Received:
    630
    Reputations:
    -3
    http://www.vengo.ru/
    юзайте
     
  13. Spyder

    Spyder Elder - Старейшина

    Joined:
    9 Oct 2006
    Messages:
    1,388
    Likes Received:
    1,209
    Reputations:
    475
    омг
    попробуйте в гугле сразу на 12 страницу перейти с запросом inurl:""
    он вас на*** пошлёт
     
  14. LolFEm

    LolFEm Elder - Старейшина

    Joined:
    8 Sep 2006
    Messages:
    160
    Likes Received:
    52
    Reputations:
    5
    мне не обязательно поиск делать по даполнительным параметрам.... просто запросы

    http://www.yandex.ru/yandsearch?text=test

    http://www.google.com/search?&rls=ru&q=test
     
  15. Spyder

    Spyder Elder - Старейшина

    Joined:
    9 Oct 2006
    Messages:
    1,388
    Likes Received:
    1,209
    Reputations:
    475
    так гугл и не банит по обычным запросам =\