Собственно интересна тема. Пишу парсер Яндекса, Гугла и Яши... надо отпарсить 10000 запросов. Сейчас стоит между запросами dalay = 1сек. Будет ли бан за частые запросы, если да то как по большому кол-ву запросов с одного Ip... Собственно вот кто знает через какое время поисковики дают бан за частое обращение к поиску...
может будет иногда когда гуугл ручками парсю после 10-20 страницы пишет мол у вас какие траблы с компьютером и дальше ни как
Можно использовать прокси. Но если есть возможность ставить паузу между запросами можно просто скрипт Кроном форкать...
мне не обязательно поиск делать по даполнительным параметрам.... просто запросы http://www.yandex.ru/yandsearch?text=test http://www.google.com/search?&rls=ru&q=test