Как сделать это быстро? Я написал скрипт на пхп с мультикурлом, на одном домене 1000 страниц он чекал за минуту, но когда каждый домен рызный он чекает 1000 доменов минут 15. Так как всего доменов миллион, это не допустимо! Подскажите как реализовать быструю проверку? может на делфи написать будет ли быстрее скорость? или мож искать сервер мощный где мой скрипт будет быстро работать? Если у кого-то есть такой сервер(шел) я бы купил! Жду советов!
Почему тыщу урлов на одном домене чекает мультикурл за минуту, а тыщу урлов на разных доменах чекает 20 минут?? кто знает?
возможно замедление из-за резолвинга ip для домена, в curl наверняка используется системный gethostbyname который по определению очень медленный, надо писать свой многопоточный днс клиент для резолвинга, а для одного хоста получается быстро как раз по причине того, что ip для домена определился и закэшировался в пределах сессии. UPD. также не до конца понятно как реализован мультикурл, но я бы в такой ситуации как минимум сделал многопроцессную модель, т.е. использовать fork() для проверки каждого домена (создать несколько параллельно работающих процессов), а внутри каждого процесса уже использовать мультикурл, так должно работать быстрее.