сколько таких запросов на получение документа выдержит примерно сервер в минуту? и ещё контент физически перемещается на мой сервер при вызове метода $ua->request или $res->content ? т.е. если получаемые документы будут большие, то это будет жрать много трафа? Code: $ua=LWP::UserAgent->new or die; $ua->cookie_jar(HTTP::Cookies->new(file => "lwpcookies.txt", autosave => 1)); $ua->agent($userag); #определяем свойства $ua->timeout(5); $ua->proxy('http',"http://".$proxy_addr."/"); $h1 = new HTTP::Headers Accept => 'application/vnd.ms-excel, application/msword, image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-comet, */*', User_Agent => $userag, Referer => $pageref; $req1 = new HTTP::Request ('GET', $url, $h1); $res=$ua->request($req1); print $res->content;
а это request size задать можно же как то вроде? мне нужно выполнение ssi кода в первых 20 строчках html файла к примеру, я делаю request size 2кб и этот код будет выполнятся?
другой вопрос: у меня есть файл с проксями, который нужно проверить на живучесть, я открываю файл, записываю в массив все прокси сразу, хотя проверка происходит только двадцати за один запуск $proxylist=$mainpath.'proxyforcheck.txt'; open(PROXY,"$proxylist"); @xproxy=<PROXY>; так этот файл на 2000 прокси занимает 40килобайт, до скольки его можно увеличивать, чтобы сервер не упал, либо как-нибудь по другому читать из файла только по 20 прокси?
с чего ты взял что сможешь завалить серв 2000 единовременных запросов? у него канал слабый? с чего ты взял, что пребирая проксики в цикле сможешь сгенерить 2000 запросов единовременно? исходя из твоего кода они будут идти последовательно, и следующий не начнется пока не закончится предидущий. Судя по всему тебе сюда http://www.gfs-team.ru/?act=downloads - gcproxy, код уже не рабочий, но писчи для ума - морэ
а если не выполнять оператор print $res->content; а только $res=$ua->request($req1); контент вебстраницы физически переместится на мой сервер? и вместе с графикой или без? мне бы как-нибудь сделать, чтобы хотя бы без графики страницы тянуло...