помощь с граблями

Discussion in 'PHP' started by XopoIII, 28 Jul 2008.

  1. XopoIII

    XopoIII Elder - Старейшина

    Joined:
    29 Oct 2007
    Messages:
    386
    Likes Received:
    30
    Reputations:
    0
    вобщем нужно грабить множество страничек, проблема в том что странички иногда меняют поддомены, но остальное не меняется, пробовал так решить проблему, но что то не получается.
    PHP:
            $host=0;
        
    $hosts = array("a""b""c");
        
    $ss $hosts[$host];

        
    $uid =str_replace("http://","",$uid);
        
    $uid =str_replace("www.","",$uid);
        
    $uid =str_replace("a.test.ru/","",$uid);
        
    $uid =str_replace("b.test.ru/","",$uid);
        
    $uid =str_replace("c.test.ru/","",$uid);
        
    $uid =str_replace(" ","+",$uid);

        
    $fp fsockopen("$ss.test.ru"80$errno$errstr30);
        if (!
    $fp) { 
               return 
    $host+1;
        } else {
               
    $out ="GET /$filename HTTP/1.1\r\n";
               
    $out.="Accept: */*\r\n";
               
    $out.="Host: $ss.test.ru\r\n";
               
    $out.="Accept-Language: ru\r\n";
            
    $out.="User-Agent: Mozilla/5.0 (compatible; NavyBS 7.01; OS X)\r\n";
               
    $out.="Proxy-Connection: Keep-Alive\r\n";
               
    $out.="Connection: close\r\n\r\n";
            
    fwrite($fp$out);

               
    $tmp "";
               for (
    $i=0$i<3$i++) $tmp .= fgets($fp128);
                
    $file file_get_contents("http://$ss.test.ru/".$tmp);
    }
     
    #1 XopoIII, 28 Jul 2008
    Last edited: 28 Jul 2008
  2. -=Static=-

    -=Static=- Banned

    Joined:
    12 Nov 2006
    Messages:
    201
    Likes Received:
    40
    Reputations:
    0
    Я чет понять не могу в чем проблема...(( Выложи полностью код..а то тут чет както нехватает много...Или опиши подробнее цель
     
  3. t0tal

    t0tal Member

    Joined:
    30 Nov 2007
    Messages:
    12
    Likes Received:
    10
    Reputations:
    0
    Поищи в полезных скриптах скрипт для сбора всех ссылок с сайта. Также поищи про многопоточность темы, пригодится при большом количестве страниц.
     
  4. XopoIII

    XopoIII Elder - Старейшина

    Joined:
    29 Oct 2007
    Messages:
    386
    Likes Received:
    30
    Reputations:
    0
    у меня выдает вот такую вот херню
    PHP:
    Warningfile_get_contents(http://a.test.ru/HTTP/1.0 200 OK Date: Mon, 28 Jul 2008 02:46:03 GMT Server: Apache/2.0.49 (Linux/SuSE) ) 
    [function.file-get-contents]: failed to open stream:
     
    HTTP request failedHTTP/1.0 404 Not Found in 

    в этой строке
    PHP:
    $file file_get_contents("http://$ss.test.ru/".$tmp); 
     
  5. XopoIII

    XopoIII Elder - Старейшина

    Joined:
    29 Oct 2007
    Messages:
    386
    Likes Received:
    30
    Reputations:
    0
    вобщем не знаю почему но косяк был в
    PHP:
    $tmp "";
               for (
    $i=0$i<3$i++) $tmp .= fgets($fp128); 
    удалил, заменил на
    PHP:
    $tmp "info.html?user=".$uid
    и получилось=)