Определить Page Rank

Discussion in 'PHP' started by Serg0007, 11 Apr 2009.

  1. Serg0007

    Serg0007 New Member

    Joined:
    13 Mar 2009
    Messages:
    10
    Likes Received:
    1
    Reputations:
    0
    Задача состоит в определении пыра для очень большого количества доменов.
    Раньше юзал это:
    Code:
    <?php
    
    define('GOOGLE_MAGIC', 0xE6359A60);
    
    // Èñïîëüçóåòñÿ ýòîò êëàññ, åñëè ñåðâåð èìååò ïðîáëåìû ñ ïîðàçðÿäíûìè îïåðàöèÿìè
    class calc extends PageRank {
    	function xor32($a, $b) {
    		return $this->int32($a) ^ $this->int32($b);
    	}
    	//âîçâðàò íàèìåíåå çíà÷èìûå 32 áèòà
    	//÷òîáû ñîçäàâàòü öåëîå ÷èñëî, äàæå åñëè ìû îáåñïå÷èâàåì äâîéíóþ âåëè÷èíó
    	function int32($x) {
    		return unserialize("i:$x;");
    		//return intval($x); // Ýòà ñòðîêà íå ðàáîòàåò íà íåêîòîðûõ ñåðâåðàõ.
    	}
    	
    	function mix($a,$b,$c) {
    		$a -= $b; $a -= $c; $a = $this->xor32($a,$this->zeroFill($c,13));
    		$b -= $c; $b -= $a; $b = $this->xor32($b,$a<<8);
    		$c -= $a; $c -= $b; $c = $this->xor32($c,$this->zeroFill($b,13));
    		$a -= $b; $a -= $c; $a = $this->xor32($a,$this->zeroFill($c,12));
    		$b -= $c; $b -= $a; $b = $this->xor32($b,$a<<16);
    		$c -= $a; $c -= $b; $c = $this->xor32($c,$this->zeroFill($b,5));
    		$a -= $b; $a -= $c; $a = $this->xor32($a,$this->zeroFill($c,3));
    		$b -= $c; $b -= $a; $b = $this->xor32($b,$a<<10);
    		$c -= $a; $c -= $b; $c = $this->xor32($c,$this->zeroFill($b,15));
    		return array($a,$b,$c);
    	}
    }	
    
    //Ýòîò êëàññ äîëæåí ðàáîòàòü íà áîëüøèíñòâå ñåðâåðîâ
    class PageRank {
    	function zeroFill($a, $b){
    		$z = hexdec(80000000);
    		if ($z & $a){
    			$a = ($a>>1);
    			$a &= (~$z);
    			$a |= 0x40000000;
    			$a = ($a>>($b-1));
    		}else{
    			$a = ($a>>$b);
    		}
    		return $a;
    	}
    	
    	function mix($a,$b,$c) {
    		$a -= $b; $a -= $c; $a ^= ($this->zeroFill($c,13));
    		$b -= $c; $b -= $a; $b ^= ($a<<8);
    		$c -= $a; $c -= $b; $c ^= ($this->zeroFill($b,13));
    		$a -= $b; $a -= $c; $a ^= ($this->zeroFill($c,12));
    		$b -= $c; $b -= $a; $b ^= ($a<<16);
    		$c -= $a; $c -= $b; $c ^= ($this->zeroFill($b,5));
    		$a -= $b; $a -= $c; $a ^= ($this->zeroFill($c,3));
    		$b -= $c; $b -= $a; $b ^= ($a<<10);
    		$c -= $a; $c -= $b; $c ^= ($this->zeroFill($b,15));
    		return array($a,$b,$c);
    	}
    	
    	function GoogleCH($url, $length=null, $init=GOOGLE_MAGIC) {
    		if(is_null($length)) {
    			$length = sizeof($url);
    		}
    		$a = $b = 0x9E3779B9;
    		$c = $init;
    		$k = 0;
    		$len = $length;
    		while($len >= 12) {
    			$a += ($url[$k+0] +($url[$k+1]<<8) +($url[$k+2]<<16) +($url[$k+3]<<24));
    			$b += ($url[$k+4] +($url[$k+5]<<8) +($url[$k+6]<<16) +($url[$k+7]<<24));
    			$c += ($url[$k+8] +($url[$k+9]<<8) +($url[$k+10]<<16)+($url[$k+11]<<24));
    			$mix = $this->mix($a,$b,$c);
    			$a = $mix[0]; $b = $mix[1]; $c = $mix[2];
    			$k += 12;
    			$len -= 12;
    		}
    		$c += $length;
    		switch($len){
    			case 11: $c+=($url[$k+10]<<24);
    			case 10: $c+=($url[$k+9]<<16);
    			case 9 : $c+=($url[$k+8]<<8);
    			/* the first byte of c is reserved for the length */
    			case 8 : $b+=($url[$k+7]<<24);
    			case 7 : $b+=($url[$k+6]<<16);
    			case 6 : $b+=($url[$k+5]<<8);
    			case 5 : $b+=($url[$k+4]);
    			case 4 : $a+=($url[$k+3]<<24);
    			case 3 : $a+=($url[$k+2]<<16);
    			case 2 : $a+=($url[$k+1]<<8);
    			case 1 : $a+=($url[$k+0]);
    		}
    		$mix = $this->mix($a,$b,$c);
    		/* report the result */
    		return $mix[2];
    	}
    	
    	//ïðåîáðàçîâûâàåò ñòðîêó â ìàññèâ
    	function strord($string) {
    		for($i=0;$i<strlen($string);$i++) {
    			$result[$i] = ord($string{$i});
    		}
    		return $result;
    		}
    
    	//âîçâðàò -1 åñëè íèêàêîé ñòðàíè÷íûé ðàíã íå áûë îáíàðóæåí
    	function getRank($url){
    		$ch = "6".$this->GoogleCH($this->strord("info:" . $url));
    		
    		$pagerank=-1;
    		$fp = fsockopen("www.google.com", 80, $errno, $errstr, 30);
    		if (!$fp) {
    			echo "$errstr ($errno)<br>\n";
    		} else {
    			$out = "GET /search?client=navclient-auto&ch=" . $ch .  "&features=Rank&q=info:" . $url . " HTTP/1.1\r\n" ;
    			$out .= "Host: www.google.com\r\n" ;
    			$out .= "Connection: Close\r\n\r\n" ;
    			fwrite($fp, $out);
    			while (!feof($fp)) {
    				$data = fgets($fp, 128);
    				$pos = strpos($data, "Rank_");
    				if($pos === false){
    				}else{
    				$pagerank = trim(substr($data, $pos + 9));
    				}
    			}
    			fclose($fp);
    		}
    		return $pagerank;
    	}
    } 
    
    Но нужна скорость в разы больше, может кто-нить что посоветует
     
    #1 Serg0007, 11 Apr 2009
    Last edited: 11 Apr 2009
  2. geezer.code

    geezer.code Elder - Старейшина

    Joined:
    22 Jan 2007
    Messages:
    552
    Likes Received:
    358
    Reputations:
    90
    в разы больше, только в несколько потоков.
    способ организации "многопоточности" остается на вашей совести :)
     
  3. blednii

    blednii Elder - Старейшина

    Joined:
    12 Jun 2007
    Messages:
    160
    Likes Received:
    23
    Reputations:
    -7
    В разы больше? Ты планируешь поисковую систему созать которая будет определять множество сайтов сразу? Если нет то можно и так оставить. Да и на гугле почитать можно там я где-то видел апи по этому поводу.
     
  4. Sharky

    Sharky Elder - Старейшина

    Joined:
    1 May 2006
    Messages:
    487
    Likes Received:
    312
    Reputations:
    46
    лучше на perl многопоточный напиши..