Pozycja strony w googlu Opcje

[mhs]

Witam serdecznie,

istnieje jakaś możliwość wyciągnięcia z googli informacji o tym na jakiej pozycji znajduje się dana strona internetowa na określone hasło? Potrzebują przygotować skrypt, który będzie automatycznie sprawdzał co jakiś czas na jakiej pozycji w wyszukiwarce znajduje się strona na określone zapytania. Jednocześnie chciałbym rozwiązanie w pełni legalne, tzn. by nie trzeba było tego obchodzić - tylko coś na co "pozwala" Google.

Pozdrawiam,
Michał.

[siemakuba]

Google ma API do wyszukiwarki, żeby z niego korzystać potrzebny jest jednak Google SOAP API key. Ten klucz nie jest już rozdawany, więc jedyna szansa twoja to taka, że go już masz lub ma ci kto użyczyć. (szczegóły: http://code.google.com/apis/soapsearch/reference.html)

Za pomocą tego search api dało się zrobić takie sprawdzanie o jakim piszesz. Teraz jest AJAX search api no i chyba nie za bardzo nadaje się do takiego rodzaju działania...

Zawsze możesz robić zapytanie do google.com via PHP i potem parsować wynikowy HTML - mało eleganckie i dość pewnie pracochłonne rozwiązanie, ale w ostateczności można ;)

pozdr.

[mhs]

@siemakuba Dzięki za odpowiedź.

Niestety parsowanie wynikowych stron raczej nie wchodzi w grę ze względu na zastosowanie skryptów (znaczna ilość domen, znaczna ilość słów kluczowych). Dodatkowo jakiekolwiek zmiany w kodzie strony mogą pociągnąć za sobą konieczności aktualizacji skryptów (przerwę w działaniu usług itd.), a także pewnie samo rozwiązanie jest zbyt czasochłonne w działaniu.

Orientujesz się może jak wygląda sytuacja z innymi wyszukiwarkami typu MSN, Yahoo?

Mam jeszcze jedno pytanie. Z tego co wiem jeżeli chodzi o ilość zapytań jakie można było wykorzystać na jednym kluczu była stosunkowo mała (chyba 1000 zapytań). Czy znasz może inne ograniczenia rozwiązania wcześniej wspomnianego przez Ciebie lub też możesz potwierdzić to z czym osobiście się spotkałem?

[siemakuba]

Co do MSN czy yahoo - nie orientuję się jak to u nich wygląda, ale warto zajrzeć na ich strony i poszukać. Posiadanie API do usługi jest dość łebdwazerowe, trendi i freszi więc jest szansa, że coś tam mają. (szczególnie Yahoo).

Co do limitu w Google Search API - 1000 zapytań to limit dzienny, więc zależnie od twoich potrzeb może to być albo mało albo dużo. Jedno zapytanie = 10 wyników na dane hasło. Zakładając, że chcesz szukać interesującej cię strony w zakresie pierwszych pięciu stron wyników, poświęcisz na to max 5 zapytań. To daje dziennie możliwość takiego sprawdzenia 200 stron. Na potrzeby prywatne - to aż za wiele, na rozwiązanie, które ma być usługą - pewnie za mało. Nie da się też ukryć, że są serwisy www, które dają ci możliwość takiego sprawdzania i w jakiś sposób na pewno radzą sobie z tym ograniczeniem - może jest jakaś komercyjna opcja na Search API?

pozdr.

[Diwi]

Dodatkowo wyniki poprzez Google Search API dosyć czesto różnią się od tych w normalnym wyszukiwaniu.

Ja u siebie (http://www.diwi.pl/sprawdzanie_pozycji/) wykorzystuję parsowanie wyników Google, szybkie i zawsze podaje dokładny wynik . Jak chcesz funkcje to mogę Ci ją wysłać jak coś na PW

Pozdrawiam

[mhs]

siemakuba Dzięki za informacje. Będę dalej szukał rozwiązań.

[impuls2003]

Kompletna klasa do Google
Zniknal tylko RealPageRank (Zawsze = 0).
Testy na www.pc2.pl LOGIN: DEMO HASLO: DEMO123

Klasa została wykorzystana na w/w stronie w: Słowa kluczowe, Podstrony, Adresy referencyjne.

Funkcja getrealrank wymaga PHP5, pozostałe chodza na PHP4. getrealrank mozna sobie odpuscic.

[PHP] pobierz, plaintext 
<?
 
define("GOOGLE_MAGIC", 0xE6359A60);
 
class GOOGLE {
 
public function google_pozycja_strony($strona,$zapytanie)
 {
 $sLinkRegExp = '/<h2 class=r><a href="([^"]+)" class=l>/';
 $sURLTpl = 'http://www.google.pl/search?hl=pl&q=%s&num=100';
 $sQ = $zapytanie;
 $sSite = $strona;
 $rC = curl_init();
 curl_setopt($rC, CURLOPT_HEADER, 0);
 curl_setopt($rC, CURLOPT_RETURNTRANSFER, 1);
 curl_setopt($rC, CURLOPT_VERBOSE, 1);
 curl_setopt($rC, CURLOPT_REFERER, 'www.google.pl');
 curl_setopt($rC, CURLOPT_URL, sprintf($sURLTpl, urlencode($sQ)));	
 $sData = curl_exec($rC);
 curl_close($rC);
 preg_match_all($sLinkRegExp, $sData, $aResults);
 $aResults = array_pop($aResults);
 $iPosition = '-';
 foreach($aResults as $iKey => $sRow) 
  {
  if(strpos(strip_tags($sRow), 'http://' . $sSite) !== false) 
   {
   $iPosition = $iKey + 1;
   }
  }
 if ($iPosition != '-' && $iPosition != '0') return "<font color='#FFFF00'>Pozycja GOOGLE ".($iPosition-1)."</font>";
 else return "<font color='#FFFF00'>-</font>";
 }
 
private function zeroFill($a, $b) 
 { 
 $z = hexdec(80000000);
 if ($z & $a) 
  {
  $a = ($a>>1);
  $a &= (~$z);
  $a |= 0x40000000;
  $a = ($a>>($b-1));
  }
 else 
  {
  $a = ($a>>$b);
  }
 return $a;
 }
 
private function toInt32(& $x)
 { 
 $z = hexdec(80000000); 
 $y = (int)$x; 
 if($y==-$z&&$x<-$z)
  { 
  $y = (int)((-1)*$x);// this is the hack, make it positive before 
  $y = (-1)*$y; // switch back the sign 
  } 
 $x = $y; 
 }
 
private function mix($a,$b,$c) 
 { 
 $a -= $b; $a -= $c; $this -> toInt32($a); $a = (int)($a ^ ($this -> zeroFill($c,13))); 
 $b -= $c; $b -= $a; $this -> toInt32($b); $b = (int)($b ^ ($a<<8)); 
 $c -= $a; $c -= $b; $this -> toInt32($c); $c = (int)($c ^ ($this -> zeroFill($b,13))); 
 $a -= $b; $a -= $c; $this -> toInt32($a); $a = (int)($a ^ ($this -> zeroFill($c,12))); 
 $b -= $c; $b -= $a; $this -> toInt32($b); $b = (int)($b ^ ($a<<16)); 
 $c -= $a; $c -= $b; $this -> toInt32($c); $c = (int)($c ^ ($this -> zeroFill($b,5))); 
 $a -= $b; $a -= $c; $this -> toInt32($a); $a = (int)($a ^ ($this -> zeroFill($c,3))); 
 $b -= $c; $b -= $a; $this -> toInt32($b); $b = (int)($b ^ ($a<<10)); 
 $c -= $a; $c -= $b; $this -> toInt32($c); $c = (int)($c ^ ($this -> zeroFill($b,15))); 
 return array($a,$b,$c); 
 } 
 
private function GoogleCH($url, $length=null, $init=GOOGLE_MAGIC) 
 {
 if(is_null($length)) 
  {
  $length = sizeof($url);
  }
 $a = $b = 0x9E3779B9;
 $c = $init;
 $k = 0;
 $len = $length;
 while($len >= 12) 
  {
  $a += ($url[$k+0] +($url[$k+1]<<8) +($url[$k+2]<<16) +($url[$k+3]<<24));
  $b += ($url[$k+4] +($url[$k+5]<<8) +($url[$k+6]<<16) +($url[$k+7]<<24));
  $c += ($url[$k+8] +($url[$k+9]<<8) +($url[$k+10]<<16)+($url[$k+11]<<24));
  $mix = $this -> mix($a,$b,$c);
  $a = $mix[0];
  $b = $mix[1];
  $c = $mix[2];
  $k += 12;
  $len -= 12;
  }
 $c += $length;
 switch($len)			/* all the case statements fall through */
  {
  case 11: $c+=($url[$k+10]<<24);
  case 10: $c+=($url[$k+9]<<16);
  case 9 : $c+=($url[$k+8]<<8);
  case 8 : $b+=($url[$k+7]<<24);
  case 7 : $b+=($url[$k+6]<<16);
  case 6 : $b+=($url[$k+5]<<8);
  case 5 : $b+=($url[$k+4]);
  case 4 : $a+=($url[$k+3]<<24);
  case 3 : $a+=($url[$k+2]<<16);
  case 2 : $a+=($url[$k+1]<<8);
  case 1 : $a+=($url[$k+0]);
  }
 $mix = $this -> mix($a,$b,$c);
 return $mix[2];
 }
 
private function strord($string) 
 {
 for($i=0;$i<strlen($string);$i++) 
  {
  $result[$i] = ord($string{$i});
  }
 return $result;
 }
 
private function getrank($url, $prefix="info:", $datacenter="www.google.pl") 
 {
 $url = $prefix.$url;
 $ch = $this -> GoogleCH($this -> strord($url));
 $file = "http://$datacenter/search?client=navclient-auto&ch=6$ch&features=Rank&q=$url";
 $oldlevel = error_reporting(0);
 $data = file($file);
 error_reporting($oldlevel);
 if(!$data || preg_match("/(.*).(.*)/i", $url)==0) return "N/A";
 $rankarray = explode (":", $data[2]);
 $rank = trim($rankarray[2]);
 if($rank=="") return "N/A";
 return $rank;
 }
 
private function getrealrank($url, $datacenter="www.google.pl")
 {
 $url = "info:".$url;
 $ch = $this -> GoogleCH($this -> strord($url));
 $file = "http://$datacenter/search?client=navclient-auto&ch=6$ch&q=$url";
 //echo $file."<br />";
 $data = file($file);
 $tekst = ""; foreach ($data as $row) { $tekst .= $row."n"; }
 $Iterator = new SimpleXMLIterator($tekst);
 $Iterator->rewind();
 $infoarray = $Iterator -> RES;
 $nonwwwurl = str_replace("www.", "", $url);
 $urlpermutationsarray = array($url, 
	"http://".$url, 
	"http://www.".$url, $url."/", 
	"http://".$url."/", 
	"http://www.".$url."/", 
	$nonwwwurl, 
	"http://".$nonwwwurl, 
	"http://www.".$nonwwwurl, 
	$nonwwwurl."/", 
	"http://".$nonwwwurl."/", 
	"http://www.".$nonwwwurl."/"); 
 
 for($i=0; $i<count($infoarray); $i++)
  {
  $urlU = $infoarray -> R[$i] -> U;
  //echo $urlU."<br />";
  $urlrank = $infoarray -> R[$i] -> RK;
  //echo $urlrank."<br />";
  foreach($urlpermutationsarray as $permutation){ if(strtolower($permutation)==strtolower($urlU)) return $urlrank; }
  }
 return "-";
 }
 
public function bierz_page_rank ($url)
 {
 $z = parse_url ($url);
 $zz = $z['host'].$z['path'];
 $zz1 = $z['host'];
 if ($zz)
  {
  $rank1 = $this -> getrank($zz);
  $rank2 = $this -> getrank($zz1);
  $rank3 = $this -> getrealrank($zz);
  $rank4 = $this -> getrealrank($zz1);
  return "<font color='#FFFF00'>Google Page Ranking:".$rank1."(".$rank3."),".$rank2."(".$rank4.")</font>";
  }
 else return "";
 }
 
 }
 
$GOOGLE = new GOOGLE;
 
?>
[PHP] pobierz, plaintext 

[free]

Impuls masz blad w 7 lini

Impuls masz blad w 7 lini

[kubarek]

nie ma błędu
pewnie używasz php4, a tam nie ma słowa kluczowego public

[impuls2003]

W zasadzie mozna funkcje "function google_pozycja_strony($strona,$zapytanie)" wyjac z klasy i stosowac oddzielnie

Jesli np. Google zmieni wzor wyswietlania wynikow, trzeba bedzie zmienic regulke REGEXP.

Pozostałe funkcje w klasie sa stosowane tylko przy braniu PR strony.

Przy moich STAT wkrada sie czasami blad, a czasami nie ze pokazuje za duzo podstron istniejacych - musze dojsc wlasnie dlaczego. I jak URL jest w UTF8 to albo krzaczy albo nie pokazuje wcale. Jak URL jest dluzszy od 650 znaków tez nie pokazuje.

A tak na marginesie jesli komus sie przyda ta klasa, bede sie bardzo cieszyl
Trudno bylo znalezc rozwiazanie pobierania PageRanking na maszynach - serwerach 64-bitowych.

Jesli ktos ma jakies funkcje do pobierania danych z Google, np. ilosc linkow wychodzacych BackLinks bede wdzieczny za kod.

Pozdrawiam.

P.S. Tak na marginesie. Wszystkie przydatne rzeczy dotyczace PHP wrzucam do dzialu download na PC2.pl

Jest tam m.in. klasa ktora odczytuje pliki excela, nawet Office 2003

Ten post edytował impuls2003 21.05.2007, 12:52:08

[sf]

pozycja w google