CURL złe wyniki google Opcje

[prapdm]

Witam

Wykorzystałem gotowy skrypt znaleziony gdzieś na internecie do sprawdzania pozycji strony na zadaną frazę.

Zwraca ze fraza strony flash znajduje się na 6 pozycji, co nie jest prawdą, bo prawidłowa pozycja to 2.
Zatem błąd tkwi w wynikach zwróconych przez curla, wie ktoś może dlaczego ?


Poniżej trochę kodu:

[PHP] pobierz, plaintext 
$adres_strony =  'http://'.$_GET['strona'].'';
     $fraza = $_GET['fraza'];
     //$wyszukiwarka = $row_slowa_kluczowe['searcher'];
     $url = preg_replace('(^http://|/$)','',$adres_strony);
     $pos = 0;
     $done = false;
     $found = false;
     $page_limit = 50;
 
 
 
	 //wykonajmy skrypt sprawdzanai pozycji
 
for ($page = 0; $page < $page_limit; $page += 10)
     {
         $results = array();
 
         $ch = curl_init();
         curl_setopt($ch, CURLOPT_URL, 'http://www.google.pl/search?hl=pl&source=hp&q='.urlencode($fraza).'&start='.$page);
         curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
         curl_setopt($ch, CURLOPT_REFERER, 'www.google.pl');
         curl_setopt($ch, CURLOPT_HTTPHEADER, array (
          "Host: www.google.pl",
          "User-Agent:  Mozilla/5.0 (Windows; U; Windows NT 6.1; pl-PL; rv:1.8.1.24pre) Gecko/20100228 K-Meleon/1.5.4",
          "Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5",
          "Accept-Language: pl,en-us;q=0.7,en;q=0.3",
          "Accept-Charset: ISO-8859-2,utf-8;q=0.7,*;q=0.7",
          "Keep-Alive: 300",
          "Connection: keep-alive",
          "Referer: www.google.pl"
         ));
 
 
         $response = curl_exec($ch);
 
echo $response;
 
         curl_close($ch);
 
         preg_match_all("/<h3 class=r><a[^>]+href=\"([^\"]+)\"[^>]*>/", $response, $out);
 
         foreach ($out[1] as $serp)
         {
             $serp = preg_replace('(^http://|/$)','',$serp);
 
             if (!strstr($serp, 'google.pl'))
             {
                 $pos++;
 
                 if ($serp == $url)
                 {
                     $done = true;
                     $found = true;
                     break;
                 }
                 else
                 {
                    $found = false;
 
                    if ($page == ($page_limit - 10))
                    {
                        break;
                    }
                 }
             }
         }
 
         if ($done)
         {
             break;
         }
 
         // losowy czas pomiedzy kolejnymi zapytaniami
         sleep(rand(15, 30));
     }
 
     if ($found)
     {
     echo '<br />'.$adres_strony.' - '. $fraza. ' - <b style="color:#00CC00">pozycja - '.$pos.'</b><br />';
     }	 
     else if (!$found)
     {
     echo '<br />'.$adres_strony.' - '. $fraza. ' - <b style="color:#FF0000">pozycja powyżej 50</b><br />';		
     }
[PHP] pobierz, plaintext 

Ten post edytował prapdm 27.03.2010, 21:43:51

[tehaha]

nie analizowałem Twojego skryptu, ale weź pod uwagę, że wyniki zwracane przez google są zależne od lokalizacji, tak więc przykładowo Ty możesz widzieć stronę na pozycji 6 a jakiś koleś z Krakowa będzie ją miał na pozycji 12. Możliwe że skrypt działa poprawnie ale zwraca wynik który jest wyświetlany w lokalizacji serwera, a nie Twojej

[prapdm]

Wszystko się zgadza. Powodem różnych wyników wyszukiwania są Google Datacenter. Z różnych rejonów polski łączymy się z innymi serwerami, proste.

Można to sobie sprawdzić np tutaj http://www.iwebtool.com/google_datacenter_search

Dla mojej lokalizacji IP dla google.pl to 209.85.135.103, zatem aby mieć identyczne wyniki zmieniłem adres google.pl na IP

[PHP] pobierz, plaintext 
curl_setopt($ch, CURLOPT_URL, 'http://209.85.135.103.pl/search?hl=pl&source=hp&q='.urlencode($fraza).'&start='.$page);
[PHP] pobierz, plaintext 

Generalnie powoduje to trochę kłopotów, bo klient z warszawy będzie widział co innego a klient z Wrocławia co innego. Najlepszym sposobem było by uśrednienie pozycji z paru google data centerów, albo napisanie tak skryptu aby zawsze pobierał dane z tego serwera gdzie jest najlepszy wynik (bo reszta serwerów i tak się z czasem zaktualizuje)