phpDom getElementsByTagName() wywala mi błąd Opcje

[tonyviroos]

Witam
Tworzę scraper danych z użyciem phpDom i wszystko niby fajnie działa, wyciąga większość danych z html ale czasami wywala błąd:

[PHP] pobierz, plaintext 
Fatal error: Call to a member function getElementsByTagName() on a non-object
[PHP] pobierz, plaintext 

Błąd niby znajduje się w linii 263:

[PHP] pobierz, plaintext 
$rows = $description->item(0)->getElementsByTagName('tr');
[PHP] pobierz, plaintext 

Cała funkcja:

[PHP] pobierz, plaintext 
public function getProductImages($url) {
        $this->loginToWeb();
        $domDocument = new DOMDocument();
        libxml_use_internal_errors(true);
        curl_setopt($this->curlHandler, CURLOPT_POST, 0);
        curl_setopt($this->curlHandler, CURLOPT_URL, $url);
        $content = curl_exec($this->curlHandler);
        $domDocument->loadHTML($content);
        libxml_clear_errors();
 
        $domXPath = new DOMXpath($domDocument);
        $thumbnails = $domXPath->query('//ul[@class="thumbnails"]');
        $thumbsArray = array();
        if ($thumbnails->length > 0) {
 
            for ($c = 0; $c < $thumbnails->item(0)->childNodes->length; $c++) {
                if (get_class($thumbnails->item(0)->childNodes->item($c)) == 'DOMElement') {
                    if ($thumbnails->item(0)->childNodes->item($c)->childNodes->length > 0) {
                        $thumbsArray[] = str_replace('small_thumb', 'krampd_rd', $thumbnails->item(0)->childNodes->item($c)->childNodes->item(1)->childNodes->item(1)->getAttribute('src'));
                    }
                }
            }
 
            $description = $domXPath->evaluate("/html/body//table[@id='attrsTable']");
            $rows = $description->item(0)->getElementsByTagName('tr');
            $html = '<table class="product_description">';
 
            foreach ($rows as $row) {
                $html .= '<tr>';
                $cells = $row->getElementsByTagName('td');
 
                foreach ($cells as $cell) {
                    $html .= '<td>';
                    $html .= $cell->nodeValue;
                    $html .= '</td>';
                }
                $html .= '</tr>';
            }
            $html .= '</table>';
            return array('images' => $thumbsArray, 'description' => $html);
        }
    }
[PHP] pobierz, plaintext 

Dziwne jest to że błąd wyskakuje tylko czasami i nie mam pojęcia dlaczego.

Ma ktoś jakieś pomysły ?

[nospor]

Skoro wystepuje tylko czasami, to nie przyszlo ci do glowy, ze moze poprostu czasami zadne description, ktorego szukasz, nie istnieje?

[tonyviroos]

Przyszło mi do głowy ale właśnie problem w tym że istnieje a mimo to wywala się błąd.

[nospor]

wg. php $description->item(0) nie istnieje. Uwierz na slowo: skoro php mowi, ze cos nie istnieje, znaczy ze nie istnieje.

[tonyviroos]

wg. php $description->item(0) nie istnieje. Uwierz na slowo: skoro php mowi, ze cos nie istnieje, znaczy ze nie istnieje.

Nie bardzo rozumiem co masz na myśli?

Chodzi o to że problem występuje niezależnie od tego czy descryption, którego szukam istnieje czy nie istnieje.
Nawet żeby było ciekawiej to dla produktu który nie ma opisu pobierane są wszystkie pozostałe dane, a wywala się na produkcie który posiada opis i to zupełnie losowo.

[KsaR]

wg. php $description->item(0) nie istnieje. Uwierz na slowo: skoro php mowi, ze cos nie istnieje, znaczy ze nie istnieje.

[PHP] pobierz, plaintext 
<?php
// 5 elementów
$array=array(
 'key'=>'value',
 0.1=>'a',
 0.2=>'b',
 0.3=>'c',
 1=>'d'
);
 
$count=count($array);
echo 'Elementów: ',$count, '/5<br/>';
 
// jeśli mniej niż 5.
if ($count<5)
{
 foreach ($array as $k=>$v)
 {
  echo $k, ' (';
  var_dump($k);
  echo ')<br/>';
 }
}
[PHP] pobierz, plaintext 

Elementów: 3/5
key (string(3) "key" )
0 (int(0) )
1 (int(1) )

(IMG:style_emoticons/default/tongue.gif)

[nospor]

@KsaR jak to sie ma do omawianego przykladu? To ze w niektorych momentach php sie zachowuje jak sie zachowuje, to uwierz, ale nie klamie gdy probujesz sie odwolac do obiektu a jego akurat nie ma. Wiec daruj sobie takie porownania.

Poza tym twoj "przyklad" jest o kant 4 liter, a to dlatego, ze nie czytasz dokumentacji
http://php.net/manual/en/language.types.array.php

Floats are also cast to integers, which means that the fractional part will be truncated. E.g. the key 8.7 will actually be stored under 8.

Wiec wszystko przebieglo prawidlowo. Lektura podstaw sie klania.

[KsaR]

@KsaR jak to sie ma do omawianego przykladu? To ze w niektorych momentach php sie zachowuje jak sie zachowuje, to uwierz, ale nie klamie gdy probujesz sie odwolac do obiektu a jego akurat nie ma. Wiec daruj sobie takie porownania.

No być może jakiś magiczny przypadek.. (IMG:style_emoticons/default/biggrin.gif)
Może coś z wersją php ? Różnie bywa, nie ma oprogramowania bez błędów. Jednak mam zdanie jak ty że w tym wypadku wina programisty.
--
Hmm.
$this->curlHandler
Pokaż co masz w tej własności.
Całą definicję. Bo różnie bywa.
--
Edit. Ps. nospor, czytam. Dałem tylko przykład że "różnie bywa".

Ten post edytował KsaR 9.09.2015, 15:54:02

[nospor]

Edit. Ps. nospor, czytam. Dałem tylko przykład że "różnie bywa".

Uzywasz php niezgodnie z instrukcją i dajesz to jako przyklad ze roznie bywa? No bez jaj.... php wyraznie mowi, ze 0.1 , 0.2 i 0.3 da tak czy siak 0 wiec tu wszytko w Twoim przykladzie jest ok a nie roznie bywa.

A w przykladzie co mamy, ewidetnie nie ma obiektu. Zamiast plakac na forum, niech autor da poprostu warunek na to czy jest obiekt czy nie. Skad mamy wiedziec co jest przyczyna tego, ze nagle tam nie ma obiektu, skoro dzialamy na strzepkach informacji. Tak, moze byc struktura html zepsuty, lub cos innnego - to ok, to roznie bywa. Ale nadal nie kumam jak sie ma do tego Twoj kod, gdzie to ty schrzaniles ewidetnie sprawe - to juz nie roznie bywa (IMG:style_emoticons/default/wink.gif)

[KsaR]

Uzywasz php niezgodnie z instrukcją i dajesz to jako przyklad ze roznie bywa? No bez jaj.... php wyraznie mowi, ze 0.1 , 0.2 i 0.3 da tak czy siak 0 wiec tu wszytko w Twoim przykladzie jest ok a nie roznie bywa.
(...)

No pierwszy przykład jaki przyszedł mi do głowy co może niektórych zaskoczyć itd.
jednak -
https://bugs.php.net/search.php?limit=30&am...mp;bug_type=All

Czasem zdarzają się błędy przypadki które nie są opisane w manualu, tzn są ale inaczej niż oczekiwany rezultat - czyli błędy (j.w.).

Ten post edytował KsaR 9.09.2015, 16:04:51

[nospor]

To bedziesz teraz w 90% przypadkow na forum wyskakiwal z takim postem bo w php zdarzają sie bledy? Bedzie na 99% zakladal, ze to wina php a nie bezmyslnosci programisty? Bo ja niestety z przypadkow na forum widze ze to zawsze na 100% wina programisty a nie php. Tutaj na 100% jes dokladnie to samo, czyli ze jak php mowi, ze nie ma obiektu, znaczy ze go nie ma. I nie doszukuj sie tu winy php, tylko albo zlego kodu albo zlej struktury html

[KsaR]

To bedziesz teraz w 90% przypadkow na forum wyskakiwal z takim postem bo w php zdarzają sie bledy? Bedzie na 99% zakladal, ze to wina php a nie bezmyslnosci programisty? Bo ja niestety z przypadkow na forum widze ze to zawsze na 100% wina programisty a nie php. Tutaj na 100% jes dokladnie to samo, czyli ze jak php mowi, ze nie ma obiektu, znaczy ze go nie ma. I nie doszukuj sie tu winy php, tylko albo zlego kodu albo zlej struktury html

(IMG:style_emoticons/default/offtopic.gif) (IMG:style_emoticons/default/aaevil.gif)
Pisalem przecież:

Jednak mam zdanie jak ty że w tym wypadku wina programisty.

Dalsze posty byly tłumaczeniem się o co mniej-więcej chodziło mi
--
A problem pewnie jest z $this->curlHandler, tak jak pisalem.
Bo nie widac jak jest deklarowane, co przekazywane itd.

Ten post edytował KsaR 9.09.2015, 16:14:27

[nospor]

A problem pewnie jest z $this->curlHandler, tak jak pisalem.

To nie problem z curlHandler, tylko z zawartoscią strony. A to dwie rozne rzeczy na tym etapie.

[tonyviroos]

OK daję cały plik importera z którym walczę.
Być może gdzieś zrobiłem głupi błąd bo różnie bywa ale wydaje mi się że wszystko jest OK od strony php.

[PHP] pobierz, plaintext 
http://pastebin.com/rGaGnytx
[PHP] pobierz, plaintext 

[KsaR]

OK daję cały plik importera z którym walczę.
Być może gdzieś zrobiłem głupi błąd bo różnie bywa ale wydaje mi się że wszystko jest OK od strony php.

[PHP] pobierz, plaintext 
http://pastebin.com/rGaGnytx
[PHP] pobierz, plaintext 

[PHP] pobierz, plaintext 
$loginURL = "https://www.strona_z_produktami.com/do/action/LogonAjaxCmd?";
        foreach ($postData as $k => $v) {
            $loginURL .= '&' . $k . '=' . $v;
        }
[PHP] pobierz, plaintext 

[PHP] pobierz, plaintext 
$loginURL = 'https://www.strona_z_produktami.com/do/action/LogonAjaxCmd?';
        foreach ($postData as $k=>$v) {
            $loginURL.="{$k}={$v}&";
        }
$loginURL=rtrim($loginURL,'&');
[PHP] pobierz, plaintext 

Choć to chyba nic nie zmieni hm.
--
Ja bym zrobił na twoim miejscu coś tego typu w tej metodzie co randomowe problemy:

[PHP] pobierz, plaintext 
if ($this->isLoged)
{
 // sprawdzanie DOM-u itd.
}
else
{
 // jakiś błąd rzucić czy coś.
 return false;
}
[PHP] pobierz, plaintext 

Ten post edytował KsaR 9.09.2015, 19:24:35

[tonyviroos]

Logowanie działa poprawnie tak samo jak pobieranie zdjęcia produktu, ceny i dostępności towaru, jedynie wywala się czasami na pobieraniu opisu.

[nospor]

I dlatego poraz kolejny mowie, ze to jest problem kodu HTML strony, z ktorej pobierasz kod. Ale poraz kolejny jestem ignorowany i zawziecie sluchasz postow ksara, ktore za duzo do tematu nie wnoszą.

[tonyviroos]

I dlatego poraz kolejny mowie, ze to jest problem kodu HTML strony, z ktorej pobierasz kod. Ale poraz kolejny jestem ignorowany i zawziecie sluchasz postow ksara, ktore za duzo do tematu nie wnoszą.

Nie słucham tylko wyjaśniłem że to co proponuje nie ma nic wspólnego z opisywanem problemem.

Może w takim razie zaproponuj rozwiązanie tego problemu bo ja już wymiękam, teraz sprawdziłem 2 produkty i na jednym wywaliło błąd a na drugim przeszło bez problemu (oba produkty takie same, różnią się jedynie kolorem ale opis i wszystko inne jest takie samo, kod źródłowy również jest identyczny poza nazwą koloru przedmiotu)

[nospor]

Zeby ci pomoc, trzeba poznac kod zrodlowy, na ktorym sie twoj kod wykrzacza. Inaczej, jak juz mowilem wielokrotnie, to wrozenie z fusów.

[tonyviroos]

Kod strony z listą produktów

[PHP] pobierz, plaintext 
http://pastebin.com/d0cAcvmB
[PHP] pobierz, plaintext 

Kod strony z opisem produktu

[PHP] pobierz, plaintext 
http://pastebin.com/mkWAnrcM
[PHP] pobierz, plaintext