[PHP] Skrapowanie obrazków Opcje

[wiedzma92]

Witajcie! Próbuję stworzyć funkcję, która zwróci główne obrazki ze strony http://jbzd.pl. TYLKO główne obrazki, nie jakieś loga czy inne pierdoły. Niestety mój twór wywala kilka błędów. Zerknijcie, proszę, na te hieroglify i powiedzcie, co w nich nie gra.

[PHP] pobierz, plaintext 
	<?php
 
	function getImages($url, $referrer)
	{
		$ch = curl_init($url);
 
		if (curl_errno($ch))
		{
			echo 'Error ' . curl_errno($ch) . ': ' .curl_error($ch);
		}
 
		curl_setopt($ch, CURLOPT_REFERER, $referrer);
 
		curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
		curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (X11; U; Linux i686; pl; rv:1.8.0.3) Gecko/20060426 Firefox/1.5.0.3');
 
		$content = curl_exec($ch);
 
		$doc = new DOMDocument();
		$doc->loadHTML($content);
 
		$xpath = new DOMXPath($doc);
		$images = $xpath->query('//span[@class = "image rolled"]/img');
 
		return $images;
	}
 
	echo getImages('http://jbzd.pl', 'http://localhost/img.php');
[PHP] pobierz, plaintext 

[markuz]

Podzielisz się z nami treścią tych błędów?

[wiedzma92]

Oczywiście, oto te straszydła:

Warning: DOMDocument::loadHTML(): htmlParseEntityRef: expecting ';' in Entity, line: 35 in /Applications/XAMPP/xamppfiles/htdocs/img.php on line 20

Warning: DOMDocument::loadHTML(): Unexpected end tag : script in Entity, line: 220 in /Applications/XAMPP/xamppfiles/htdocs/img.php on line 20

Warning: DOMDocument::loadHTML(): Unexpected end tag : script in Entity, line: 226 in /Applications/XAMPP/xamppfiles/htdocs/img.php on line 20

Warning: DOMDocument::loadHTML(): htmlParseEntityRef: expecting ';' in Entity, line: 487 in /Applications/XAMPP/xamppfiles/htdocs/img.php on line 20

Warning: DOMDocument::loadHTML(): htmlParseEntityRef: expecting ';' in Entity, line: 487 in /Applications/XAMPP/xamppfiles/htdocs/img.php on line 20

Warning: DOMDocument::loadHTML(): Tag video invalid in Entity, line: 554 in /Applications/XAMPP/xamppfiles/htdocs/img.php on line 20

Warning: DOMDocument::loadHTML(): Tag source invalid in Entity, line: 555 in /Applications/XAMPP/xamppfiles/htdocs/img.php on line 20

Warning: DOMDocument::loadHTML(): Unexpected end tag : p in Entity, line: 800 in /Applications/XAMPP/xamppfiles/htdocs/img.php on line 20

Warning: DOMDocument::loadHTML(): Unexpected end tag : p in Entity, line: 816 in /Applications/XAMPP/xamppfiles/htdocs/img.php on line 20

Catchable fatal error: Object of class DOMNodeList could not be converted to string in /Applications/XAMPP/xamppfiles/htdocs/img.php on line 28

[Pyton_000]

Kod

$content = file_get_contents('http:/...');

preg_match_all('/image rolled.*?src="(.*?)"/s', $content, $match);
var_dump($match);

Ten post edytował Pyton_000 12.07.2016, 18:19:25

[wiedzma92]

Poprawiłam mój kod. Chciałabym teraz, żeby powstała tablica ze wszystkimi ścieżkami oraz info, czy jest to jpg, czy gif, bo teraz pojawia się tylko wskaźnik (liczba obrazków). Podpowiedzcie, proszę, jak to zrobić. Będę wdzięczna

[PHP] pobierz, plaintext 
	libxml_use_internal_errors(true);
 
	function getImages($url, $referrer)
	{
		$ch = curl_init($url);
 
		if (curl_errno($ch))
		{
			echo 'Error ' . curl_errno($ch) . ': ' .curl_error($ch);
		}
 
		curl_setopt($ch, CURLOPT_REFERER, $referrer);
 
		curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
		curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (X11; U; Linux i686; pl; rv:1.8.0.3) Gecko/20060426 Firefox/1.5.0.3');
 
		$content = curl_exec($ch);
 
		$doc = new DOMDocument();
		$doc->loadHTML($content);
 
		$xpath = new DOMXPath($doc);
		$images = $xpath->query('//div[@class="image rolled"]/a/img[@src]');
 
		return $images;
 
		foreach ($images as $image)
		{
			$src = $image->getAttribute('src');
		}
	}
 
	print_r(getImages('http://jbzd.pl', 'http://localhost/img.php'));
[PHP] pobierz, plaintext 

[mlawnik]

Funkcja substr($src, -3);

Pobiera ostatnie 3 znaki atrybutu src (rozszerzenie pliku).
Możnaby też explode z kropką i wtedy ostatni ciąg.

[wiedzma92]

Funkcja substr($src, -3);

Pobiera ostatnie 3 znaki atrybutu src (rozszerzenie pliku).
Możnaby też explode z kropką i wtedy ostatni ciąg.

Przepraszam, pewnie wyjdę na debilkę, ale nie za bardzo rozumiem :/

[mlawnik]

Lepiej nie rozumieć i zapytać o wyjaśnienie niż nie rozumieć i błądzić

Funkcja substr zwraca część ciągu podanego jako argument.
Skoro masz już adres obrazka, można wyciągnąć jego rozszerzenie.

[PHP] pobierz, plaintext 
<?php
$src = 'http://img.jbzd.pl/2016/07/1501aae12527847eb4e7f0eabdd93b0a.jpg';
 
$rozszerzenie = substr($src, -3);
echo $rozszerzenie;
?>
[PHP] pobierz, plaintext 

Tu uruchomione:
https://3v4l.org/fOdBM

Albo też możemy użyć funkcji explode, która dzieli ciąg w miejscu gdzie znajduje się podany znak:

[PHP] pobierz, plaintext 
<?php
$src = 'http://img.jbzd.pl/2016/07/1501aae12527847eb4e7f0eabdd93b0a.jpg';
 
$rozszerzenie = explode('.', $src);
var_dump($rozszerzenie);
 
echo 'Rozszerzenie: ' . end($rozszerzenie);
 
?>
[PHP] pobierz, plaintext 

Tu uruchomione:
https://3v4l.org/oHe33

Mam nadzieję że teraz na przykładzie wyda się to prostsze.
Jeżeli umiesz angielski to polecam szukać w google i na stackoverflow, a jak Ci się nie uda, to zapraszamy z powrotem tutaj .

[wiedzma92]

Dziękuję za wyjaśnienie i pomoc, Przyjacielu! Mniej więcej o coś takiego mi chodziło, chciałabym jednak, żeby wyrzuciło mi na ekran tablicę ze wszystkimi plikami z rozszerzeniem .gif i .jpg, do których prowadzi ścieżka $src, oraz info o na ich temat - że gif to gif, a jpg to jpg. Zaczęłam więc kombinować z wyrażeniami regularnymi, ale pozytywnego efektu narazie brak. Stworzyłam coś takiego, ale nie wiem czy mój tok rozumowania jest słuszny i czy ma choć trochę sensu :/

[PHP] pobierz, plaintext 
	libxml_use_internal_errors(true);
 
	function getImages($url, $referrer)
	{
		$ch = curl_init($url);
 
		if (curl_errno($ch))
		{
			echo 'Error ' . curl_errno($ch) . ': ' .curl_error($ch);
		}
 
		curl_setopt($ch, CURLOPT_REFERER, $referrer);
 
		curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
		curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (X11; U; Linux i686; pl; rv:1.8.0.3) Gecko/20060426 Firefox/1.5.0.3');
 
		$content = curl_exec($ch);
 
		$doc = new DOMDocument();
		$doc->loadHTML($content);
 
		$xpath = new DOMXPath($doc);
		$images = $xpath->query('//div[@class="image rolled"]/a/img[@src]');
 
 
		foreach ($images as $image)
		{
			$src = $image->getAttribute('src');
		}
 
		preg_match_all('/gif/i', $src, $gif);
		preg_match_all('/jpg/i', $src, $jpg);
 
		print_r($gif);
		print_r($jpg);
 
		return $images;
 
	}
 
	print_r(getImages('http://jbzd.pl', 'http://localhost/img.php'));
[PHP] pobierz, plaintext 

[trueblue]

[PHP] pobierz, plaintext 
$images = $xpath->query('//div[@class="image rolled"]/a/img[contains(@src,".jpg") or contains(@src,".gif")]');
[PHP] pobierz, plaintext 

[PHP] pobierz, plaintext 
$images = $xpath->query('//div[@class="image rolled"]/a/img[substring(@src,string-length(@src)-string-length(".gif")+1)=".gif" or substring(@src,string-length(@src)-string-length(".jpg")+1)=".jpg"]');
[PHP] pobierz, plaintext 

[wiedzma92]

Niestety rezultat jest podobny do tego z mojego kodu. Czyli wypluwa tablicę z liczbą elementów, bez ścieżek do obrazków i bez informacji, czy to jpg, czy gif…

[trueblue]

Tyle, że tym zapytaniem nie zastąpisz tego o czym piszesz, ale wyciągasz tylko jpg i gif.
Po nim stosujesz foreach, który podałaś wyżej, a w nim wystarczy sprawdzić czy rozszerzenie to jpg, jeśli nie to gif (przykład podał mlawnik).

[wiedzma92]

No, teraz wszystko pięknie śmiga. Dzięki za pomoc i cierpliwość, Chłopaki

[mlawnik]

Takim osobom jak ty przyjemnie się pomaga, dlatego że potrafią czytać ze zrozumieniem i wytłumaczyć o co im chodzi

[wiedzma92]

Miło mi to słyszeć Raz jeszcze, z całego serduszka, dziękuję za pomoc

Myślałam, że dalej dam sobie radę sama, ale za cienka jestem jeszcze w kodzie, by nie zadawać głupich pytań. Założyłam, że mój skrypt będzie sprawdzał, czy obrazek to .jpg czy nie, dlatego w wyrażeniu regularnym tylko .jpg uwzględniłam. Dodatkowo chciałabym, żeby mój skrypt pobrał wszystkie obrazki z 5 stron i zapisał je na dysku oraz informację, czy są jpg.

Wiem, że w poniższym kodzie jest bajzel i wszystko źle, ale uczę się dopiero i jeszcze błądzę, dlatego tak często szukam pomocy. Z góry bardzo dziękuję za rady, jak to ugryźć, żeby działało

[PHP] pobierz, plaintext 
	libxml_use_internal_errors(true);
 
	function getImages($url, $referrer)
	{
		$ch = curl_init($url);
 
		if (curl_errno($ch))
		{
			echo 'Error ' . curl_errno($ch) . ': ' .curl_error($ch);
		}
 
		curl_setopt($ch, CURLOPT_REFERER, $referrer);
 
		curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
		curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (X11; U; Linux i686; pl; rv:1.8.0.3) Gecko/20060426 Firefox/1.5.0.3');
 
		$content = curl_exec($ch);
 
		$doc = new DOMDocument();
		$doc->loadHTML($content);
 
		$xpath = new DOMXPath($doc);
		$images = $xpath->query('//div[@class="image rolled"]/a/img[@src]');
 
		foreach ($images as $image)
		{
			$src = $image->getAttribute('src');
 
			preg_match('/.jpg$/', $src, $ext);
			$imagesInfo = ['src' => $src, 'ext' => $ext];
 
 
			print_r($imagesInfo);
			file_get_contents($src, set_include_path('/usr/downloads'));
		}
 
		return $images;
	}
 
	print_r(getImages('http://jbzd.pl', 'http://localhost/img.php'));
[PHP] pobierz, plaintext 

EDIT:

Już chyba wszystko ogarnęłam, poza jednym. Za nic nie potrafię stworzyć pętli, która będzie powtarzać wyżej wymienione operacje między stroną główną a piątą podstroną. Nie mam pojęcia, jak inkrementować adres… :/

Ten post edytował wiedzma92 15.07.2016, 15:48:45

[markuz]

[PHP] pobierz, plaintext 
$pages = 5;
for($p = 0; $p < $pages; $p++)
    print_r(getImages('http://jbzd.pl' . ($p > 0 ? '/strona/' . ($p + 1) : ''), 'http://jbzd.pl'));
[PHP] pobierz, plaintext 

[wiedzma92]

Niestety ten sposób nie działa, wywala mi milion warningów tego typu: Warning: DOMDocument::loadHTML(): Empty string supplied as input in /Applications/XAMPP/xamppfiles/htdocs/img.php on line 22

Zaraz pokręci mnie przy tym skrypcie. Powiedzcie, mi proszę, co w tym fragmencie kodu nie gra, że obrazki nie chcą pobrać się na dysk, tylko to cholerstwo mi wyskakuje: „Warning: file_put_contents(/Users/agnieszka/Downloads/): failed to open stream: Is a directory in /Applications/XAMPP/xamppfiles/htdocs/img.php”.

Wrzucam tylko foreach, bo reszta kodu jest bez zmian

[PHP] pobierz, plaintext 
foreach ($images as $image)
{
	$src = $image->getAttribute('src');
	preg_match('/.gif$/', $src, $ext);
	$imagesInfo = ['src' => $src, 'ext' => $ext];
 
	$con = file_get_contents('http://jbzd.pl/obr/');
	file_put_contents('/Users/agnieszka/Downloads/', $con);
 
	print_r($imagesInfo);
}
[PHP] pobierz, plaintext 

Ten post edytował wiedzma92 16.07.2016, 12:59:24

[markuz]

W funkcji file_get_contents musisz podać url obrazka tj. $src a nie 'http://jbzd.pl/obr/'.
W file_put_contents podajesz pełną ścieżkę wraz z nazwą pliku, albo samą nazwe pliku żeby zapisać do tego samego folderu gdzie jest skrypt.

[wiedzma92]

Pozmieniałam to, oczym wspomniałeś. Teraz pojawia się inny komunikat: „Warning: file_put_contents(/Applications/XAMPP/xamppfiles/htdocs/img.php): failed to open stream: Permission denied in /Applications/XAMPP/xamppfiles/htdocs/img.php”.

Skrypt wygląda teraz tak:

[PHP] pobierz, plaintext 
foreach ($images as $image)
{
	$src = $image->getAttribute('src');
	preg_match('/.gif$/', $src, $ext);
	$imagesInfo = ['src' => $src, 'ext' => $ext];
 
	$con = file_get_contents($src);
	file_put_contents('/Applications/XAMPP/xamppfiles/htdocs/scrap_img.php', $con);
 
	print_r($imagesInfo);
}
[PHP] pobierz, plaintext 

[markuz]

Ok. A więc jeszcze raz, file_put_contents zapisuje do pliku podanego w 1 argumencie, zawartość która jest w 2 argumencie. W 2 argumencie tj. $con masz zawartość obrazka i chcesz go zapisać do skryptu PHP o nazwie scrap_img.php? Raczej nie.

Utwórz sobie katalog o nazwie images zaraz obok pliku scrap_img.php a następnie zmień argument tej funkcji na:

[PHP] pobierz, plaintext 
file_put_contents(dirname(__FILE__) . 'images/' . uniqid() . '.' . $ext, $con);
[PHP] pobierz, plaintext 

Co oznacza:
dirname(__FILE__) - ścieżka do tego pliku, u Ciebie będzie to "(.....)/XAMPP/xamppfiles/htdocs/"
images/ - nowo utworzony katalog images do którego chcesz zapisać te obrazki
uniqid() - losowa nazwa obrazka, unikalna
$ext - rozszerzenie obrazka

Ten post edytował markuz 16.07.2016, 13:51:52