[PHP]file_get_contents OPYMALIZACJA kodu. Strasznie długie ładownie. Opcje

[kielich]

WItam,
Napisałem klasę, lecz dane pobierne są ze sklepu intenetowego. FIRMA => części => rodzaj_cześci => szczegóły towaru. Informacje wyszukują się idealnie. Przy "ostatnim etapie" - wyciąganie ceny produktu. Skrpty straaaasznie muli , ponad 5min co składnia mnie do nacisnięcia "ESC" (IMG:style_emoticons/default/sad.gif) . Proszę o pomoc

[PHP] pobierz, plaintext 
<?php
 
class Klocki{
 
		const wzorzec_links = '#<li><a.*href=\"([^\"]*)\".*>([^\"]*)<\/a><\/li>#';
		const wzorzec_price = '#<span itemprop="price">([^\"]*)</span>#';
		const wzorzec_name = '#<span itemprop="name">([^\"]*)</span>#';
		private $linksAll = array();
 
 
 
		private function getData() {
			$output = file_get_contents('link');
			preg_match_all(self::wzorzec_links, $output, $links);
 
			return $links[1];
		}
 
		private function parseData() {
				foreach(Klocki::getData() as $linkMore){
					preg_match_all(self::wzorzec_links, file_get_contents($linkMore), $links);
						foreach($links[1] as $linksMore){
							preg_match_all(self::wzorzec_links, file_get_contents($linksMore), $links);
								foreach($links[1] as $link){
									$linksAll[] = $link;
								}
					}
				}
				return $linksAll;
		}
 
		public function getInfo(){
				if(Klocki::parseData() == true){
						foreach(Klocki::parseData() as $link){
								$outputs = file_get_contents($link);
								preg_match(self::wzorzec_price, $outputs, $price);
								preg_match(self::wzorzec_name, $outputs, $name);	
						}
				}
		}
	}
 
	Klocki::getInfo();
 
 
 
 
 
 
 
 
?>
[PHP] pobierz, plaintext 

[!*!]

Jest różnica między 200 a 5160, taka tyci.

Czlowieku zrozum, ze tego nie przyspieszysz! Nie masz infrastruktury Google w domu, zeby obsluzyc taka ilosc zapytan na raz. To wszystko trwa, z reszta serwery tego sklepu tez nie maja, a i one musza wygenerowac zawartosc.

Chyba że wykona to równolegle, skrypt podzieli linki na partie i w tym samym czasie wykona do nich odwołanie.

[artuross]

Chyba że wykona to równolegle, skrypt podzieli linki na partie i w tym samym czasie wykona do nich odwołanie.

Mysle, ze to nie znacznie przyspieszy caly proces, bo:
1. on pobiera linki z jednej strony, dopiero przechodzi do drugiej, z niej pobiera, przechodzi do 3. strony, znow pobiera i dopiero z 4. strony pobiera cene.
2. serwer nadal musi obsluzyc kilkaset zapytan, w ktorych trzeba pobrac dane z bazy, itd., itp.

W najlepszym przypadku przyspieszy calosc o kilkanascie sekund (tak mysle, nie mowie ze tak jest NA PEWNO), a w najgorszym wykona mini-DoS i bedzie czekal jeszcze dluzej. Do tego dochodzi zabezpiecznie antyDDoS. Jesli serwer ma jakies oprogramowanie i faktycznie skrypt dzialalby powiedzmy 2x szybciej, to wykonanie 5160 zapytan w ciagu ~3 minut daje dosyc spora sume zapytan/sekunde z jednego adresu IP, a wtedy zamiast 5 minut poczeka sobie 15 albo i dluzej (IMG:style_emoticons/default/smile.gif)
Nic tylko probowac (IMG:style_emoticons/default/biggrin.gif) Ale nadal jestem zdania, ze nie spadnie ponizej 4 minut.

@up: http://www.php.net/manual/en/function.curl-multi-init.php

Ten post edytował artuross 2.04.2013, 14:31:11