[PHP][MySql] Pętle, sprawdzanie pomoc w optymalizacji Opcje

[webspy]

Witam,
Mam mały problem z długim działaniu skryptu.


Pobieram kod strony przez:

[PHP] pobierz, plaintext 
$strona = implode ('', file ('http://strona.pl'));
[PHP] pobierz, plaintext 

(na wyciaganej stronie mam ok 300 pozycji podzielonych np po 40 na stronie)

Potem metodą preg_match_all wyciągam potrzebne dane:

[PHP] pobierz, plaintext 
preg_match_all( '#<span>([0-9]{1,})</span>#sU', $strona, $ile, PREG_PATTERN_ORDER);
[PHP] pobierz, plaintext 

sprawdza mi ile jest stron

nastepnie mam petle ktora powtarza się tyle ile jest stron, i wyciąga kolejne dane z kodu strony.

[PHP] pobierz, plaintext 
while ($ile <= $strony) {
$strona2 = implode ('', file ('http://strona.pl/cos.php?p='.$ile.'));
preg_match_all( "#<td class=\"kljlk\">(.+)</tr>#sU", $strona2, $obrazek, PREG_PATTERN_ORDER);
[PHP] pobierz, plaintext 

W tej petli jest nastepna która sprawdza po kolei przedmioty na tej stronie

[PHP] pobierz, plaintext 
foreach ($obrazek[0] as $val) {
		  $t++;
}
 
for ($ile2=0; $ile2<=$t; $ile2++) {
 
//wyciaganie potrzebnych danych i zapisywanie w bazie
//sprawdzanie również czy dany element jest już w bazie, jeśli jest to go już nie zapisuje
// największy problem to taki że jak dodam w tym miejscu sprawdzanie (na odwrót) czy to co w bazie jest na stronie to za dlugo to chodzi i wywala błąd.
$zapytanie44 = "SELECT * FROM przedmioty";
$wykonaj4 = mysql_query ($zapytanie44);
	while($wiersz=mysql_fetch_array ($wykonaj4)) {
	$tytul = "".$wiersz['tytul']."";
	$id = "".$wiersz['id']."";
	if ($tytul == $nazwa) {
 
	} else {
	$sql77 = "UPDATE `nazwa tabeli`.`przedmioty` SET `zmiana` = '0' WHERE `przedmioty`.`id` = '".$id."';";
 
	$wykonaj77 = mysql_query ($sql77);
	} }
[PHP] pobierz, plaintext 

I tak w skrócie to wygląda, czy da się to jakoś zoptymalizować i użyć innych metod?

Proszę o jakieś podpowiedzi i funkcje których mogę użyć.
Z góry dziękuję za pomoc, pozdrawiam.

[mat-bi]

Wykonujesz zapytania i pobieranie stron w petli. Pomyslales? (sorry za brak polskich polskich znakow, na razie nieogarniam Androida :-))

[webspy]

ale muszę jakoś wyciągnąć każdą pozycję ze stron.

przykład strony:

strona.php?page=1
jakiś tekst dane do wyciagniecia 1
jakiś tekst dane do wyciagniecia 2
jakiś tekst dane do wyciagniecia 3
jakiś tekst dane do wyciagniecia 4
jakiś tekst dane do wyciagniecia 5


strona.php?page=2
jakiś tekst dane do wyciagniecia 6
jakiś tekst dane do wyciagniecia 7
jakiś tekst dane do wyciagniecia 8
jakiś tekst dane do wyciagniecia 9
jakiś tekst dane do wyciagniecia 10

I tak dalej.
Jakimi metodami mogę to zrobić?

[toaspzoo]

explode()

[webspy]

z takiego kodu da się wyciągnąć dany tekst metodą explode() ?

[HTML] pobierz, plaintext 
<div class="naviLeftContent" id="categoriesList">
 <ul class="category_list_main">
  <li>
  <h3 class="inline"><a href="/listing.php/user?us_id=9915110&category=5" class="bold alleLink small">
 <span>Dom i Ogród</span></a></h3> <span class="smaller">(225)</span>    </li>
  <li>
  <h3 class="inline"><a href="/listing.php/user?us_id=9915110&category=3" class="bold alleLink small">
 <span>Motoryzacja</span></a></h3> <span class="smaller">(92)</span>    </li>
  <li>
  <h3 class="inline"><a href="/listing.php/user?us_id=9915110&category=16696" class="bold alleLink small">
 <span>Przemysł</span></a></h3> <span class="smaller">(31)</span>    </li>
  <li>
  <h3 class="inline"><a href="/listing.php/user?us_id=9915110&category=10" class="bold alleLink small">
 <span>RTV i AGD</span></a></h3> <span class="smaller">(4)</span>    </li>
   </ul>
</div>
[HTML] pobierz, plaintext 

I chce wyciągnąć te dane miedzy <span class="smaller">dane</span>

Rozumiem że w ten sposób:

[PHP] pobierz, plaintext 
$zmienna = explode ("<span class=\"smaller\">", $kod_strony);
[PHP] pobierz, plaintext 

Tylko że chciałbym szukać tylko tych elementów które są zawarte między <div class="naviLeftContent" id="categoriesList"> a nie szukać ich w całym kodzie strony. i metoda preg_match_all może to zrobić.

Musiałbym najpierw explode() - <div class="naviLeftContent" id="categoriesList"> a potem dopiero explode() - <span ....

Czy dobrze myślę?

[ActivePlayer]

moja propozycja jest taka: dowiedz się co trwa tak długo.
aby to zrobić mozesz użyć np. narzędzia xdebug.

jesli nie chces sie w to bawic to powstawiaj w kod kilka flag czasowych pomiędzy różne jego fragmenty, po tym poznasz co trwa tak długo. dopiero potem próbuj optymalizować.

[webspy]

przerobiłem to na explode() i jak na razie w pierwszej fazie działa szybciej niż poprzednia metoda, ale jeszcze muszę dodać parę sprawdzeń i zobaczę co się będzie działo.
Dziękuję za podpowiedzi

Mam jeszcze takie małe pytanie, nie chcę zakładać nowego tematu więc piszę w tym.

Posiadam

[PHP] pobierz, plaintext 
while($wiersz=mysql_fetch_array ($wykonaj11)) {
	$tytul = "".$wiersz['tytul']."";
	$id = "".$wiersz['id']."";
 
	if ("$tytul" == "$nazwa") {
	$znalazlem++;
	} else {
	//nie znalazlem i dopisuje do tablicy $zmienna = $id
	}
}
[PHP] pobierz, plaintext 

W jaki sposób dopisywać te elementy abym mógł je potem wykorzystać poza pętlą while?
Będę miał tablicę $zmienna i w niej wszystkie nie znalezione elementy.
Kiedyś coś takiego robiłem ale nie mogę znaleźć, czy może coś takiego: $zmienna. = ... ? (z kropką?)

[CuteOne]

[PHP] pobierz, plaintext 
 
$i = 1;
while($wiersz=mysql_fetch_array ($wykonaj11)) {
	$tytul[$i] = $wiersz['tytul'];
	$id[$i]  = $wiersz['id'];
 
	if ($tytul[$i]  == $nazwa) {
	$znalazlem++;
	} else {
	//nie znalazlem i dopisuje do tablicy $zmienna = $id
	}
$i++;
}
[PHP] pobierz, plaintext 

[ActivePlayer]

[PHP] pobierz, plaintext 
$a = 'a'
$a .= 'b';
echo $a; // wyswietli ab
[PHP] pobierz, plaintext 

odnosnie Twojego problemu, ja bym to zrobił dopisując znalezione elementy do tablicy:

[PHP] pobierz, plaintext 
$aFound[] = $id;
[PHP] pobierz, plaintext 

[webspy]

Jednak troszkę się zapędziłem i myślałem, że będzie to takie proste ale niestety nie.

W bazie mam tytuły i sprawdzam je ze zmienna $nazwa

[PHP] pobierz, plaintext 
//jest petla np 30 razy sie powtarza i ma zmienna $nazwa
 
$zapytanie11 = "SELECT * FROM przedmioty"; 
$wykonaj11 = mysql_query ($zapytanie11);
$znalazlem = 0;
	while($wiersz=mysql_fetch_array ($wykonaj11)) {
	$tytul = "".$wiersz['tytul']."";
	$id = "".$wiersz['id']."";
 
	if ("$tytul" == "$nazwa") {
	$znalazlem++; //jeśli w bazie jest taka nazwa jak zmienna dodaje aby bylo wiadomo ze jest
	} else {
	$cos .= $id;
	}
}
if ($znalazlem < 0) //jesli nie znalazlo nic to pobiera daną $id
 
[PHP] pobierz, plaintext 

Wszystko ladnie pieknie tylko że ja chce aby tylko te $id ktorych nie znalazlo w caych 30 cyklach w petli. A pokazuje mi wszystkie ktorych nie znalazlo w 1 i 2 cyklu a np znalazło w 3.

[CuteOne]

[PHP] pobierz, plaintext 
$i = 1;
while($wiersz=mysql_fetch_array ($wykonaj11)) {
	$tytul[$i] = $wiersz['tytul'];
	$id[$i]  = $wiersz['id'];
 
	if ($tytul[$i]  == $nazwa) {
	$znalazlem++;
	} 
	else {
	$cos[$i] = $id[$i];
	}
$i++;
}
 
echo '<pre>';print_r($cos);
[PHP] pobierz, plaintext 

Ten post edytował CuteOne 10.07.2011, 15:36:07

[webspy]

Mam w tablicy wszystkie $id które są zgodne z $nazwa,
Teraz chciałem zamienić w bazie te $id których nie ma w tablicy, jakieś propozycje?

//tablica

[1] => 1
.
.
.
[n] => 321

w bazie mam jeszcze id 322 którego nie ma w tablicy jak sprawdzić którego id nie ma w tablicy

[muk4]

Robisz drugą tablicę w której trzymasz id z bazy danych i porównujesz obie array_diff()

Ten post edytował muk4 10.07.2011, 20:31:29