Witaj Gościu! ( Zaloguj | Rejestruj )

Forum PHP.pl

> Zapis danych z parsowanych stron
KuKa
post
Post #1





Grupa: Zarejestrowani
Postów: 25
Pomógł: 0
Dołączył: 24.03.2008

Ostrzeżenie: (0%)
-----


Witam. Mam taki problem,  musze wyciagnac dosc duzo informacji z roznych stron a potem to zapsiac do mysql. Mam przykladowo 101 000 rekordow do zapisania w jaki sposob napisac skrypt ktory by w miare szybko to zapisal do mysql. 

Do tej pory robilem to w ten sposob:

CODE


for($i=1; $i<=400; $i++)
{
  $zmienna=@file_get_contents("http://localhost/parser/slownik.php?akcja=W&strona=".$i."");
  preg_match_all('[<a href=\'one.php\?hid=(.+?)\'> (.+?)<\/a><\/td]is', $zmienna, $id_haslo);
  $ilosc=count($id_haslo[1]);
  $od=0;
  $do=($ilosc-1);
  for($x=$od; $x<=$do; $x++)
  {
  $haslo[$x]=file_get_contents("http://localhost/parser/one.php?hid=".$id_haslo[1][$x]);
  preg_match('[<br \/>(.+?)<br><br><br \/><br \/>]is', $haslo[$x], $tresc);
  $id[$x] = $id_haslo[1][$x];
  $haslo[$x] = addslashes($id_haslo[2][$x]);
  $tekst[$x] = addslashes($tresc[1]);
  }  
  $zapytanie="INSERT INTO slowa VALUES ('$id[0]', '$haslo[0]', '$tekst[0]'),";
  for($x=1; $x<=($do-1); $x++)
  {
  $zapytanie .= "('$id[$x]', '$haslo[$x]', '$tekst[$x]'),";
  }
  $zapytanie .= "('$id[$do]', '$haslo[$do]', '$tekst[$do]');";
  mysql_query($zapytanie) or die("Nie udalo sie wykonac zapytania");
  unset($tresc);
  unset($zapytanie);
  unset($haslo);
  unset($id);
  unset($tekst);
   
  echo "Strona ".$i." zgrana<br />";
}




<A href="\'one.php\?hid=(.+?)\'">



w petli for miele strony (na kazdej stronie jest 10 rekordow do zapisania), wiec zapisuje do mysql po jeden stronie. CO robie zle?? bo to mi strasznie dlugo zapisuje. Kazda rada sie przyda

Go to the top of the page
+Quote Post
 
Start new topic
Odpowiedzi
KuKa
post
Post #2





Grupa: Zarejestrowani
Postów: 25
Pomógł: 0
Dołączył: 24.03.2008

Ostrzeżenie: (0%)
-----


Mowisz masz (IMG:http://forum.php.pl/style_emoticons/default/smile.gif) :

struktura tabeli :

CODE
id int(10),

haslo VARCHAR(30),

text text;




przykladowe dane:

CODE
INSERT INTO `slowa` (`id`, `haslo`, `text`) VALUES

(68012, 'ABIOGENEZA', '\nproces powstawania istot ¿ywych z materii nieo¿ywionej; ju¿ w staro¿ytno¶ci Arystoteles twierdzi³, ¿e ¼ród³em powstawania niektórych organizmów s± procesy gnilne, np. ¿aby i wêgorze mia³yby powstawaæ z mu³u; teoria odrzucona w XVII/XVIII w. w wyniku badañ do¶wiadczalnych F. Rediego i L. Spallanzaniego; renesans idei nast±pi³ po odkryciu drobnoustrojów, definitywny jej schy³ek przynios³y odkrycia L. Pasteura; wspó³cze¶nie nie wyklucza siê pewnych form s. w najwcze¶niejszym etapie tworzenia siê ¿ycia na Ziemi.'),

(68014, 'ABBAS', '\npolityk algierski; 1938 za³. Algierskiej Unii Nar., d±¿±cej do uzyskania autonomii (w ramach republiki franc.); 1946 za³. Demokrat. Unii Manifestu Alg.; od 1955 cz³. Frontu Wyzwolenia Nar. (FWN); 1958-61 premier Tymczasowego Rz±du Republiki Algierskiej w Kairze, prowadz±cy rokowania z de Gaulle''m.; 1963 przew. Zgromadzenia Nar. (wprowadzi³ now± konstytucjê); w zwi±zku z przyjêciem przez FWN programu socjalizmu alg. wycofa³ siê z ¿ycia politycznego.'),

(68015, 'ABDANIEC', '\nszlachecki herb pol., odwrócona srebrna litera "M" na czerwonym polu; w XIII w. herb rodu rycerskiego Awdañców, nale¿±cy potem do przesz³o 100 rodzin, m.in. do Ankwiczów, Buczackich, Jaz³owieckich, Skarbków, a na Litwie Gaszto³dów.'),

(68043, 'ADCHEZJA', '\n glon gwiazdnica.'),

Go to the top of the page
+Quote Post

Posty w temacie


Reply to this topicStart new topic
2 Użytkowników czyta ten temat (2 Gości i 0 Anonimowych użytkowników)
0 Zarejestrowanych:

 



RSS Aktualny czas: 24.08.2025 - 15:27