[PHP][MYSQL] Skrypt przeszukujacy zasoby internetu Opcje

[dylesid]

Witam,

Pytanie z cyklu "jak sie do tego zabrac?". Chcialbym napisac skrypt, ktory uruchomiony, laczy sie z losowo wybrana strona WWW w jezyku polskim, pobiera zawartosc tekstowa strony tytulowej, ekstrahuje z niej losowo 10 wyrazow, a nastepnie wyswietla te slowa.

Jakies pomysly?

Losowanie adresu internetowego to chyba nie problem, trzeba by tylko okreslic pule (nie wiem, moze z http://www.proxyserverprivacy.com/ipaddress_range.php a moze sa inne prostsze sposoby). Ale co dalej, jak serwer ma sie laczyc i pobierac dane z wylosowanej strony. Czy to w ogole mozliwe?

Pozdr.,
Dylesid

[wookieb]

Curlem pobierzesz zawartość strony internetowej
-> http://php.net/curl

[dylesid]

Dzieki wielkie, o to mi chodzilo.

Z ciekawosci spytam jeszcze, czy to jest jedyny sposob, czy jest jakis inny, prowadzacy do osiagniecia tego celu? Oczywiscie mowimy o PHP, bo slyszalem, ze do tego typu zadan wyspecjalizowany jest Perl.

[Riklaunim]

Python, Perl, PHP, Ruby, Java... można we wszystkim, kwestia co się umie i chce zastosować. Ogólnie musisz napisać demona/"serwer", który będzie odwiedzał strony (np wchodząc na jedną i wynajdując odnośniki do innych) - pobierał treść HTML (cURL), parsował zawartość, oceniał i zapisywał do bazy i przechodził do kolejnej strony ze znalezionych na parsowanej stronie odnośników Skrypt odpalany nie jako strona www, a jako zwykły proces działający przed długi czasz (PHP-CLI).