get_content, cURL i głupie linki na javie, jak budując prostego crawlera zmusić go do podążania za linkami wjavie Opcje

[zephyr7]

Witam wszystkich, to mój pierwszy wpis od dłuższego czasu... Mam taki problem:

Napisałem skrypt, który pobiera wiadomości ze strony, podążając za linkami z numerkami, np. [1][2][3][4]

wystarczy zrobić do tego prostą pętlę i coś takiego:

file_get_content("http://www.strona.pl/page_".$q.".html");

i już ładnie program będzie ładował stronki, co umożliwi np. zastosowanie wyrażeń regularnych do wyjęcia określonych informacji.

Ale co np. kiedy linki nie mają adresu, tylko uruchamiają skrypt w javie, jak np. tu:

http://www.cwjobs.co.uk/JobSearch/Results.aspx

(dół strony, numerki)



Jak zmusić program, żeby podążał za takimi linkami? Czy to w ogóle jest możliwe?

[wrzasq]

rozumiem, ze masz na mysli JavaScript, a nie Jave.

mozliwe jest, ale musialbys sie mocno napocic, moim zdaniem kompletnie nie warte zachodu porownujac czas potrzebny na zrealizowanie. chyba ze robisz system komkretnie pod ta strone, wtedy po prostu recznie przeanalizuj kod JS i zobacz jak on generuje adresy URL.

i nie ucz sie od nich w zadnym przypadku, takie rzeczy powinno sie umieszczac w onclick="" (IMG:http://forum.php.pl/style_emoticons/default/winksmiley.jpg) .