get_content, cURL i głupie linki na javie, jak budując prostego crawlera zmusić go do podążania za linkami wjavie Opcje

[zephyr7]

Witam wszystkich, to mój pierwszy wpis od dłuższego czasu... Mam taki problem:

Napisałem skrypt, który pobiera wiadomości ze strony, podążając za linkami z numerkami, np. [1][2][3][4]

wystarczy zrobić do tego prostą pętlę i coś takiego:

file_get_content("http://www.strona.pl/page_".$q.".html");

i już ładnie program będzie ładował stronki, co umożliwi np. zastosowanie wyrażeń regularnych do wyjęcia określonych informacji.

Ale co np. kiedy linki nie mają adresu, tylko uruchamiają skrypt w javie, jak np. tu:

http://www.cwjobs.co.uk/JobSearch/Results.aspx

(dół strony, numerki)



Jak zmusić program, żeby podążał za takimi linkami? Czy to w ogóle jest możliwe?