[CURL] javascript Opcje

[Jackblues]

Witam,

Chcialbym poprosic o porade ze sciaganiem stron za pomoca CURL.

Stronka ktora probuje otworzyc ma w sobie kawalek kodu
<script language=javascript>function updateprogress(nPercent){document.getElementById('imgprogress').width=nPercent*3;document.getElementById('txtprogress').innerHTML=nPercent+" %";if( nPercent < 100 )setTimeout( 'updateprogress('+(nPercent+1)+')', 75 );}</script>
<script language=javascript>updateprogress(1);</script>
<script language=javascript>document.getElementById('progress').style.visibility="hidden";document.getElementById('progress').style.height="0";document.getElementById('progress').style.position="absolute";</script><br/>
<table border=0 cellpadding=0 cellspacing=0 width=500 class=StoreTable><tr><td colspan="10" align=right>

</table>

Wyglada na to ze za pomoca javascript zaimplementowano petle opozniajaca czytanie tabeli <class=StoreTable>.
Wydaje mi sie ze na serwerze przygotowywana jest odpowiedz dopiero jak stronka zaczyna sie wczytywac.
Jak otwieram strone w pregladarce widac pasek postepu ktory po pewnym czasie znika i pojawia sie tabelka ktora chcialem pobrac.

Niestety curl nie wykonuje javascript - tak ze tabelka ktora pobieram jest pusta.
Probowalem wprowadzic petle opozniajaca podczas czytania naglowka oraz czytania body
curl_setopt($ch, CURLOPT_HEADERFUNCTION, ‘read_header’);
curl_setopt($ch, CURLOPT_WRITEFUNCTION, ‘read_body’);

niestety caly czas w tabeli StoreTable nie ma informacji ktore potrzebuje - tak jakby serwer nie zdazyl jeszcze wypelnic tabeli.

Czy jest jakis sposob zeby zmusic curl do poczekania z pobieraniem strony juz po tym jak rozpocznie jej sciaganie ?

Piotrek

[webcitron]

Technicznie mogę się wypowiedzieć dlaczego tak się dzieje, co jest w zasadzie zupełnie zrozumiałe.
Podczas wywołania strony przez HTTP najpierw wykonuje się PHP, ładuje wynik do przeglądarki, <*> dopiero wtedy (w 99% przeypadków) zaczyna swe działanie JavaScript. Jesli JavaScript odpowiada za wypełnienie właściwie całej strony to przez cURLa chyba nie da się tego zrobić. cURL wchodzi do gry w chwili wyganerowania treści przez PHP a przed załadowaniem JavaScriptu (oznacznie wyżej przez <*>).
Technicznie nie jest możliwe po prostu żeby cURL dostał się do treści wygenerowanej przez JavaScript (przypomiam - JavaScript wykonuje się po stronie przeglądarki, a cURL emuluje tekstową przeglądarkę).
Jak dla mnie problem nierozwiązywalny.. Chyba że prześledzisz JS który generuje te dane (możęsz podejrzeć w podglądzie źródeł) i dostaniesz się bezpośrednio do plików generujących dane.