[PHP][AJAX][cURL][inne] Parsowanie strony z AJAX'em, Jak pobrać jej pełną treść ? Bardzo pilne. Opcje

[kodereq]

Mam następujący problem:

Jest sobie strona example.com, chcę przeparsować jej podstronę w o adresie URL powiedzmy example.com/foo.html.

Oto wyrywek kodu HTML strony foo.html.

[HTML] pobierz, plaintext 
(...)
<div id="ajax_content">
</div>
(...)
[HTML] pobierz, plaintext 

Właśnie do kodu tego elementu chciałbym się "dobrać". Oczywiście w czystym kodzie HTML nie zawiera on żadnej zawartości.

I teraz pytanie - jak wykonać żądanie parsujące (np. za pomocą cURL), aby dobrać się do zawartości tego div-a?

Bardzo proszę odpowiedzi oraz z góry serdecznie dziękuję.

[dotangelo]

Pobierz zawartość strony do zmiennej i użyj wyrażeń regularnych.

[PHP] pobierz, plaintext 
<?php
preg_match_all('(<div id=\"ajax_content\">(.*)</div>)', $content $output);
?>
[PHP] pobierz, plaintext 

[kodereq]

Ale przcież zawartość tego diva jest uzupełniona za pomocą JavaScript (np innerHTML).

[Kasyx]

Tego nie zrobisz cURLem.
Potrzebujesz obsługę JSa, która jak bóg przykazał zmieni tą wartość w divie. Do tego są już potrzebne programy według mnie.

Choć możnaby się pobawić. Trzebaby napisać skrypt który "rozumie" strone i zapisze u Ciebie także plik JS który zmienia wartość Diva, a następnie uruchomić wygenerowane dane wraz z plikiem JS 'u siebie'. Choć nie polecam ze względów bezpieczeństwa.

[Riklaunim]

Najprościej napisać gui-bota w Pythonie z wykorzystaniem Webkita z "frameworka" PyQt4 (IMG:http://forum.php.pl/style_emoticons/default/smile.gif) Wtedy masz dostęp do zrenderowanej zawartości strony, jak i też możesz na nią wpływać poprzez wykonywanie na niej własnego JavaScriptu.