Pobieranie treści ze strony www, Problem algorytmiczny z pobieraniem treści ze stron www Opcje

[Xanteros]

Witam, Mam mały problem z napisaniem aplikacji. Potrzebuję zrobić program, który będzie pobierał odpowiednią treść ze strony www i ją modyfikował. Mianowicie np weźmy to forum. Chciałbym aby program wszedł w dział php, pobrał tylko dzisiejsze posty i np pobrał z tych postów tylko nazwy użytkowników i zapisał je w MySQL. Strony na których będzie działać moja aplikacja nie mają kanałów rss i nie mam dostępu do nich (w sensie do ich bazy danych czy do cms). Problem polega na tym, że nie wiem jak to ugryźć. Myślałem o pobieraniu konkretnego div'a, ale na każdej stronie klasa lub id danego div może być inna, poza tym chodzi też o pobieranie najnowszych danych a nie staruch (czyli takich z dzisiejszego dnia, jutro z jutrzejszego itd). Jak to rozwiązać?

[alegorn]

hm. pobieranie danych:

* file_get_contents
* curl
* i jeszcze pare innych, ja raz nawet i >wget< uzywalem

do wydzielania/znajdowania tresci

* explode
* preg_match
* phpQuery

rozpoznawanie ostatnich tresci
* daty postow/art.
* porownywanie tresci wg tego co masz w bazie

a poza tym to o co pytasz to troche kradziez danych (IMG:style_emoticons/default/wink.gif)
ale jesli cie do nie razi - to poczytaj sobie o robotach, crawlerach, pajaczkach itp.

j.