[PHP] cURL pobieranie dużej ilości danych i wsadzanie ich do bazy Opcje

[piotrex41]

Witam,

Co prawda z PHP mam kontakt od 3 lat, to tematyka cURL jest mi kompletnie obca, a niestety muszę go użyć. Przechodzę do sedna:

Na praktykach dostałem do napisania serwis z ogłoszeniami dla osób poszukujących pracę. Pracodawcy dodają oferty itp. Całość napisana obiektowo, ale jest jedna rzecz na której się zaciąłem. Mianowicie właśnie cURL. Chodzi o automatyczne pobiernie ofert pracy z http://www.pup.gliwice.pl/klient/oferty_pracy.html Niestety nie ma tam RSSa więc trzeba to jakoś wyciągnąć sposobem, którym właśnie jest cURL.

Problem polega na tym, że na tej stronie są jedynie "zajawki" ofert a pełny opis (który muszę pobrać) znajduje się w linku, otwieranym w nowym oknie JS po kliknięciu.

Skrypt ma codziennie o godzinie 18 sprawdzać czy są nowe oferty i je dodawać do moderacji (moderacja jest już zrobiona, trzeba tylko wrzucać zapytaniem do bazy danych pobrane oferty).

Kompletnie nie wiem jak mam się za to zabrać. Dla mnie cURL to czarna magia. Wiem że pobrane źródło muszę filtrować regexp'ami, ale nic pozatym (IMG:style_emoticons/default/tongue.gif)

Połączenie już zrobiłem, źródło mam, ale dalsze grzebanie to już masakra dla mnie.

Bardzo proszę o pomoc.

Ten post edytował piotrex41 24.05.2012, 08:22:45

[Octobus]

Ale w czym dokladnie jest problem ? Wchodzisz curlem na strone, wyciagasz linki i robisz petle dla stron na ktore musisz wejsc zeby cale oferty sprawdzic. Adres pelnej oferty masz w href (zapomnij o js przy curl i ogolnie php). Ustaw naglowki i referery zeby cie zbyt szybko/w ogole nie zbanowali (IMG:style_emoticons/default/smile.gif) To wcale nie jest duza ilosc danych tylko duzo zadan. Zrobi sobie crona. 1 wywolanie pobierze ze strony glownej linki do ofert, drugie przejdzie na strone druga a nastepne beda pobieraly dane. Ustaw co minute i hajda (IMG:style_emoticons/default/smile.gif) Mozesz tez ustawic sobie petle zeby byla kontrola czasu to bedzie szybciej ale nie bede Ci motal. Tak bedzie dobrze 1 wywolanie na minute. Do konca dnia powinienes miec swierze oferty (IMG:style_emoticons/default/wink.gif)