Cykliczne pobieranie danych Opcje

[jsmp]

Zastanawiam się jak wygląda realizacja takiego zadania, jak codzienne zdalne zasysysanie danych z pewnego API. O ile CRON i jedna sprawdzana dana wydaje się prosta, jak zrealizować projekt dla dynamicznego zbioru danych przechowywanych w bazie?

Np. W bazie mam listę adresów WWW , które stanowią warunek dla API. Zapytanie API dla danego www zwraca pewne wartości (np. ilość backlinks). Nie jestem przekonany, czy zapytania odnośnie kilku adresów jednocześnie nie wydłużą czasu reakcji API co może skończyć się bug'ami.

Teoretycznie można by co minutę odpalać skrypt CRONem, i sprawdzać pojedyńczą daną API (wtedy mam 3600 slotów) w ciągu doby. Jednak czy to optymalne?

Ten post edytował jsmp 2.03.2014, 16:43:36

[jaslanin]

http://gearman.org/
http://stackoverflow.com/questions/1039792...on-with-gearman

jak nie możesz takich narzędzi użyć to sprawa się komplikuje
jedną z opcji jest zrobienie takiego myku że:
masz n cronów które wykonują skrypt wykonywania zadań
skrypt wykonywania zadania realizuje zadania które są w kolejce, a które nie są przetwarzane
plus do tego logowanie, ponowne wykonywanie niezrealizowanych zawieszonych itd.
ilość cronów zależy jakie obciążenie one generują, lepiej nie przesadzać z iloscią by nie zawiesić ale to trzeba przetestować jakie zasoby są konsumowane, wtedy liczba slotów to 3600*n

są też inne opcje, dodatki które to realizują poszukaj na frazę: php parallel

Ten post edytował jaslanin 2.03.2014, 18:22:19