 Cykliczne pobieranie danych |
| Cykliczne pobieranie danych |
Post
#1
|
|
|
Grupa: Zarejestrowani Postów: 20 Pomógł: 1 Dołączył: 25.01.2009 Ostrzeżenie: (0%) 
 |
Zastanawiam się jak wygląda realizacja takiego zadania, jak codzienne zdalne zasysysanie danych z pewnego API. O ile CRON i jedna sprawdzana dana wydaje się prosta, jak zrealizować projekt dla dynamicznego zbioru danych przechowywanych w bazie?
Np. W bazie mam listę adresów WWW , które stanowią warunek dla API. Zapytanie API dla danego www zwraca pewne wartości (np. ilość backlinks). Nie jestem przekonany, czy zapytania odnośnie kilku adresów jednocześnie nie wydłużą czasu reakcji API co może skończyć się bug'ami. Teoretycznie można by co minutę odpalać skrypt CRONem, i sprawdzać pojedyńczą daną API (wtedy mam 3600 slotów) w ciągu doby. Jednak czy to optymalne? Ten post edytował jsmp 2.03.2014, 16:43:36 |
 |
 
|
 |
|
Post
#2
|
|
|
Grupa: Zarejestrowani Postów: 8 068 Pomógł: 1414 Dołączył: 26.10.2005 Ostrzeżenie: (0%)
|
Ad fotek to nie, jeżeli możesz je odpalić z przeglądarki to jest to normalny request.
Ad samego API, to niestety musisz trzymać się limitów i ograniczyć ich ilość jeżeli to możiwe (np. wywalając te fotki tak jak napisałeś) |
|
|
|
jsmp Cykliczne pobieranie danych 2.03.2014, 16:40:17 
jaslanin http://gearman.org/
http://stackoverflow.com/quest... 2.03.2014, 18:20:39 elmaciaso Witam.
Mam podobny problem z założyciel tematu.
... 9.02.2015, 12:25:58 elmaciaso Właśnie tak mi się wydawało odnośnie zdjęć, ale gd... 9.02.2015, 12:47:31 Pyton_000 W sumie mogą jeszcze mieć jakieś ograniczenie requ... 9.02.2015, 12:57:46 elmaciaso Odświeżyłem kilkanaście razy z rzędu stronę na któ... 9.02.2015, 13:24:04 
Pyton_000 zapewne jakimś błędem. 9.02.2015, 13:26:55  |
|
Aktualny czas: 28.12.2025 - 00:11 |
