[PHP] Pobieranie danych krokami z wróżnych witryn Opcje

[DannyM]

Potrzebuję porady fachowców

Chce cyklicznie pobierać dane z różnych witryn przy użyciu JSON.
Oczywiście nie chce obiążać skryptu ani serwera. Pomyślalem aby zorbić cos na zasadzie

foreach (witryny) {
pobranie 1
jeśli kończył 1
pobranie 2
jeśli kończył 2 itd.
}

Brak mi pomysłu. Pomyślalem, że na końcu JSON mogę dać jakąś flage, że koniec aby wystartowała następna.
Pozostaje jeszcze sprawa tego, że ciągle będzie wykonywł się ten sam skrypt więc może powstać problem na serwerze i go odetną po 30-60sek.
Wszelkie opinie mile widziane i pomysły. Dziękuję.

Ten post edytował DannyM 27.03.2019, 11:12:05

[trueblue]

1. Zbuduj sobie listę tego co masz pobrać.
2. Przy każdym wywołaniu CRON pobieraj 1-X elementów z listy, których nie ma na liście przetworzonych.
3. Po każdym pobraniu elementu zapisz, że został przetworzony.
4. Wróć do punktu 1.