[PHP] Pobieranie danych krokami z wróżnych witryn Opcje

[DannyM]

Potrzebuję porady fachowców

Chce cyklicznie pobierać dane z różnych witryn przy użyciu JSON.
Oczywiście nie chce obiążać skryptu ani serwera. Pomyślalem aby zorbić cos na zasadzie

foreach (witryny) {
pobranie 1
jeśli kończył 1
pobranie 2
jeśli kończył 2 itd.
}

Brak mi pomysłu. Pomyślalem, że na końcu JSON mogę dać jakąś flage, że koniec aby wystartowała następna.
Pozostaje jeszcze sprawa tego, że ciągle będzie wykonywł się ten sam skrypt więc może powstać problem na serwerze i go odetną po 30-60sek.
Wszelkie opinie mile widziane i pomysły. Dziękuję.

Ten post edytował DannyM 27.03.2019, 11:12:05

[trueblue]

1. Zbuduj sobie listę tego co masz pobrać.
2. Przy każdym wywołaniu CRON pobieraj 1-X elementów z listy, których nie ma na liście przetworzonych.
3. Po każdym pobraniu elementu zapisz, że został przetworzony.
4. Wróć do punktu 1.

[DannyM]

Tak też zorbiłem ale nie rozwiązuje to niestety problemu połaczenia z klikoma różnymi stronami na raz. Dzieki

[Pyton_000]

A czemu miałbyś nie obciążać serwera? Od tego są żeby je orać.

[DannyM]

A czemu miałbyś nie obciążać serwera? Od tego są żeby je orać.

No tak ale ich administratorzy tego nie lubią i mają odpowiedznie środki aby temu zapobiec