[CRON][PHP] Długi czas wykonywania skryptu Opcje

[mis]

Hej,
trochę szukałem na ten temat, ale nie bardzo znalazłem zadowalającą mnie odpowiedź.
Mianowicie:

skrypt będzie uruchamiany co 2/3 dni, a może i codziennie, ale to nie ważne.
Skrypt, będzie pobierał z bazy 'długi TEXT'. Ilość rekordów będzie z dnia na dzień rosła.
Następnie treść zostanie przefiltrowana, zostaną wyciągnięte wszystkie linki.
Ostatnim krokiem, każdy link zostanie sprawdzony curlem czy działa itp.

Przy małej ilości wpisów w bazie, nie ma problemu, jednak przy większej już problem się pojawi.
set_limit_time, tutaj nic nie pomoże, nawet gdy będzie resetowany w pętli, przy dłuższym czasie wykonywania pliku i tak serwer się wyłoży.

Chodzi głównie o porcjowanie zapytań, na jakiej zasadzie to zrobić?
header(), czy inne tego typu funkcje, w przypadku CRON'a nie wchodzą w grę.
Ma ktoś jakieś rozwiązanie do tego?

[phpion]

Jeśli chodzi o porcjowanie to dodałbym do tabeli pole ostatnie_sprawdzenie_dzien. W cronie co (powiedzmy) 10 minut odpalasz skrypt, który pobiera np. 50 rekordów, których ostatnie_sprawdzenie_dzien != date('j'). Sprawdzasz je po swojemu i aktualizujesz ostatnie_sprawdzenie_dzien na date('j'). Wiesz wówczas, że dany rekord został już dziś sprawdzony i każdy rekord będzie sprawdzony 1 raz na dzień.