[PHP] Cykliczne pobieranie fragmentu strony Opcje

[patrykt]

Witam, chcę przygotować skrypt, który będzie pobierał mi stronę internetową i mielił jej zawartość. Zrobienie go to pikuś ale jeśli ustawię pobieranie całej strony np. poprzez file_get_gontents co 5 minut, to mi zeżre cały transfer na serwerze. Jakieś alternatywy?

[timon27]

Zależy.
file_get_contest pobiera tylko źródło strony. Bez obrazków, css itp.
Więc prawdopodobnie nie będzie aż tak źle.
Po prostu sprawdź strlen od zawartości, pomnóż sobie przez 31*24*12 i oszacujesz w bajtach ilość transferu na to potrzebną.
Jeśli przekroczyłeś to powiedz po co ci to, to może wyeliminujemy zbedny file_get_contest (np. strona udostępnie rss).

[patrykt]

http://www.last.fm/music/Sundrugs/+listeners

chcę sobie zrobić statystyki odsłuchów moich kawałków przez ludzi. niestety akurat ta sekcja nie znajduje się w API Last.fm.

[phpion]

Mam serwis, który co 10 minut pobiera dane (akurat cURLem) z kilkunastu stron (HTML stron głównych). Skrypt pracuje od ponad roku, a mój hosting to najtańszy pakiet na lh.pl. Zużycie transferu jest marginalne...

[timon27]

No i faktycznie ta strona ma 80kb (zaokrąglając w górę) co daje 700mb miesięcznie.
Najtańsze hostingi mają 20gb/m-c.
(a w LH phpion'a najtańszy za 50zł/rok ma 500gb/m-c)

Ten post edytował timon27 12.12.2013, 13:17:40