wyszukiwanie w źródle strony zabezpieczonej hasłem, jak wyszukać coś w źródle strony Opcje

[abaddon]

mam następujące pytanko:
chciałbym wyszukać coś w źródle stronki online:

1)stronka zabezpieczona jest hasłem (mam użytkownika i hasełko). przy każdym logowaniu trzeba je podać (ale to chyba oczywiste)

2)muszę wyciągać dane ze stronki online (nie wchodzi w grę jej zgrywanie na twardy dysk - dlaczego za chwilę)

3)chodzi o przeszukanie kilkuset tysięcy (około 400 000 podstron na raz ) w celu poszukiwania określonych danych i ich zapisania (do pliku, wyświetlenia na stronce czy też do bazy danych -obojętne

4)podstronki różnią się od siebie wartością zmiennej w adresie (czyli np www.xxxxxxx?wartość_zmiennej=0 do 400000)

głównym problemem jak na razie jest dla mnie 1). nie wiem jak sie zalogować przez php...

[ennics]

tez mam podobny problem do zgryzienia, narazie siedzę w literaturze
zobacz tu
CURL

[rubin]

Moze popatrzec co w naglowkach jest wysylane i potem to do phpa przeniesc?

[crash]

Zobacz jakie zmienne przekazywane są podczas logowania przez formularz i wyślij odpowiednie dane POST za pomocą CURL'a...

[abaddon]

z logowaniem sobie poradziłem.
gorzej z resztą.
wykrzacza się.
musze puścić to jakoś tak, żeby było wykonywane partiami;-)