napsac robota internetowego, robot ktory chodzi po stronie i zczytuje linki Opcje

[kedarko]

wie ktos moze jak napisac robota ktory wchodzi na przykladowa strone np www.wp.pl i zczytuje wszystkie linki ktore sa na pierwszej stronie i zapisuje je do jakiejs bazy, pozniej wchodzi na podstrone i robi to samo, jezeli jest juz ten link to go nie zapisuje i wszystkie te linki oznacza flaga na poziomie drugim, wchodzi na kolejna podstrone i konczy indeksowanie bo ten robot ma sie zaglebić tylko do trzeciej podstrony
z gory dziekuje