[PHP]Projekt robota indeksującego treść Opcje

[wujek2009]

Cześć.

Chcę zrealizować projekt wyszukiwarki indeksującej treść danej strony internetowej.
Ogólnie zarys projektu mam mniej więcej w głowie, ale nie wiem jak miałbym wykonać - przechodzenie na inne podstrony;
Bot znalazł link prowadzący do innej podstrony serwisu (np. domena.pl/artykuly.html ==> domena.pl/artykuly,2.html (następna strona)) w jaki sposób powinienem go przenieść tam?

Mówię tutaj o prostym bocie napisanym nawet w języku php - nie chce zaawansowanych algorytmów; nie tworze drugiej wyszukiwarki Google ;-)