Robot wyszukujący keywords'y Opcje

[Przem4S]

Mianowicie usiłuję napisać robota, który za zadanie będzie miał wyszukiwanie i zapisanie keyword'sów do pliku.
Zasada działania:
1. Robot indeksuje stronę przykladowo wchodzi na link w strefie danej domeny, lub subdomeny. Pozwala także dodać podstrony które ma omijać.
2. Pobiera zawartość danej podstrony, czyści tagi html, zlicza słowa i zapisuje słowa np. występujące częśniej niż 3 razy (przykład).
3. Zapisuje dane do pliku w katalogu takim samym jak dany link.

O tyle o ile nie mam problemu ze zliczeniem słów i ich zapisem, to mam problem z indexowaniem witryny, nie wiem jak wgl się za to zabrać.
W jaki sposób robot ma znajdować podstrony w danej subdomenie, tutaj brakuje mi pomysłu.