Webspider do wyszukiwania slow query, Poszukuje narzedzia Opcje

[mrok]

Potrzebuje przeszukać wszystkie strony w obrębie pewnej domeny i zalogować czas wygenerowania strony (głownie zależy mi na slow query).
Logowanie czasu i zapytań jest już gotowe po stronie php.

Zna ktoś jakieś narzędzie (np plugin do firefoxa) które mogłoby zautomatyzować te pracę?
Najgorszy problem to to że spora część linków jest tworzona przez JS (często są częścią jakiegoś gridu dociąganego ajaxem).

[zend]

addony do firefoxa: firebug, firephp, do logowania polecam Zend_Db_Profiler

[mrok]

Chyba nie opisałem zbyt jasno czego potrzebuje:

Narzędzia które wyszuka linków na stronie a następnie odwiedzi każdy znaleziony link. Ważne, aby działało też na linki tworzone dynamicznie (content ładowany z opóźnieniem)