[Szukam] Skryptu lub programu Opcje

[curious]

Cześć.
Szukam czegoś, co mogę odpalić u siebie na komputerze albo na serwerze, co potrafiłoby pobrać i zapisać wyniki wyszukiwania z Googla do pliku tekstowego.
Przykład: Wpisuję "android site:wp.pl" a w odpowiedzi dostaję plik tekstowy zawierający:

[HTML] pobierz, plaintext 
tech.wp.pl/kat,130054,name,Android,kategoria.html
tech.wp.pl/kat,130054,title,Juz-dzis-Android-Lollipop-wchodzi-do-Polski.html
tech.wp.pl/kat,130054,title,Android-50-jednak-nie-taki-bezpieczny-szyfr.html
....
[HTML] pobierz, plaintext 

Zna ktoś takie narzędzie?

[johny_s]

wget + awk lub jakieś inne narzędzie do filtrowania

[curious]

A konkretnie? Wygenerowałem zapytanie wgetem w stylu:

Kod

for (( i=1; $i <= 1150; i++ )); do wget https://www.google.pl/?gws_rd=ssl#q=android+site:wp.pl&start=$i0 -U "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:37.0) Gecko/20120101 Firefox/37.0" -o page$i.html; done

ale zapisuje mi tylko bezuzytecznego htmla pelnego JS-ów.

A co do grepowania, jak zapiszę sobie stronkę z poziomu Firefoxa, owszem, zawiera ona wyniki ale ciężko cokolwiek z niej wygrepować bo ma tylko 92 linijki i pozbawiona jest większości białych znaków.

Ten post edytował curious 6.04.2015, 19:07:03