Forum PHP.pl > [Szukam] Skryptu lub programu

Pomoc - Szukaj - Użytkownicy - Kalendarz

Pełna wersja: [Szukam] Skryptu lub programu

Forum PHP.pl > Forum > Gotowe rozwiązania > Szukam

curious

6.04.2015, 17:11:58

Cześć.
Szukam czegoś, co mogę odpalić u siebie na komputerze albo na serwerze, co potrafiłoby pobrać i zapisać wyniki wyszukiwania z Googla do pliku tekstowego.
Przykład: Wpisuję "android site:wp.pl" a w odpowiedzi dostaję plik tekstowy zawierający:

[HTML] pobierz, plaintext 
tech.wp.pl/kat,130054,name,Android,kategoria.html
tech.wp.pl/kat,130054,title,Juz-dzis-Android-Lollipop-wchodzi-do-Polski.html
tech.wp.pl/kat,130054,title,Android-50-jednak-nie-taki-bezpieczny-szyfr.html
....
[HTML] pobierz, plaintext

Zna ktoś takie narzędzie?

johny_s

6.04.2015, 17:42:53

wget + awk lub jakieś inne narzędzie do filtrowania

curious

6.04.2015, 19:05:58

A konkretnie? Wygenerowałem zapytanie wgetem w stylu:

Kod

for (( i=1; $i <= 1150; i++ )); do wget https://www.google.pl/?gws_rd=ssl#q=android+site:wp.pl&start=$i0 -U "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:37.0) Gecko/20120101 Firefox/37.0" -o page$i.html; done

ale zapisuje mi tylko bezuzytecznego htmla pelnego JS-ów.

A co do grepowania, jak zapiszę sobie stronkę z poziomu Firefoxa, owszem, zawiera ona wyniki ale ciężko cokolwiek z niej wygrepować bo ma tylko 92 linijki i pozbawiona jest większości białych znaków.

To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.