Forum PHP.pl

Cześć.

Jak to możliwe, że wyszukiwarka google działa tak szybko?
Rozumiem, że mają masę serwerów ale szybkość przedstawiania wyników przez google jest oszałamiająca.

Pierwsza lepsza wyszukiwarka z kilkoma rekordami w bazie działa wolniej.

Sam sobie odpowiedziałeś na to pytanie

Moc obliczeniowa robi swoje.

1. Pewnie dlatego, że Google to nie pierwsza lepsza wyszukiwarka.
2. O ile mnie pamięć nie myli to obsługa jednego wyszukiwania może pociągnąć za sobą pracę nawet i 1000 maszyn. Niezbyt mocnych, ale nadal ich liczba robi swoje.

Dodatkowo podstawa programowania czyli cache cache i jeszcze raz cache

No tak Hadoop robi swoją robotę, wraz z ich mechanizmem MapReduce

Ale tak jak już inni wspomnieli do tego potrzeba wielu maszyn, które dostają poszczególne zadania.

Wyszukiwarka Google dziala szybko bo nie napisali jej w Pehapie z uzyciem MySQL i LIKE %

A na powaznie to sobie poczytaj o Reverse Index i TF/IDF, gugiel to w duzym skrocie wlasnie taki rozproszony index, ktory z zalozenia dziala szybko.


O Hadoopie mozna wiele powiedziec ale napewno nie to, ze jest szybki
Afaik google nie stoi juz na MapReduce.

Ten post edytował cepa 14.06.2016, 14:47:44

Wcale nie napisałem, że jest szybki no tak fakt teraz mają Cloud Dataflow

Chodzilo mi oto, ze Hadoop nie nadaje sie do wykonywania czegokolwiek w czasie niemal rzeczywistym. To jest po prostu framework do wykonywania batchowych jobow, do tego jest passe i sa juz lepsze narzedzia na rynku.

Pracowalem przy projekcie wyszukiwarki w pewnej europejskiej firmie, ktora ma ambicje przejac czesc rynku wyszukiwania od Google.
Jest z tym masa roboty ale nie ma tam cudow. Szybkie wyszukiwanie mozna napisac od zera chociazby w pythonie i spokojnie wyciagnie tysiace zapytan na sekunde. Samo szukanie w indeksie jest trywialne, indeksowanie sprawia problemy skali, potrzeba setek maszyn zeby po prostu trzymac taka ilosc danych, do tego dochodzi replikacja, regiony itp. Mapreduce i pochodne stosuje sie do budowania indeksu na podstawie danych chociazby z wyszukiwarek internetowych, dzisiaj nawet crawling nie ma sensu bo internet rosnie zbyt szybko, a przegladarki internetowe sa "za darmo" bo to co wpisujecie w szukajce i w pasku adresu jest produktem na ktorym stoi duzy biznes.

Ależ ja się z Tobą zgadzam, tylko jakby nie było, to Google przy hdoopie gdzieś tam na dole całego procesu pozostało. A to, że są inne, pewnie i lepsze rozwiązania, jestem tego świadomy. To się szybko wszystko zmienia, bo tak jak mówisz internet się rozrasta w zbyt szybkim tempie.