Szybkość działania Google, wyszukiwarka Opcje

[aras785]

Cześć.

Jak to możliwe, że wyszukiwarka google działa tak szybko?
Rozumiem, że mają masę serwerów ale szybkość przedstawiania wyników przez google jest oszałamiająca.

Pierwsza lepsza wyszukiwarka z kilkoma rekordami w bazie działa wolniej.

[Pyton_000]

Sam sobie odpowiedziałeś na to pytanie (IMG:style_emoticons/default/smile.gif)

Moc obliczeniowa robi swoje.

[Crozin]

1. Pewnie dlatego, że Google to nie pierwsza lepsza wyszukiwarka.
2. O ile mnie pamięć nie myli to obsługa jednego wyszukiwania może pociągnąć za sobą pracę nawet i 1000 maszyn. Niezbyt mocnych, ale nadal ich liczba robi swoje.

[Arcioch]

Dodatkowo podstawa programowania czyli cache cache i jeszcze raz cache

[KsaR]

Google operuje na `Big Data`

• https://pl.wikipedia.org/wiki/Big_data
• https://datafloq.com/read/google-applies-bi...infographic/385
• https://cloud.google.com/solutions/big-data/
• https://youtu.be/CzkGc4Yjn9c

Ten post edytował KsaR 14.06.2016, 10:22:17

[com]

No tak Hadoop robi swoją robotę, wraz z ich mechanizmem MapReduce (IMG:style_emoticons/default/biggrin.gif)

Ale tak jak już inni wspomnieli do tego potrzeba wielu maszyn, które dostają poszczególne zadania.

[cepa]

Wyszukiwarka Google dziala szybko bo nie napisali jej w Pehapie z uzyciem MySQL i LIKE % (IMG:style_emoticons/default/biggrin.gif)

A na powaznie to sobie poczytaj o Reverse Index i TF/IDF, gugiel to w duzym skrocie wlasnie taki rozproszony index, ktory z zalozenia dziala szybko.

No tak Hadoop robi swoją robotę, wraz z ich mechanizmem MapReduce

O Hadoopie mozna wiele powiedziec ale napewno nie to, ze jest szybki (IMG:style_emoticons/default/smile.gif)
Afaik google nie stoi juz na MapReduce.

Ten post edytował cepa 14.06.2016, 14:47:44

[com]

Wcale nie napisałem, że jest szybki no tak fakt teraz mają Cloud Dataflow (IMG:style_emoticons/default/smile.gif)

[cepa]

Wcale nie napisałem, że jest szybki no tak fakt teraz mają Cloud Dataflow (IMG:style_emoticons/default/smile.gif)

Chodzilo mi oto, ze Hadoop nie nadaje sie do wykonywania czegokolwiek w czasie niemal rzeczywistym. To jest po prostu framework do wykonywania batchowych jobow, do tego jest passe i sa juz lepsze narzedzia na rynku.

Pracowalem przy projekcie wyszukiwarki w pewnej europejskiej firmie, ktora ma ambicje przejac czesc rynku wyszukiwania od Google.
Jest z tym masa roboty ale nie ma tam cudow. Szybkie wyszukiwanie mozna napisac od zera chociazby w pythonie i spokojnie wyciagnie tysiace zapytan na sekunde. Samo szukanie w indeksie jest trywialne, indeksowanie sprawia problemy skali, potrzeba setek maszyn zeby po prostu trzymac taka ilosc danych, do tego dochodzi replikacja, regiony itp. Mapreduce i pochodne stosuje sie do budowania indeksu na podstawie danych chociazby z wyszukiwarek internetowych, dzisiaj nawet crawling nie ma sensu bo internet rosnie zbyt szybko, a przegladarki internetowe sa "za darmo" bo to co wpisujecie w szukajce i w pasku adresu jest produktem na ktorym stoi duzy biznes.

[com]

Ależ ja się z Tobą zgadzam, tylko jakby nie było, to Google przy hdoopie gdzieś tam na dole całego procesu pozostało. A to, że są inne, pewnie i lepsze rozwiązania, jestem tego świadomy. To się szybko wszystko zmienia, bo tak jak mówisz internet się rozrasta w zbyt szybkim tempie.

[markuz]

dzisiaj nawet crawling nie ma sensu bo internet rosnie zbyt szybko

(IMG:style_emoticons/default/thumbsdownsmileyanim.gif)