Szybkość działania Google, wyszukiwarka |
Szybkość działania Google, wyszukiwarka |
14.06.2016, 07:43:35
Post
#1
|
|
Grupa: Zarejestrowani Postów: 859 Pomógł: 177 Dołączył: 29.10.2009 Ostrzeżenie: (0%) |
Cześć.
Jak to możliwe, że wyszukiwarka google działa tak szybko? Rozumiem, że mają masę serwerów ale szybkość przedstawiania wyników przez google jest oszałamiająca. Pierwsza lepsza wyszukiwarka z kilkoma rekordami w bazie działa wolniej. |
|
|
14.06.2016, 08:13:25
Post
#2
|
|
Grupa: Zarejestrowani Postów: 8 068 Pomógł: 1414 Dołączył: 26.10.2005 Ostrzeżenie: (0%) |
Sam sobie odpowiedziałeś na to pytanie
Moc obliczeniowa robi swoje. |
|
|
14.06.2016, 08:24:54
Post
#3
|
|
Grupa: Zarejestrowani Postów: 6 476 Pomógł: 1306 Dołączył: 6.08.2006 Skąd: Kraków Ostrzeżenie: (0%) |
1. Pewnie dlatego, że Google to nie pierwsza lepsza wyszukiwarka.
2. O ile mnie pamięć nie myli to obsługa jednego wyszukiwania może pociągnąć za sobą pracę nawet i 1000 maszyn. Niezbyt mocnych, ale nadal ich liczba robi swoje. |
|
|
14.06.2016, 08:26:03
Post
#4
|
|
Grupa: Zarejestrowani Postów: 324 Pomógł: 110 Dołączył: 18.09.2012 Ostrzeżenie: (0%) |
Dodatkowo podstawa programowania czyli cache cache i jeszcze raz cache
|
|
|
14.06.2016, 09:58:27
Post
#5
|
|
Grupa: Zarejestrowani Postów: 520 Pomógł: 102 Dołączył: 15.07.2014 Skąd: NULL Ostrzeżenie: (0%) |
Google operuje na `Big Data`
Ten post edytował KsaR 14.06.2016, 10:22:17 -------------------- |
|
|
14.06.2016, 10:41:20
Post
#6
|
|
Grupa: Zarejestrowani Postów: 3 033 Pomógł: 366 Dołączył: 24.05.2012 Ostrzeżenie: (0%) |
No tak Hadoop robi swoją robotę, wraz z ich mechanizmem MapReduce
Ale tak jak już inni wspomnieli do tego potrzeba wielu maszyn, które dostają poszczególne zadania. |
|
|
14.06.2016, 14:44:32
Post
#7
|
|
Grupa: Zarejestrowani Postów: 125 Pomógł: 7 Dołączył: 27.01.2010 Ostrzeżenie: (0%) |
Wyszukiwarka Google dziala szybko bo nie napisali jej w Pehapie z uzyciem MySQL i LIKE %
A na powaznie to sobie poczytaj o Reverse Index i TF/IDF, gugiel to w duzym skrocie wlasnie taki rozproszony index, ktory z zalozenia dziala szybko. Cytat No tak Hadoop robi swoją robotę, wraz z ich mechanizmem MapReduce O Hadoopie mozna wiele powiedziec ale napewno nie to, ze jest szybki Afaik google nie stoi juz na MapReduce. Ten post edytował cepa 14.06.2016, 14:47:44 -------------------- |
|
|
14.06.2016, 14:59:58
Post
#8
|
|
Grupa: Zarejestrowani Postów: 3 033 Pomógł: 366 Dołączył: 24.05.2012 Ostrzeżenie: (0%) |
Wcale nie napisałem, że jest szybki no tak fakt teraz mają Cloud Dataflow
|
|
|
14.06.2016, 15:11:14
Post
#9
|
|
Grupa: Zarejestrowani Postów: 125 Pomógł: 7 Dołączył: 27.01.2010 Ostrzeżenie: (0%) |
Wcale nie napisałem, że jest szybki no tak fakt teraz mają Cloud Dataflow Chodzilo mi oto, ze Hadoop nie nadaje sie do wykonywania czegokolwiek w czasie niemal rzeczywistym. To jest po prostu framework do wykonywania batchowych jobow, do tego jest passe i sa juz lepsze narzedzia na rynku. Pracowalem przy projekcie wyszukiwarki w pewnej europejskiej firmie, ktora ma ambicje przejac czesc rynku wyszukiwania od Google. Jest z tym masa roboty ale nie ma tam cudow. Szybkie wyszukiwanie mozna napisac od zera chociazby w pythonie i spokojnie wyciagnie tysiace zapytan na sekunde. Samo szukanie w indeksie jest trywialne, indeksowanie sprawia problemy skali, potrzeba setek maszyn zeby po prostu trzymac taka ilosc danych, do tego dochodzi replikacja, regiony itp. Mapreduce i pochodne stosuje sie do budowania indeksu na podstawie danych chociazby z wyszukiwarek internetowych, dzisiaj nawet crawling nie ma sensu bo internet rosnie zbyt szybko, a przegladarki internetowe sa "za darmo" bo to co wpisujecie w szukajce i w pasku adresu jest produktem na ktorym stoi duzy biznes. -------------------- |
|
|
14.06.2016, 15:23:30
Post
#10
|
|
Grupa: Zarejestrowani Postów: 3 033 Pomógł: 366 Dołączył: 24.05.2012 Ostrzeżenie: (0%) |
Ależ ja się z Tobą zgadzam, tylko jakby nie było, to Google przy hdoopie gdzieś tam na dole całego procesu pozostało. A to, że są inne, pewnie i lepsze rozwiązania, jestem tego świadomy. To się szybko wszystko zmienia, bo tak jak mówisz internet się rozrasta w zbyt szybkim tempie.
|
|
|
14.06.2016, 17:38:38
Post
#11
|
|
Grupa: Zarejestrowani Postów: 1 240 Pomógł: 278 Dołączył: 11.03.2008 Ostrzeżenie: (0%) |
Cytat dzisiaj nawet crawling nie ma sensu bo internet rosnie zbyt szybko -------------------- |
|
|
Wersja Lo-Fi | Aktualny czas: 28.04.2024 - 15:44 |