![]() |
![]() ![]() |
![]() |
![]() ![]()
Post
#1
|
|
Grupa: Zarejestrowani Postów: 173 Pomógł: 1 Dołączył: 4.05.2010 Ostrzeżenie: (20%) ![]() ![]() |
Witam,
Projekt wyszukiwarki treści potrzebuje magazynu danych dla: -Gromadzenia danych tekstowych w czasie rzeczywistym -Update rekordów danych tekstowych w czasie rzeczywistym -Przechowywania setek milionów rekordów (każdy rekord to tekst z indywidualnym numerem w wiekości 20 - 200 kb) -Szybkie przeszukiwanie danych z mołżiwością szukania całych fraz "cała fraza" (jak w mysql like '%cała fraza%') Dodatkowo baza musi mieć szybkie połączenie z innym serwerem, który będzie wysyłał całą masę zapytań do wyszukiwania. Połączenie najlepiej api w środowisku php bezpośrednio ze środowiska mysql (oddzielnej bazy indeksującej). Całość na serwerze z dyskami SATA po 4TB w raid 10. Bardzo proszę zacnych forumowiczów o pomoc - porozycje (IMG:style_emoticons/default/smile.gif) Ten post edytował www.aukcje.fm 15.10.2013, 13:13:06 |
|
|
![]()
Post
#2
|
|
Grupa: Zarejestrowani Postów: 559 Pomógł: 93 Dołączył: 4.03.2008 Skąd: Olsztyn Ostrzeżenie: (0%) ![]() ![]() |
Hmm, a może jednak chodzi ci o silnik wyszukiwarki? np Lucene?
|
|
|
![]()
Post
#3
|
|
Grupa: Zarejestrowani Postów: 173 Pomógł: 1 Dołączył: 4.05.2010 Ostrzeżenie: (20%) ![]() ![]() |
Witam,
Nie (IMG:style_emoticons/default/smile.gif) Chodzi tylko o bazę jako magazyn danych tekstowych (IMG:style_emoticons/default/smile.gif) Lucynkę znam znam ... powolna machina. Chodzi tylko o bazę z możłiwością szukania w niej zdalnie. Mysql nie za bardzo nadaje się do trzymania np jednego miliarda rekordów wpisów tekstowych. Ten post edytował www.aukcje.fm 15.10.2013, 13:11:28 |
|
|
![]()
Post
#4
|
|
Grupa: Zarejestrowani Postów: 1 421 Pomógł: 310 Dołączył: 18.04.2012 Ostrzeżenie: (0%) ![]() ![]() |
postgreSQL z miliardem nie testowałem. Ale 100-200 mln (bez specjalnego strojenia ani postgresa, ani maszyny) daje rade. Tabela (jedna tabela) miała ponad 20 GB.
|
|
|
![]()
Post
#5
|
|
Grupa: Zarejestrowani Postów: 1 933 Pomógł: 460 Dołączył: 2.04.2010 Skąd: Lublin Ostrzeżenie: (0%) ![]() ![]() |
Również polecam pgSQL, w większości pracuję na tabelach posiadających od 300 000 wpisów w górę (a w jednym schemacie potrafi ich być kilkadziesiąt), mimo to wszelkie operacje przebiegają nad wyraz sprawnie.
|
|
|
![]()
Post
#6
|
|
Grupa: Zarejestrowani Postów: 559 Pomógł: 93 Dołączył: 4.03.2008 Skąd: Olsztyn Ostrzeżenie: (0%) ![]() ![]() |
Oracle jest w miarę wydajny, nie czuję żadnych problemów przy większych bazach,
Z resztą, mysql potrafi udźwignąć bazy po 5GB (IMG:style_emoticons/default/biggrin.gif) |
|
|
![]()
Post
#7
|
|
Grupa: Zarejestrowani Postów: 20 Pomógł: 3 Dołączył: 21.02.2008 Ostrzeżenie: (0%) ![]() ![]() |
MongoDB? (IMG:style_emoticons/default/wink.gif)
|
|
|
![]()
Post
#8
|
|
Grupa: Zarejestrowani Postów: 302 Pomógł: 24 Dołączył: 6.12.2008 Ostrzeżenie: (0%) ![]() ![]() |
MongoDB jest wolne w porównaniu do ElasticSearch a ten ostatni ma wszystko czego potrzebujesz. Z tym że nie polecam połączenia Mongo z ES, przy dużych kolekcjach (odpowiednik bazy) bardzo wolne indeksowanie. Lepiej działa czysty ES.
Ten post edytował sada 26.10.2013, 09:32:19 |
|
|
![]() ![]() |
![]() |
Aktualny czas: 3.10.2025 - 13:10 |