Witaj Gościu! ( Zaloguj | Rejestruj )

Forum PHP.pl

 
Reply to this topicStart new topic
> Jaka baza danych oto jest pytanie...
www.aukcje.fm
post
Post #1





Grupa: Zarejestrowani
Postów: 173
Pomógł: 1
Dołączył: 4.05.2010

Ostrzeżenie: (20%)
X----


Witam,

Projekt wyszukiwarki treści potrzebuje magazynu danych dla:

-Gromadzenia danych tekstowych w czasie rzeczywistym
-Update rekordów danych tekstowych w czasie rzeczywistym
-Przechowywania setek milionów rekordów (każdy rekord to tekst z indywidualnym numerem w wiekości 20 - 200 kb)
-Szybkie przeszukiwanie danych z mołżiwością szukania całych fraz "cała fraza" (jak w mysql like '%cała fraza%')

Dodatkowo baza musi mieć szybkie połączenie z innym serwerem, który będzie wysyłał całą masę zapytań do wyszukiwania.
Połączenie najlepiej api w środowisku php bezpośrednio ze środowiska mysql (oddzielnej bazy indeksującej).

Całość na serwerze z dyskami SATA po 4TB w raid 10.

Bardzo proszę zacnych forumowiczów o pomoc - porozycje (IMG:style_emoticons/default/smile.gif)

Ten post edytował www.aukcje.fm 15.10.2013, 13:13:06
Go to the top of the page
+Quote Post
buliq
post
Post #2





Grupa: Zarejestrowani
Postów: 559
Pomógł: 93
Dołączył: 4.03.2008
Skąd: Olsztyn

Ostrzeżenie: (0%)
-----


Hmm, a może jednak chodzi ci o silnik wyszukiwarki? np Lucene?
Go to the top of the page
+Quote Post
www.aukcje.fm
post
Post #3





Grupa: Zarejestrowani
Postów: 173
Pomógł: 1
Dołączył: 4.05.2010

Ostrzeżenie: (20%)
X----


Witam,

Nie (IMG:style_emoticons/default/smile.gif)

Chodzi tylko o bazę jako magazyn danych tekstowych (IMG:style_emoticons/default/smile.gif)

Lucynkę znam znam ... powolna machina.

Chodzi tylko o bazę z możłiwością szukania w niej zdalnie. Mysql nie za bardzo nadaje się do trzymania np jednego miliarda rekordów wpisów tekstowych.

Ten post edytował www.aukcje.fm 15.10.2013, 13:11:28
Go to the top of the page
+Quote Post
mmmmmmm
post
Post #4





Grupa: Zarejestrowani
Postów: 1 421
Pomógł: 310
Dołączył: 18.04.2012

Ostrzeżenie: (0%)
-----


postgreSQL z miliardem nie testowałem. Ale 100-200 mln (bez specjalnego strojenia ani postgresa, ani maszyny) daje rade. Tabela (jedna tabela) miała ponad 20 GB.
Go to the top of the page
+Quote Post
b4rt3kk
post
Post #5





Grupa: Zarejestrowani
Postów: 1 933
Pomógł: 460
Dołączył: 2.04.2010
Skąd: Lublin

Ostrzeżenie: (0%)
-----


Również polecam pgSQL, w większości pracuję na tabelach posiadających od 300 000 wpisów w górę (a w jednym schemacie potrafi ich być kilkadziesiąt), mimo to wszelkie operacje przebiegają nad wyraz sprawnie.
Go to the top of the page
+Quote Post
buliq
post
Post #6





Grupa: Zarejestrowani
Postów: 559
Pomógł: 93
Dołączył: 4.03.2008
Skąd: Olsztyn

Ostrzeżenie: (0%)
-----


Oracle jest w miarę wydajny, nie czuję żadnych problemów przy większych bazach,
Z resztą, mysql potrafi udźwignąć bazy po 5GB (IMG:style_emoticons/default/biggrin.gif)
Go to the top of the page
+Quote Post
BartekN
post
Post #7





Grupa: Zarejestrowani
Postów: 20
Pomógł: 3
Dołączył: 21.02.2008

Ostrzeżenie: (0%)
-----


MongoDB? (IMG:style_emoticons/default/wink.gif)
Go to the top of the page
+Quote Post
sada
post
Post #8





Grupa: Zarejestrowani
Postów: 302
Pomógł: 24
Dołączył: 6.12.2008

Ostrzeżenie: (0%)
-----


MongoDB jest wolne w porównaniu do ElasticSearch a ten ostatni ma wszystko czego potrzebujesz. Z tym że nie polecam połączenia Mongo z ES, przy dużych kolekcjach (odpowiednik bazy) bardzo wolne indeksowanie. Lepiej działa czysty ES.

Ten post edytował sada 26.10.2013, 09:32:19
Go to the top of the page
+Quote Post

Reply to this topicStart new topic
2 Użytkowników czyta ten temat (2 Gości i 0 Anonimowych użytkowników)
0 Zarejestrowanych:

 



RSS Aktualny czas: 3.10.2025 - 13:10