zaawansowana wyszukiwarka, jak wyszukiwac by obliczyc trafnosc ... Opcje

[ElemenT]

Witam

Mam nastepujacy problem.

Tabela SQLowa z tekstami oraz tabela ze slowami indeksowymi.
Slowa indexowe tworza sie podczas dodawania tekstu do bazy, wywalane sa niepotrzebne znaki oraz slowa nie znaczace nic podczas wyszukiwania (np, a, lub itp), dodatkowo obliczana jest ilosc wystapienia danego slowa w tekscie.

Sprawa wyszukania niby prosta.

Wpisujemy slowo np 'minister' i znajduje mi 30 tekstow posortowanych wg trafnosci (ilosc wystapien w tekscie). Wylistowanie wynikow.
Wszyskto pieknie.

Problem pojawia sie w momencie wpisania do wyszukiwarki 'minister kalisz wyjechal do moskwy'.
Obecnie program mam tak zrobiony ze szuka slowa minister, potem kalisz, podem wyjechal i na koncu moskwy.
I wyswietla wyniki, z tym ze nie wylatuja teksty gdzie np bylo 30 wystapien slowa minister a ani jednego kalisz, wyjechal i moskwy. A tekst w ktorym wszystkie te slowa wystepuja wyskakuje gdzies na koncu.

Zapytanie do bazki robi sie takie :

[SQL] pobierz, plaintext 
SELECT cms_ure_searchwords.ile, cms_ure_searchwords.id, cms_ure_dzialy.nazwa, cms_ure_dzialy.wstep, cms_ure_dzialy.kat, cms_ure_dzialy.publikacja	
FROM cms_ure_searchwords,cms_ure_dzialy WHERE cms_ure_dzialy.id=cms_ure_searchwords.id AND cms_ure_searchwords.slowa IN ('minister','kalisz','wyjechał','moskwy') GROUP BY cms_ure_searchwords.id ORDER BY cms_ure_searchwords.ile DESC
[SQL] pobierz, plaintext 

Wyszukiwarka jest swietna jezeli ktos wyszukuje 1 slowo. Problem jest jak ktos szuka frazy.
Jak byscie zaprojektowali wyszukiwarke reagujaca na frazy, z uzyciem tabeli slow indeksowych i by byla wyliczana trafnosc ?

Ten post edytował ElemenT 13.05.2005, 14:42:16

[Marcin_m]

Myślę że lepiej będzie stworzyć tabele z indexem typu FULLTEXT, następnie wyszukiwać przy pomocy AGAINST i MATCH.

[NuLL]

Tu się zgadzam - co do trafności - najłatwiej jest to stworzyć na podstawie ilości wystąpień danych slow poprostu Taka troche skomplikowana matma..

[hwao]

Kiedys na forum byl taki watek w ktorym dyskusja byla na temat porownywania stringow i pokazania w ilu procentach sa podobne.

Poszukaj.

[ElemenT]

dobra poradzilem sobie
wyszukuje pieknie i wstawia % trafnosci

[Vengeance]

To sie podziel :]

[ElemenT]

tak jak napisal marcin
fulltext z pola ktore ma tylko tekst, wywalone tagi html itp.
potem match , against

[SQL] pobierz, plaintext 
SELECT MATCH (nazwa,wstep,tresc) AGAINST ('slowo') AS trafnosc 
FROM baza WHERE MATCH (nazwa,wstep,tresc) AGAINST ('slowo')
[SQL] pobierz, plaintext 

przy sprawdzaniu poprawnosci wyszukiwanych danych zrobilem takie cos
dalo mi to max punkt odniesienia - 100%

potem zaladowanie informacji o szukaniu do bazy szukaj - wlasnie ta trafnosc, w jakich dzialach sie szuka, czego sie szuka itp.
przeladowanie stronki

i zapytanie
wyliczenie procentu

[PHP] pobierz, plaintext 
<?php
 
$procent =  round((round($row[trafnosc],5)/$search[trafnosc])*100,1);
?>
[PHP] pobierz, plaintext 

tak po krotce

w dzialaniu : wyszukiwarka

[paniwladca]

moglbys to jeszcze raz wytlumaczyc jak glupkowi

bo uzywajac match against w swojej wyszukiwarce raz wyszukuje mi frazy raz nie
od czego jest to uwarunkowane bo z tego co czytalem moje rozumowanie na temat tej funkcji jest takie ze porownuje ona slowa w kolumnach z podana fraza. dobrze wszystko ok tylko dlaczego raz wyszukuje raz nie wyszukuje mi wskazanych wyrazow jesli sa one w bazie
robie tym oto twoim sposobem

[PHP] pobierz, plaintext 
<?php
 
$query="
SELECT id_str, opis, MATCH (title,opis,url) AGAINST ('$slowo') 
AS score 
FROM strony 
WHERE MATCH (title,opis,url) AGAINST('$slowo') 
ORDER BY score";  
 
?>
[PHP] pobierz, plaintext 

i jeszcze jedno

[PHP] pobierz, plaintext 
<?php
 
$procent =  round((round($row[trafnosc],5)/$search[trafnosc])*100,1);
 
?>
[PHP] pobierz, plaintext 

nie rozumie skad masz te dwa rozne elemnty tablic z trafnoscia
moglbys mi to wyjasnic


dzieki i pozdrawiam

[ElemenT]

jezeli wynikow jest wiecej niz polowa rekordow dla bazy to nie znajduje nic
ma to na celu zmniejszenie obciazenia bazy

tak samo nie znajdzie ci nic jak szukasz w bazie ktora ma 5 rekordow

wtedy mozesz uzyc funkcji sql np like (%slowo%)

co do samej funkcji

[PHP] pobierz, plaintext 
<?php
 
$procent =  round((round($row[trafnosc],5)/$search[trafnosc])*100,1);
 
?>
[PHP] pobierz, plaintext 

$row[trafnosc] - to trafnosc wyrzuconego rekordu w pkt
$search[trafnosc] - to najwieksza trafnosc jako pkt odniesienia

robisz iloczyn i obliczasz procent

Ten post edytował ElemenT 13.12.2005, 14:05:34

[matid]

$row[trafnosc] - to trafnosc wyrzuconego rekordu w pkt
$search[trafnosc] - to najwieksza trafnosc jako pkt odniesienia

robisz iloczyn i obliczasz procent

Najwyższa trafność nie jest koniecznie trafnością 100%.
Może być taka sytuacja, że najlepsze tranfienie będzie miało tylko 50% zgodności z frazą wyszukiwaną...

[SongoQ]

jezeli wynikow jest wiecej niz polowa rekordow dla bazy to nie znajduje nic
ma to na celu zmniejszenie obciazenia bazy

A nie lepiej jest wykluczyc podzapytaniem rekordy w ktorych nie ma pojedynczych slow? A dopiero wtedy szukanie frazy.

Co do wydajnosci bedzie lepsze niz przeszukiwanie calej bazki i szukajac okreslonej frazy. Odnosnie pierszego zapytania sproboj to troche ulepszyc bo z tym IN to CI nie przejdzie, prosty test wstaw kilka milionow rekordow i wpisz np 20 slow do szukania.

[MStaniszczak]

A jako że bark tu informacji o tym że to ma być MySQL, to ja polecam PostgreSQL-a + TSearch2. Dzięki niemu można nawet wyszukiwać w bazie słów "podobnych" do szukanego (np. w innej postaci).

Tu takie tam wprowadzenie:
http://www.sai.msu.su/~megera/postgres/gis...h-V2-intro.html

Pozdrawiam
Marcin Staniszczak