[php]wyszukiwarka, nie tylko dla prostej storny Opcje

[Fixus]

Witam
Staje przed pewnym dylematem. Otóż rozważam/potrzebuję/chcę stworzyć wyszukiwarkę. Sprawa polegałaby na tym, że wyszukiwarka przeszukuje nie całą sieć, ale zbiór/pewną ilość konkretnych stron internetowych. Teraz sprawa polega na stworzeniu własnego silnika, struktury bazo danowej i rozwiązaniu wielu innych problemów. Ciężko coś na ten temat znaleźć w sieci....czegoś konkretnego. Dlatego proszę o pomoc. Podsuńcie jakieś pomysły, poprawcie mnie jak będe gadał głupoty itp (IMG:http://forum.php.pl/style_emoticons/default/smile.gif)

Kołacze mi się pierwsze myśl...zakładając, że ktoś będzie dodawał do bazy daną stronę internetową można by ją zindexować. Dodać słowa (tak jak w książce index słów) do bazy danyc. Dane słowo przypisać do unikalnego numeru id strony (uid_p). Ale boje się, że przy 10 stronach będzie to baza niewyobrażalnych rozmariów i może zrobić się długie oczekiwanie. Podsuńce swoje pomysły, ale także przydatne materiały. Wszystko się przyda

[franki01]

1. Potrzebny jest naprawde rozbudowany silnik

2. Najlepiej, gdyby uzytkownik podawal tylko URL, a pajączek pobieral dane strony

3. Gdyby dane byly podawane przez usera przy dodawaniu strony, podane slowa kluczowe/tytul strony moglby zupelnie byc inny niz w rzeczywistosci wiec stanowczo odradzam!

4. W Cronie ustawic sobie jedna godzine codziennie, o ktorej wszystkie strony bylyby indeksowane (pobierane dane, ukladanie slow kluczowych, zapisywanie tytulu strony)

I to pobieranie danych ze stron najlepiej, gdyby bylo na jakims dedykowanym serwerze, innym niz wyszukiwarka, zeby administratorzy nie czepiali o naduzywanie lacza...


Takie cos wykorzystuje chyba wiekszosc wyszukiwarek, wiec nie ma w tym zadnej wielkiej filozofii..