[MySQL][PHP]przeszukanie ebooka czy istnieje słowo, Przeszukanie treści 100 000 znaków przez 100 000 rekordów Opcje

[gregi]

Opisze problem:

#Istnieje ebook Pan Tadeusz (100kb 100 000znaków z spacją . txt)
#Istnieje baza słów [100 000] rekordów w mysql tj, dom, krzesło, lalka

Chciałbym sprawdzić czy dany rekord z bazy słów występuje w ebooku,
Jeżeli tak to chciałbym usunąć go z ebooka (z zmiennej)
Wynikiem analizy będzie informacja ile razy dane słowo zostało znalezione w ebooku,
Znalezione słowa zostaną usunięte z treści i zostanie treść, która nie ma zawartych słów z bazy słów.
Proszę o informację jak postępować z taką ilością danych. Czy zawartość ebook załadować do zmiennej? Czy może do tablicy z podziałem na wiersze tekstu jako elementy tabeli? A może załadować treść pliku do SQL?. Jak optymalnie zaplanować przepytanie treści epoka 100 000 razy przez poszczególne słówka z bazy słów.
Jaka funkcja w takim wypadku będzie najbardziej optymalna strpos, wyrażenia regularne? czasami szukamy wyrazu a czasami frazę (dwa wyrazy)
Proszę o koncepcję jak za to się zabrać

Ten post edytował gregi 21.01.2015, 19:32:37

[pasman]

ebooka załaduj do tablicy, najlepiej już podzielonego na słowa.

[Pyton_000]

http://php.net/preg_replace z ostatnim parametrem

Czyli ładujesz tekst do zmiennej (nic nie rozbijasz) i robisz preg_replace z Countem (ost. param.) i wrzucasz sobie wynik gdzieś.

Ten post edytował Pyton_000 22.01.2015, 13:28:20