[MySQL][PHP]Kawały, Jak sprawdzić czy się powtarzają? Opcje

[xamrex]

Witam,
Mam stronę z kawałami,
Każdy użytkownik może dodać swój kawał.

Baza wygląda tak:

[SQL] pobierz, plaintext 
INSERT INTO `nuke_poems` (`poemid`, `author`, `email`, `date`, `name`, `cat`, `poem`, `rating`, `ratingtot`, `hits`, `ratings`) VALUES
(1, 'Metallica', 'metallica_91@interia.pl', '2004-08-07 16:41:34', 'Jagiełło', '6', 'Tata krzyczy na Jasia: <br />\r\n- I znów pała z historii!! <br />\r\n- Tato, to przez Jagiełłę!! <br />\r\n- To nie zadawaj się więcej z takim łobuzem!! ', '37', '9', 279, '4.11111111'),
(2, 'Metallica', 'metallica_91@interia.pl', '2004-08-07 16:41:34', 'KOT', '15', 'Jasio idzie z mamą (blondynką)i zauważył kota. Pyta się mamy czy to kot, czy kotka, a ona na to: <br />\r\n- Jasiu, to kot. Nie widzisz, że ma wąsy... ', '22', '4', 286, '5.5'),
(3, 'Metallica', 'metallica_91@interia.pl', '2004-08-07 16:41:34', 'Maszyna', '6', 'ojciec Jasia mial fabryke w ktorej produkowano parówki, ojciec musial gdzies wyjsc i chcial, aby go Jasiu zastapil na moment, mowi do Jasia: <br />\r\n- Jasiu, widzisz... Do tej maszyny wkladasz barana i wychodzi parówka <br />\r\nJasiu zrozumial i po chwili pyta tatę: <br />\r\n- Tato, a jest taka maszyna, do ktorej sie wklada parówkę i wychodzi baran? <br />\r\n- Tak, twoja matka. <br />\r\n<br />\r\n', '87', '9', 402, '9.66666666'),
(4, 'Metallica', 'metallica_91@interia.pl', '2004-08-07 16:41:34', 'Poród', '6', 'Jasiu i tata odbierają poród mamy w domu Nagle gaśnie światło i nic nie widać tata mówi do Jasia: <br />\r\n-Jasiu weż latarke i świeć ja będe odbierał dziecko. <br />\r\nMama prze ,krzyczy i jest tata odbiera,odbiera jednego,drugiego-troszke zdziwiony,trzeciego-przerażony,czwartego <br />\r\ni mówi: <br />\r\n-Jasiu gaś latarke bo do światła lecą. <br />\r\n', '33', '5', 240, '6.6'),
(5, 'Metallica', 'metallica_91@interia.pl', '2004-08-07 16:41:34', 'Rodzice', '6', 'A więc, rodzice Jasia chcieli sie troche podymać ale mieli maly dom i nie wiedzieli gdzie zostawić dzieci. Wtem tata wpadl na pomysl: <br />\r\n- Jasiu!! Wyjdź na balkon i mów mnie i mamie co sie dzieje dookola. <br />\r\nJasiu wyszedl na balkon i nawija: <br />\r\n- Widze właśnie, jak dzieci bawią się w piaskownicy, widze babcię idącą z zakupami, psa srającego obok merola i innych ludzi chodzących po chodnikach. A, jeszcze jedno. Obok mnie na innym balkonie stoi dziewczynka. Pewnie dla tego, że jej rodzice też się pieprzą... ', '10', '1', 178, '10'),
[SQL] pobierz, plaintext 

No i w jaki sposób mógłbym sprawdzić czy jakiś kawał nie występuje dwa razy?
Myślałem nad tym aby napisać kod w php i sprawdzać np. 100 znaków w każdym, i jeśli są takie same, to po prostu dostaję komunikat, które kawały są takie same...
Dobrze by było aby np. ten kod nie zwracał uwagi na myślniki, czy <br> lub \r\n bo mogę być takie same kawały, a np. jeden ma myślnik a drugi nie..
I np. jeśli są kawały krótsze niż 100 znaków to aby kod sprawdzał np. tylko 50 pierwszych znaków..
W jaki sposób w ogóle zabrać się za napisanie takiego kodu?

[Crozin]

1. Najpierw oczyszczasz tekst ze wszystkich śmieci.
2. Możesz wykorzystać mechanizm wyszukiwania pełnotekstowego do określenia poziomu pokrewieństwa obu tekstów. Dokumentacja.
3. Zamiast blokować użytkownikowi możliwość dodania tekstu w przypadku wysokiego stopnia pokrewieństwa wyświetl mu znaleziony tekst i niech on sam zdecyduje czy są różne czy nie. Jeżeli uzna, że jednak są różne możesz mimo wszystko zapisać sobie informacje o dużym stopniu pokrewieństwa by móc łatwo samemu przejrzeć listę nowododanych tekstów mogących być duplikatami.