array_unique Opcje

[-unique-]

moglby ktos napisac lub podac jakie funkcje trzeba uzyc aby z pliku tekstowego pousuwac powtarzajace sie wyrazy/frazy (jedna fraza na wersz)
nie znam sie zbytnio na php a potrzebowalbym pilnie taki skrypt
z gory dzieki za pomoc

[siemakuba]

chodzi o powtarzajace sie np. tak: moja noga noga?

[PHP] pobierz, plaintext 
<?php
$str = 'moja noga noga zaczepila o podloga podloga i dlatego wlasnie dlatego wlasnie pom
yslalem kurcze kurcze';
$str = preg_replace('/b(.*?)b(1)b/si', '1', $str);
echo $str;
?>
[PHP] pobierz, plaintext 

wynik:

Kod

moja noga zaczepila o podloga i dlatego wlasnie pomyslalem kurcze

pozdr.

[-Gość-]

a jakby ten kod wygladal gdybym w .txt mial np. ?
[quote]
moja
noga
noga
zaczepila
podloga
podloga
dlatego
wlasnie dlatego
wlasnie dlatego
wlasnie pomyslalem
wlasnie pomyslalem
kurcze
kurcze
[/php]
kazda fraza/wiersz w oddzielnym wierszu ?

[-Gość-]

[PHP] pobierz, plaintext 
<?php
$lines = file('plik.txt'); 
  foreach ($lines as $line_num => $line) {  
 
}
 
?>
[PHP] pobierz, plaintext 

gdzie trzeba wrzucic array_unique ?

[Fipaj]

[PHP] pobierz, plaintext 
<?php
$str = file_get_contents ('plik.txt');
?>
[PHP] pobierz, plaintext 

i dalej kod siemakuby

[-Gość-]

heh mam cos kolo 50 tys wierszy slow i fraz (niektore kilku wyrazowe) i gdy zapodam ten skrypt to serwer nie odpowiada juz pare minut, wiec moze znacie jakis inny sposob lub jakis program w innym jezyku, ktory by to zrobil ?