Duzy plik textowy(280MB) obrobic Opcje

[kuna]

Duzy plik textowy(280mb), duzo w nim linijek sie powtarza, dlatego chcialbym najpierw wyciagnac unikalne linijki textu, a nastepnie wywalic niepotrzebne znaki. Troszke nie wiem jak sie za to zabrac, pod Winem skorzystalbym z EDitPlusa , tylko zeedytowac taki plik to zabojstwo. W php moze ktos zna jakies rozwiazanie(jakos na strumieniach?) ? ewentualnie jakis sofcik pod debiana (IMG:http://forum.php.pl/style_emoticons/default/smile.gif)

Prosilbym o jakies wskazowki (IMG:http://forum.php.pl/style_emoticons/default/smile.gif)