[inne]sortowanie powtórzeń, potrzebny skrypt do przesortowania bazy danych .txt Opcje

[jaszpol]

Witam serdecznie wszystkich użytkowników forum jako iż jestem nowy to postaram się w miarę zrozumiale przedstawić problem jaki mam. Otóż posiadam baze 3 tys maili w formacie .txt w układzie
mail@mail.com
mail@mail1.com
mail@mail.com
itd. aż do 3000

Mam problem ponieważ podczas gdy wysyłam te maile to są powtórzenia adresów. Są to maile z moich paru stron i jak ktoś rejestrował się na wszystkich moich stronach to jest parę razy w tej bazie. Chciał bym od was uzyskać jakąś pomoc, wskazówkę jak usunąć te powtórzenia maili. Bo ręcznie raczej nie będę 3000 maili sortował. Jakieś podpowiedzi?

[redeemer]

sort i uniq to dwa oddzielne polecenia. sort -d wypisuje w kolejności alfabetycznej, a do wypisania rekordów unikalnych służy flaga -u (możesz jeszcze dodać -f do ignorowania wielkości liter). U mnie działa bez zarzutów. Gdybyś dalej nie mógł sobie poradzić, to poniżej skrypt w php "na szybko", który powinien robić to samo:

[PHP] pobierz, plaintext 
$tmpArray = array();
$lines = file('./plik.txt');
foreach($lines as $line) {
        echo isset($tmpArray[ ($trimmed=trim($line)) ]) ? false : ($tmpArray[ $trimmed ] = $trimmed)."\n";
}
[PHP] pobierz, plaintext