[inne]sortowanie powtórzeń, potrzebny skrypt do przesortowania bazy danych .txt Opcje

[jaszpol]

Witam serdecznie wszystkich użytkowników forum jako iż jestem nowy to postaram się w miarę zrozumiale przedstawić problem jaki mam. Otóż posiadam baze 3 tys maili w formacie .txt w układzie
mail@mail.com
mail@mail1.com
mail@mail.com
itd. aż do 3000

Mam problem ponieważ podczas gdy wysyłam te maile to są powtórzenia adresów. Są to maile z moich paru stron i jak ktoś rejestrował się na wszystkich moich stronach to jest parę razy w tej bazie. Chciał bym od was uzyskać jakąś pomoc, wskazówkę jak usunąć te powtórzenia maili. Bo ręcznie raczej nie będę 3000 maili sortował. Jakieś podpowiedzi?

[redeemer]

Dziwne - powinno zadziałać. Do "wypisania" duplikatów służy przełącznik -d w poleceniu uniq. Spróbój jeszcze: sort -u plik.txt

[jaszpol]

Dziwne - powinno zadziałać. Do "wypisania" duplikatów służy przełącznik -d w poleceniu uniq. Spróbój jeszcze: sort -u plik.txt

Właśnie też mnie to dziwi że nie działa tak jak powinno po wpisaniu sort -u plik.txt wyskakuje to samo co przy wpisaniu sort plik.txt |uniq.
Dopiero jak wpisałem sort -d plik.txt to zaczęły wyskakiwać powtórzenia ale z tego co widzę. To za każdym razem wyskakuje 200-parę.
Ale to nie wyskakuje tak jak trzeba bo wyskakują powtórzenia nicku przykładowo, jest wpisane
test1@gmail.com
test1@o2.pl
i traktuje to jako powtórzenie co nie powinno :| Więc nadal mi za wiele to nie pomogło. Bo potrzebuję przesortować całe 3000 maili.

Ten post edytował jaszpol 10.04.2012, 16:36:56