[inne]sortowanie powtórzeń, potrzebny skrypt do przesortowania bazy danych .txt Opcje

[jaszpol]

Witam serdecznie wszystkich użytkowników forum jako iż jestem nowy to postaram się w miarę zrozumiale przedstawić problem jaki mam. Otóż posiadam baze 3 tys maili w formacie .txt w układzie
mail@mail.com
mail@mail1.com
mail@mail.com
itd. aż do 3000

Mam problem ponieważ podczas gdy wysyłam te maile to są powtórzenia adresów. Są to maile z moich paru stron i jak ktoś rejestrował się na wszystkich moich stronach to jest parę razy w tej bazie. Chciał bym od was uzyskać jakąś pomoc, wskazówkę jak usunąć te powtórzenia maili. Bo ręcznie raczej nie będę 3000 maili sortował. Jakieś podpowiedzi?

[redeemer]

sort i uniq to dwa oddzielne polecenia. sort -d wypisuje w kolejności alfabetycznej, a do wypisania rekordów unikalnych służy flaga -u (możesz jeszcze dodać -f do ignorowania wielkości liter). U mnie działa bez zarzutów. Gdybyś dalej nie mógł sobie poradzić, to poniżej skrypt w php "na szybko", który powinien robić to samo:

[PHP] pobierz, plaintext 
$tmpArray = array();
$lines = file('./plik.txt');
foreach($lines as $line) {
        echo isset($tmpArray[ ($trimmed=trim($line)) ]) ? false : ($tmpArray[ $trimmed ] = $trimmed)."\n";
}
[PHP] pobierz, plaintext 

[jaszpol]

sort i uniq to dwa oddzielne polecenia. sort -d wypisuje w kolejności alfabetycznej, a do wypisania rekordów unikalnych służy flaga -u (możesz jeszcze dodać -f do ignorowania wielkości liter). U mnie działa bez zarzutów. Gdybyś dalej nie mógł sobie poradzić, to poniżej skrypt w php "na szybko", który powinien robić to samo:

[PHP] pobierz, plaintext 
$tmpArray = array();
$lines = file('./plik.txt');
foreach($lines as $line) {
        echo isset($tmpArray[ ($trimmed=trim($line)) ]) ? false : ($tmpArray[ $trimmed ] = $trimmed)."\n";
}
[PHP] pobierz, plaintext 

Jesteś moim mistrzem człowieku, jak bym Cię kiedykolwiek spotkał wiszę ci piwo. Nikt ale to nikt nie potrafił mi z tym pomóc, z nauczycieli w szkole nikt nie potrafił takiego czegoś zrobić. (chodzę do technikum informatycznego) Co do putty to funkcja sortująca była ograniczona i sortowała max 270-pare maili tylko. A skrypt php zrobił to w sekunde. Z 3254 maili zostało mi 2932 maile. Nawet po wpisywaniu tego co pisałeś w ostatnim poście linux był ograniczony, jednak php rządzi. Stworzyłem tylko plik skrypt.php dodałem w nim znacznik startu i końca dokumentu, twoją treść skryptu i wszystko mi przesortowało. Naprawdę dzięki za rozwiązanie problemu. Proszę o zamknięcie (IMG:style_emoticons/default/smile.gif)