 [PHP] Usunięcie duplikatów w dużym pliku |
| [PHP] Usunięcie duplikatów w dużym pliku |
Post
#1
|
|
 Grupa: Zarejestrowani Postów: 259 Pomógł: 1 Dołączył: 3.07.2011 Ostrzeżenie: (0%) 
 |
Mam do usuniecia przez php w pliku ktory ma okolo 20 MB powtarzajacych sie linijek. Niestety serwer nie uniesie tyle i zastanawiam sie jak do tego podejsc. Mam mozliwosc uzywania niektorych polecen exec(), macie na to jakis pomysl ?
|
 |
 
|
 |
|
Post
#2
|
|
 Grupa: Zarejestrowani Postów: 915 Pomógł: 210 Dołączył: 8.09.2009 Skąd: Tomaszów Lubelski/Wrocław Ostrzeżenie: (0%)
|
Może uniksowe polecanie uniq.
-------------------- |
|
|
|
|
Post
#3
|
|
|
Grupa: Zarejestrowani Postów: 259 Pomógł: 1 Dołączył: 3.07.2011 Ostrzeżenie: (0%)
|
dalem
sort file | uniq -u ale nic sie nie zmienilo niestety :/ |
|
|
|
|
Post
#4
|
|
|
Grupa: Zarejestrowani Postów: 915 Pomógł: 210 Dołączył: 8.09.2009 Skąd: Tomaszów Lubelski/Wrocław Ostrzeżenie: (0%)
|
uniq "wypluwa" dane na standardowe wyjście (stdout), więc musisz zrobić coś takiego:
Kod sort jakisplik | uniq -u > nowyplik
-------------------- |
|
|
|
 |
|
Aktualny czas: 22.08.2025 - 04:06 |
