Skrypt sortujący plik Opcje

[Beniooo]

Witam, poszukuje skryptu kjtóry mi posortuje słowa znajdujące się w pliku tekstowym, każde słowo jest w innym wierszy, słów jest mniej niż 3 miliony, a pliczek ma rozmiar ~36MB
Dostałem od usera na forum takie coś:

[PHP] pobierz, plaintext 
<?php
        $file = file_get_contents("slowa-win.txt");
        $file_lines = explode("\n", $file);
 
 
                for($i=0;$i<count($file_lines);$i++)
                    {
 
                        $line_length[$i] = mb_strlen($file_lines[$i]);
                    }
 
                    asort($line_length);
 
                        foreach ($line_length as $kl => $linel) 
                            {
                        echo "$file_lines[$kl]<br>";
                            }
            ?>
[PHP] pobierz, plaintext 

Niestety nie działa, wyświetla błąd "Fatal error: Allowed memory size of 25165824 bytes exhausted (tried to allocate 36854802 bytes) in C:\AppServ\www\index.php on line 6"
Ma ktos skrypt który posortuje ten plik żeby słowa były od najkrótszego do najdłuższego?

[toaspzoo]

Wartość dozwolonej pamięci zdefiniowanej w php.ini została przekroczona. Zwróć się do usługodawcy o zwiększenie parametru, obecnie jest to jedynie 24MB a potrzeba ponad 34

Lub spróbuj wrzucić zaraz po <?

[PHP] pobierz, plaintext 
ini_set('memory_limit',52428800);
[PHP] pobierz, plaintext 

Jeśli nie zadziała, napisz do providera o zmianę parametru memory_limit na 50M

Ten post edytował toaspzoo 22.07.2012, 12:18:56

[Beniooo]

tak, a teraz "Fatal error: Allowed memory size of 52428800 bytes exhausted (tried to allocate 35 bytes) in C:\AppServ\www\index.php on line 9"

Ten post edytował Beniooo 22.07.2012, 12:55:12

[toaspzoo]

Daj konfigurację php.ini

[Beniooo]

mam na appservie(localhost) i mam plik php.ini-dist
zawartość pliku : http://pastebin.com/XEFuJQGG

[zegarek84]

nie wczytuj na raz całego pliku ;]

[PHP] pobierz, plaintext 
<?php
$aLineLength = new ArrayObject();
$file = new SplFileObject('./slowa-win.txt');
foreach ($file as $line) {
    $aLineLength[] = mb_strlen($line);
}
$aLineLength->asort();
$iterator = $aLineLength->getIterator();
while ($iterator->valid()) {
    $file->seek($iterator->key());
    echo $file->current(), '<br />';
    $iterator->next();
}
[PHP] pobierz, plaintext 

lub skorzystaj z tymczasowej bazy danych np. SQLite

Ten post edytował zegarek84 22.07.2012, 16:31:11

[Beniooo]

Wrzuciłem na xaa i teraz coś takiego Fatal error: Allowed memory size of 67108864 bytes exhausted (tried to allocate 71 bytes)

[redeemer]

Dlaczego to musi być skrypt? PHP nie nadaje się do takich rzeczy jak sortowanie plików o takich wielkościach (chyba że zrzucimy to na bazę danych, ale tutaj PHP miałoby tylko rolę "odczytaj linię i wrzuć do bazy"). Zasadnicze pytanie jest takie: czy chcesz ten plik posortować, czy chcesz mieć skrypt w PHP, który Ci to posortuje?

Edit: Postanowiłem jednak się zabawić i napisać skrypt w PHP (bez udziału baz danych) oparty na plikach tymczasowych (w celu ograniczenia zużycia pamięci). Nie sortuje on jednak alfabetycznie, ale tylko po długości.

[PHP] pobierz, plaintext 
<?php
 
$fnameIn = 'input.txt';
$fnameOut = 'output.txt';
$tmpFilePrefix = '/tmp/xx_length.';
$chunks = 4; // how many files per one length
 
//@todo check if fnameIn exists
 
/* step 1, separate lines with same lengths into different files, they're also chunked */
$f = fopen($fnameIn, 'r');
$maxLength = -1;
$chunkArr = array();
 
while(!feof($f)) {
        $line = fgets($f);
 
        $lineLength = mb_strlen($line);
        if ($lineLength > $maxLength) {
                $maxLength = $lineLength;
        }
 
        if (!isset($chunkArr[$lineLength])) {
                $chunkArr[$lineLength] = 0;
                //@todo clear $tmpFname file (with all chunks). When "step 2" won't remove tmp files somehow, we will have doubled content, couse of  FILE_APPEND flag
        }
 
        $tmpFname = $tmpFilePrefix.$lineLength.'_'.($chunkArr[$lineLength]++%$chunks);
        file_put_contents($tmpFname, $line, FILE_APPEND); }
 
fclose($f);
 
/* step 2, merge and delete all temporary files
This may also be memory consumpting (ex. when all lines have same length and we have chunks set to 1), but in most cases should be better than sorting whole file at once
*/
 
$f = fopen($fnameOut, 'w');
 
for($i=0; $i<=$maxLength; $i++) {
 
        // check all chunks
        for($k=0;$k<$chunks;$k++) {
                $tmpFname = $tmpFilePrefix.$i.'_'.$k;
 
                if (file_exists($tmpFname)) {
                        $content = file_get_contents($tmpFname);
                        fputs($f, $content);
                        unlink($tmpFname);
                }
        }
}
 
fclose($f);
[PHP] pobierz, plaintext 

Co do samego jednorazowego posortowania to nie wiem jak pod Windowsem, ale polecenie, które zadziała pod Linuksem wkleiłem Ci w poprzednim wątku http://forum.php.pl/index.php?s=&showt...st&p=979723. Na windowsie możesz zainstalować sobie cygwin - konsola i narzędzia konsolowe z linuksa.

Ten post edytował redeemer 23.07.2012, 11:22:07

[Beniooo]

ogólnie to chce to tylko posortować, ale ksrypt też by się przydał, lecz priorytetem jest jednorazowe posortowanie

[toaspzoo]

Jeśli to nie tajemnica, to podeślij plik

[Beniooo]

ten który chce posortować?
http://www.gimkarpacz.xaa.pl/slowa-win.zip



Odświeżam, nadal nie działa

Ten post edytował Beniooo 24.07.2012, 18:02:22

[toaspzoo]

Jakie kodowanie ma ten plik tekstowy ?

[Beniooo]

ANSI

[toaspzoo]

proszę http://sowa-mat.pl/sorter

[Beniooo]

Dzięki Wielkie *.*

[redeemer]

Rozumiem Beniooo, że zmiana nazwy pliku w 3 linii mojego skryptu Cię przerosła?

[Beniooo]

redeemer, zmieniałem, nadal błąd wywalało ale z komunikatem (tried to allocate 16 bytes)