Zmiana dużej ilości danych Opcje

[lmdl]

Witam,

Mam taki problem że potrzebuję zmienić masowo pewne fragmenty pliku tekstowego a następnie go zapisać na dysku.

Struktura wygląda mniej więcej tak:

dfgdf34534,54,34,656,ZNACZNIK1fjfdgj,dfg,345345,5464,234,ZNACZNIK1345dfg,45,fg45


Problem polega na tym że muszę zmienić przecinki na inny znak tylko we fragmencie między znacznikami ale trwa to strasznie długo.

Plik zawierający dane wejściowe zawiera 20 000 000 znaków. Działającą funkcję do podmiany mam napisaną ale szukam teraz szybszego rozwiązania.

Macie jakieś sprawdzone metody ?

[darko]

Działającą funkcję do podmiany mam napisaną ale szukam teraz szybszego rozwiązania.

Pokaż ją.

[lmdl]

[PHP] pobierz, plaintext 
function replaceBetween($startString, $endString, $searchString, $replaceString, $data,) {
    $i = 0;
    $err = 0;
 
    do
    {
        $firstFound = strpos($data, $startString,$i);
        if( !empty($firstFound) ) {
            $secondFound = strpos($data, $endString,$firstFound+1);
 
            $searchStringLenght = ($secondFound-$firstFound) + strlen($startString) + 1;
 
                $k = $firstFound + strlen($startString);
                do
                {    
                    $searchStringPos = strpos($data, $searchString, $k );
                    if( $searchStringPos <  $secondFound && !empty($searchStringPos) ) {
                        $data = substr_replace($data, $replaceString, $searchStringPos, 1);
                    }
 
                $k = $k+1;            
                } while ( !empty($searchStringPos) );
 
        } else $err = 1;
    $i = $firstFound + 1;
    }
    while( $err != 1 );
 
    return $data;
}
[PHP] pobierz, plaintext 

Cała funkcja. Szuka najpierw początkowego znacznika, następnie końcowego, a później podmienia wartości tylko w tym fragmencie między przedziałami. Niestety przy dużej ilości danych nie sprawdza się.

[lmdl]

Witam,

Wykonuję operację (substr_replace) na dużej ilości danych, i kiedy wartość podmian dochodzi do ok 10000, skrypt się zatrzymuje na ok 5 sek, a następnie idzie dalej. Czy można pominąć jakoś te pauzy ?

[darko]

Przekazujesz do funkcji całą zawartość pliku w postaci jednej zmiennej $data ? Lepiej czytać plik linia po linii i obrabiać linia po linii, będzie szybciej. Zastosowanie wyrażeń regularnych i preg_match_all raczej nie bedzie szybsze w tym przypadku, ale mogę się mylić.

Ten post edytował darko 11.01.2010, 14:27:24

[Cysiaczek]

Połączyłem tematy, bo dotyczą tego samego. Następnym razem jak masz nadal problem z czymś, to nie zaczynaj nowego tematu, tylko kontynuuj w aktualnie posiadanym

Facet... napisz po ludzku jak wygląda problem, czyli napisz:
1. Jak wygląda pełen string
2. Jak wygląda znacznik

To co wyżej dałeś niewiele mówi
Podejrzewam jednak, że właśnie wynalazłeś koło, bo istnieją takie funkcje jak http://pl2.php.net/manual/en/function.str-replace.php i http://pl2.php.net/manual/en/function.preg-replace.php
Od nich zacznij

Pozdrawiam