[PHP] Problem z tablica z polskimi znakiami Opcje

[tomas3man]

Witam,

jestem poczatkujacy w temacie PHP i oraz pisze pierwszy raz na tym forum. Dlatego z gory przepraszam za bledy.

Mam problem z wczytaniem pliku tekstowego, z danymi przelewow bankowch w formacie zblizonym do CSV (nie prawdziwy CSV). Najpier wczytuje plik do zmiennej $content.

Potem parsuje w petli zmienna $content w poszukiwaniu oddzielonych przecinkami, lub innymi znakami separacji pol danych, pole po polu i linia po linni.
Parsowane dane sa wrzucane do wielowymiarowej tablicy, gdzie lokalizuje wszystkie przelwy oraz wszystkie pola dla danego przelewu.
Skrypt pracuje poprawnie jak w polach tekstowych nie ma polskiego znaku. Jezeli chociaz w jednym polu danego wiersza znajduje sie polski znak, to wszystkie elementy tablicy dotyczacej danego wiersza sa puste.
Dlaczego?

Tutaj wrzuam petle ktora parsuje:

[PHP] pobierz, plaintext 
 
          $buffer = '';
          $field = 't_date';
          $row=0;
          $cvs = array();
          $byte_number = 0;
          $lenght = strlen($content);
 
          echo "<font color=white><pre>";
          echo $content;
 
          while( $byte_number <= $lenght) {
            $ch = $content[$byte_number]; $byte_number++;
            echo '<br>'.'('.$ch.') ('.ord($ch).') '; echo $field;  
 
            if ( $ch == ' ' ) {
                $save = $ch;
                while ( $ch == ' ' ) {
                    $ch = $content[$byte_number]; $byte_number++;
                }
                $ch = $save.$ch;
            }
            if ( $ch == ';' and $field == 't_date' ) { 
                $cvs[$field]=$buffer;  echo debug($cvs); 
                $buffer = '';
                $field ='t_acounting_date';
                $ch = '';
            }
            if ( $ch == ';' and $field == 't_acounting_date' ) {
                $cvs[$field]=$buffer;  echo debug($cvs); 
                $buffer = '';
                $field ='t_side';
                $ch = '';
            }
            if ( $ch == ';' and $field == 't_side' ) {
                $cvs[$field]=$buffer;  echo debug($cvs); 
                $buffer = '';
                $field ='t_title';
                $ch = '';
            }       
            if ( $ch == ';' and $field == 't_title' ) {
                $cvs[$field] = substr ($buffer, 1, -1);  echo debug($cvs); 
                $buffer = '';
                $field ='t_sender';
                $ch = '';
            }
            if ( $ch == ';' and $field == 't_sender' ) {
                $cvs[$field] = substr ($buffer, 1, -1) ; echo debug($cvs); 
                $buffer = '';
                $field ='t_account';
                $ch = '';
            } 
            if ( $ch == ';' and $field == 't_account' ) {
                $cvs[$field] = substr ($buffer, 1, -1); echo debug($cvs); 
                $buffer = '';
                $field ='t_volume';
                $ch = '';
            }  
            if ( $ch == ';' and $field == 't_volume' ) {
                $cvs[$field] = substr ($buffer, 0, -3); echo debug($cvs); 
                $buffer = '';
                $field ='t_balance';
                $ch = '';
            }
            if ( $ch == ';' and $field == 't_balance' ) {
                 $cvs[$field] = $buffer; echo debug($cvs); 
                 $ch = $content[$byte_number]; $byte_number++;
                 $ch = $content[$byte_number]; $byte_number++;
                 $row++; 
                 $field = 't_date';
                 $ch = '';
                 $buffer = '';
                 $cvs = '';
            }             
            $buffer .= $ch; echo ' '.$buffer;
 
          }
[PHP] pobierz, plaintext 

Nie moge wrzucic screen shootu, ale wglada to w ten sposob, ze kiedy pointer parsujacy natrafi na bajt zawierajacy polski znak, to element tablicy jest pelen znakow, dopiero kiedy pointer parsujacy dojdzie do konca pola, to element tablicy zastepowany jest nul.

Tutaj wklejam wynik ekranu podczas uruchomienia kodu, w celu debugu dodalem tam wyswietlanie zmiennych:

[PHP] pobierz, plaintext 
 
(2) (50) t_date 2
(0) (48) t_date 20
(1) (49) t_date 201
(4) (52) t_date 2014
(-) (45) t_date 2014-
(0) (48) t_date 2014-0
(9) (57) t_date 2014-09
(-) (45) t_date 2014-09-
(0) (48) t_date 2014-09-0
(9) (57) t_date 2014-09-09
(;) (59) t_date
/app/Controller/PaymentsController.php (line 378)
 
array(
	't_date' => '2014-09-09'
)
 
 
(2) (50) t_acounting_date 2
(0) (48) t_acounting_date 20
(1) (49) t_acounting_date 201
(4) (52) t_acounting_date 2014
(-) (45) t_acounting_date 2014-
(0) (48) t_acounting_date 2014-0
(9) (57) t_acounting_date 2014-09
(-) (45) t_acounting_date 2014-09-
(0) (48) t_acounting_date 2014-09-0
(9) (57) t_acounting_date 2014-09-09
(;) (59) t_acounting_date
/app/Controller/PaymentsController.php (line 384)
 
array(
	't_date' => '2014-09-09',
	't_acounting_date' => '2014-09-09'
)
 
 
(P) (80) t_side P
(R) (82) t_side PR
(Z) (90) t_side PRZ
(E) (69) t_side PRZE
(L) (76) t_side PRZEL
(E) (69) t_side PRZELE
(W) (87) t_side PRZELEW
( ) (32) t_side PRZELEW Z
(E) (69) t_side PRZELEW ZE
(W) (87) t_side PRZELEW ZEW
(N) (78) t_side PRZELEW ZEWN
(E) (69) t_side PRZELEW ZEWNE
(T) (84) t_side PRZELEW ZEWNET
(R) (82) t_side PRZELEW ZEWNETR
(Z) (90) t_side PRZELEW ZEWNETRZ
(N) (78) t_side PRZELEW ZEWNETRZN
(Y) (89) t_side PRZELEW ZEWNETRZNY
( ) (32) t_side PRZELEW ZEWNETRZNY P
(R) (82) t_side PRZELEW ZEWNETRZNY PR
(Z) (90) t_side PRZELEW ZEWNETRZNY PRZ
(Y) (89) t_side PRZELEW ZEWNETRZNY PRZY
(C) (67) t_side PRZELEW ZEWNETRZNY PRZYC
(H) (72) t_side PRZELEW ZEWNETRZNY PRZYCH
(O) (79) t_side PRZELEW ZEWNETRZNY PRZYCHO
(D) (68) t_side PRZELEW ZEWNETRZNY PRZYCHOD
(Z) (90) t_side PRZELEW ZEWNETRZNY PRZYCHODZ
(A) (65) t_side PRZELEW ZEWNETRZNY PRZYCHODZA
(C) (67) t_side PRZELEW ZEWNETRZNY PRZYCHODZAC
(Y) (89) t_side PRZELEW ZEWNETRZNY PRZYCHODZACY
(;) (59) t_side
/app/Controller/PaymentsController.php (line 390)
 
array(
	't_date' => '2014-09-09',
	't_acounting_date' => '2014-09-09',
	't_side' => 'PRZELEW ZEWNETRZNY PRZYCHODZACY'
)
 
 
(") (34) t_title "
(O) (79) t_title "O
(P) (80) t_title "OP
(L) (76) t_title "OPL
(A) (65) t_title "OPLA
(T) (84) t_title "OPLAT
(A) (65) t_title "OPLATA
( ) (32) t_title "OPLATA Z
(A) (65) t_title "OPLATA ZA
( ) (32) t_title "OPLATA ZA K
(U) (85) t_title "OPLATA ZA KU
(R) (82) t_title "OPLATA ZA KUR
(S) (83) t_title "OPLATA ZA KURS
(,) (44) t_title "OPLATA ZA KURS,
( ) (32) t_title "OPLATA ZA KURS, M
(I) (73) t_title "OPLATA ZA KURS, MI
(C) (67) t_title "OPLATA ZA KURS, MIC
(H) (72) t_title "OPLATA ZA KURS, MICH
(A) (65) t_title "OPLATA ZA KURS, MICHA
(Ł) (163) t_title "OPLATA ZA KURS, MICHAŁ
( ) (32) t_title "OPLATA ZA KURS, MICHAŁ G
(R) (82) t_title "OPLATA ZA KURS, MICHAŁ GR
(A) (65) t_title "OPLATA ZA KURS, MICHAŁ GRA
(B) (66) t_title "OPLATA ZA KURS, MICHAŁ GRAB
(C) (67) t_title "OPLATA ZA KURS, MICHAŁ GRABC
(Z) (90) t_title "OPLATA ZA KURS, MICHAŁ GRABCZ
(A) (65) t_title "OPLATA ZA KURS, MICHAŁ GRABCZA
(K) (75) t_title "OPLATA ZA KURS, MICHAŁ GRABCZAK
(") (34) t_title "OPLATA ZA KURS, MICHAŁ GRABCZAK"
(;) (59) t_title
/app/Controller/PaymentsController.php (line 396)
 
 
[PHP] pobierz, plaintext 

Dla wygoty debugowania w nawiasie wyswietla znak (A) oraz jego kod ASCII (65) przy kazdym wczytanym znaku.
Widac ze skrypt prawidlowo odczytal pola w liniach drugiego listningu debugujacego 13,31,69 i tablica $csv zawiera dane,
ale poczawszy od linii (tu mowie caly czas o debugu) 108, tablic $csv znika, zamienia sie w null, bo w polu byl polski znak,
widac to w linni 97.
Jezeli usune polski znak Ł z pliku tekstowego, to petla parsujaca przejdzie poprawnie.

Czy ktos moze mi pomoc?

[Pyton_000]

pokaż kilka wierszy z pliku

I prawie na pewno da się dobrać do tego tym: http://pl1.php.net/manual/en/function.fgetcsv.php

[kreatiff]

Wykorzystaj mb_strlen zamiast strlen.

[tomas3man]

pokaż kilka wierszy z pliku

Przykladowy pierwszy wiersz:

------------
2014-09-09;2014-09-09;PRZELEW ZEWNETRZNY PRZYCHODZACY;"OPLATA ZA KURS, MICHA£ XXXXXXXX";"ANDRZEJ JERZY XXXXXXXX UL. XXXXXXXX M.16 08-110 SIEDLCE";'1111102020202010101020949505';200,00;250,67;
----------

I prawie na pewno da się dobrać do tego tym: http://pl1.php.net/manual/en/function.fgetcsv.php

Probowalem na samym poczatku ta funkcja. Napotkalem problem ze znakami cudzyslowu (''). W definicji funkcji :

[PHP] pobierz, plaintext 
array fgetcsv ( resource $handle [, int $length = 0 [, string $delimiter = "," [, string $enclosure = '"' [, string $escape = "\\" ]]]] )
[PHP] pobierz, plaintext 

nie mozna ustawic, aby usuwac znaki ('') dlatego wykonalem to samodzielnie. W przykladzie widac, ze pole banku jest otoczone znakiem (') a pole adresu ('') a pole daty nie ma znaku (''), to powodowalo mi trudnosc, potem musialem kasowac te znaki dodatkowe, ale juz nie pamietam czy plik poprawnie sie wczytal, bo zrezygnowalem na samym poczatku z tej funkcji. Uwazas ze ona moze pomoc?

Wszystko jest postawione na serverze Linux oraz Apache, zaczynam przypuszczac, moze jest jakis blad w konfiguracji polskich liter w systemie. Albo to jest BUG w PHP?

Wykorzystaj mb_strlen zamiast strlen.

Dlaczego tak uwazasz? Nie rozumiem. Petla iteracyjna poprawnie docodzi do konca zmiennej typu string, co oznacza ze dlugosc jest poprawnie odczytana, ilosc znakow jest prawidlowa, nawet widac to na zrzucie ekranu. Nie rozumiem tego wpisu, jaki ma zwiazek z problemem.

Ten post edytował tomas3man 23.10.2014, 09:08:30

[Pyton_000]

jak użyjesz funkcji którą podałem to przy odczycie możesz zrobić

coś takiego:

[PHP] pobierz, plaintext 
while (($data = fgetcsv($handle, 1000, ",")) !== FALSE) {
        foreach ($data as $key => $value) {
        	$data[$key] = trim($value, '"\'');
        }
var_dump($data);
    }
[PHP] pobierz, plaintext 

dzięki temu szybko pozbędziesz się cudzysłowie z wiersza

[kreatiff]

Dlaczego tak uwazasz? Nie rozumiem. Petla iteracyjna poprawnie docodzi do konca zmiennej typu string, co oznacza ze dlugosc jest poprawnie odczytana, ilosc znakow jest prawidlowa, nawet widac to na zrzucie ekranu. Nie rozumiem tego wpisu, jaki ma zwiazek z problemem.

Dlatego:

[PHP] pobierz, plaintext 
$a = 'żółw';
echo strlen($a) . '<br>'; // 7
echo mb_strlen($a, 'UTF-8'); // 4
[PHP] pobierz, plaintext 

Ja zawsze korzystam z funkcji mb_*, jeśli tylko mam do czynienia z polskimi ogonkami. Jednak przyznam, że nie zagłębiałem się dokładnie w Twój kod. Po prostu jak tylko słyszę polskie znaczki czy UTF-8, od razu "przełączam się" na mb_*.

[tomas3man]

Dlatego:

[PHP] pobierz, plaintext 
$a = 'żółw';
echo strlen($a) . '<br>'; // 7
echo mb_strlen($a, 'UTF-8'); // 4
[PHP] pobierz, plaintext 

Ja zawsze korzystam z funkcji mb_*, jeśli tylko mam do czynienia z polskimi ogonkami. Jednak przyznam, że nie zagłębiałem się dokładnie w Twój kod. Po prostu jak tylko słyszę polskie znaczki czy UTF-8, od razu "przełączam się" na mb_*.

Rozumiem juz dlaczego. To dobra rada, dzieki bardzo. Faktycnie nie wiedzialem, ze takie jest zjawisko. Zamienie w kodzie. Ale mysle ze to nie wplywa na blad ktory opisalem.

jak użyjesz funkcji którą podałem to przy odczycie możesz zrobić

coś takiego:

[PHP] pobierz, plaintext 
while (($data = fgetcsv($handle, 1000, ",")) !== FALSE) {
        foreach ($data as $key => $value) {
        	$data[$key] = trim($value, '"\'');
        }
var_dump($data);
    }
[PHP] pobierz, plaintext 

dzięki temu szybko pozbędziesz się cudzysłowie z wiersza

Super, dziekuje bardzo, nie wiedzialem ze moge uzyc kilka znakow jak '' lub ' w parametrze dla funkcji TRIM. Dziekuje bardzo, sprobuje uzy tego kodu i sprawdze jak dziala. Dam odpowiedz jeszcze dzis wieczorem po pracy, jak sie uda to klikne na klawisz POMOGL.

Mam jeszcze pytnie, dlaczego ustawiasz 1000 jako parametr w fgetcsv? Poprostu tak z random?

[Pyton_000]

To po prostu przykład z manuala (IMG:style_emoticons/default/smile.gif) Nie chciało mi się pisać i tak zostało (IMG:style_emoticons/default/smile.gif)

[tomas3man]

jak użyjesz funkcji którą podałem to przy odczycie możesz zrobić

coś takiego:

[PHP] pobierz, plaintext 
while (($data = fgetcsv($handle, 1000, ",")) !== FALSE) {
        foreach ($data as $key => $value) {
        	$data[$key] = trim($value, '"\'');
        }
var_dump($data);
    }
[PHP] pobierz, plaintext 

dzięki temu szybko pozbędziesz się cudzysłowie z wiersza

DZIEKUJE!!!

Musialem zmienic lekko twoj skrypt bazujac na pomocy z podrrecznika i udalo sie, polskie litery nie powoduja bledow.

Oto skrypt:

[PHP] pobierz, plaintext 
 
    function upload( $bank = null ) {
 
        if ($this->request->is('post')) {
            $filename = TMP .$this->data['Payment']['file']['name']; 
            /* copy uploaded file */
            if (move_uploaded_file($this->data['Payment']['file']['tmp_name'], $filename)) { 
                echo "<font color=white><pre>";
                $fh = fopen($filename, 'r');
                $row = 1;
                while (($data = fgetcsv($fh, 1000, ";")) !== FALSE) {
                    $num = count($data);
                    echo "<p> $num fields in line $row: <br /></p>\n";
                    $row++;
                    for ($c=0; $c < $num; $c++) {
                        echo trim( $data[$c], '"\'') . "<br />\n";
                    }
                    echo debug($data);     <<<<===== tutaj
                }
            }
            fclose($fh);
            echo debug($data);
        }
    }
 
[PHP] pobierz, plaintext 

------

Edytuje po okolo 30 minutach. Sytuacja sie nie zmienia. Skrypt pracuje prawidlowo, gdy nie polskiego znaku. To znaczy, jezeli w pliku CSV znajdzie sie polski znak to echo debug($data) zwraca pustke NULL. To samo zbadalem, ze jezeli wstawie w miejsce oznaczone przezemnie w petli echo debug($data) to w kazdej iteracji, ktora wczytuje jedna linie pliku CSV moge widziec co zawiera zmienna i widac dokladnie ze zmienna $data zamienia sie w NULL gdy w linni wystapi polski znak.

Wklejam wynik ekranu, gdy w pierwszej linni jest brak polskich znakow:

[PHP] pobierz, plaintext 
 
 8 fields in line 1:
 
1 2014-09-09
 
2 2014-09-09
 
3 PRZELEW ZEWNETRZNY PRZYCHODZACY
 
4 OPLATA ZA KURS, MICHAL XXXXXXXXXXX
 
5 ANDRZEJ JERZY GRABCZAK  UL. XXXXXXXXXXXXX 16         08-110 SIEDLCE
 
6 501000000000000505050505 
7 200,00
 
8 250,67
 
/app/Controller/PaymentsController.php (line 360)
 
array(
	(int) 0 => '2014-09-09',
	(int) 1 => '2014-09-09',
	(int) 2 => 'PRZELEW ZEWNETRZNY PRZYCHODZACY',
	(int) 3 => 'OPLATA ZA KURS, MICHAL GRABCZAK',
	(int) 4 => 'ANDRZEJ JERZY XXXXXXXXX  UL. XXXXXXXXXXXXXX 16         08-110 SIEDLCE',
	(int) 5 => ''500000000000080808080808080'',
	(int) 6 => '200,00',
	(int) 7 => '250,67',
	(int) 8 => ''
)
 
8 fields in line 2: 
 
[PHP] pobierz, plaintext 

Ten post edytował tomas3man 23.10.2014, 17:39:16

[Pyton_000]

zamiast echo debug daj po prostu var_dump (cake?)

[tomas3man]

zamiast echo debug daj po prostu var_dump (cake?)

A co moze zmienic? Myslisz, ze to jest blad Framework'a? Tak to jest Cake. Sprobuje dzis i dam ci znac.

zamiast echo debug daj po prostu var_dump (cake?)

Wiesz Pyton_000, okazuje sie, że pomogło, to znaczy polecenie var_dump pokazuje, że zawartość tablicy $data zawiera dane, natomiast echo debug($data) pokazuje puste.

Dziwne to jest.

[Pyton_000]

Pokaż wynik z tego vd

[tomas3man]

Pokaż wynik z tego vd

Dopisalem do pętli zapisywanie do bazy. Udalo sie, wszystkie pola przelewow i linie pliku CSV zapisaly sie w bazie. Ale zauwazylem, ze wszedzie gdzie w polu bazy wystepuje znak polski diakrytyczny, to ciag znakow jest urwany, np. "Janusz Łuczak" => "Janusz ".

Wklejam moj kod:

[PHP] pobierz, plaintext 
           if (move_uploaded_file($this->data['Payment']['file']['tmp_name'], $filename)) {
                $fh = fopen($filename, 'r');
                $row = 1;
                while (($data = fgetcsv($fh, 1000, ";")) !== FALSE) {
                    $num = count($data)-1;
                    $row++;
                    for ($c=0; $c < $num; $c++) {
                        $value = str_replace("  ", "", trim( $data[$c], '"\''));
                        $csv[($row-1)][$c] = $value;
                    } //end of for
                    // Writting to transfer
                    $t_volume = str_replace( ",", ".", $csv[($row-1)][6]);
                    $t_volume2 = str_replace( " ", "", $t_volume);
                    $this->Transfer->set(array(
                        'destination_bank' => 'mBank',
                        't_date'            => $csv[($row-1)][0],
                        't_acounting_date'  => $csv[($row-1)][1],
                        't_side'            => $csv[($row-1)][2],
                        't_title'            => $csv[($row-1)][3],
                        't_sender'            => $csv[($row-1)][4],
                        't_account'            => $csv[($row-1)][5],
                        't_volume'            => $t_volume2
                    ));
                    $this->Transfer->save();
                    $this->Transfer->clear();
                    //end Writting to transfer
                }
            fclose($fh);
 
[PHP] pobierz, plaintext