CSV import do MySQL Opcje

[hettmix]

Witam.

Tak szukam, szukam i nie mogę znaleźć odpowiedniego rozwiązania. Może ktoś mnie naprowadzi na właściwe tory. Dodam, że nie zajmuję się programowaniem zawodowo - raczej z doskoku.
Więc tak, mam kod, który pobiera wiersze z pliku csv:

[PHP] pobierz, plaintext 
$target_path = "tmp/";
$target_path = $target_path . basename( $_FILES['dane_file']['name']); 
 
	if ($_FILES['dane_file']['error']=='0') {
	if  (move_uploaded_file($_FILES['dane_file']['tmp_name'], $target_path)) {
	    print "Załadowano plik:&nbsp;<b>".$_FILES['dane_file']['name']."</b></br></br>";
 
echo "<table style=\"text-align: left; font-size: 10px; border: 3px double #aaaaaa; border-collapse: collapse;\">";
$row = 0;
 
if (($handle = fopen("$target_path", "r")) !== FALSE) {
    while (($data = fgetcsv($handle, 2000, ';', '"', '\\')) !== FALSE) {
		if ($row == 0) {
        $num = count($data);
        echo "<thead><tr>";
        $row++;
		echo "<th style=\"padding: 7px; background: grey; border: 3px double #aaaaaa;\">".Lp."</th>";
        for ($c=0; $c < $num; $c++) {
            echo "<th style=\"padding: 7px; background: grey; border: 3px double #aaaaaa;\">" . $data[$c] . "</th>";
        }
		echo "</tr></thead>";
    } else {
        $num = count($data);
        echo "<tr>";
        $row++;
		$i++;
		echo "<td style=\"padding: 7px; border: 3px double #aaaaaa;\">" .$i. "</td>";
        for ($c=0; $c < $num; $c++) {
			$data[$c] = str_replace('""', '', $data[$c]);
            echo "<td style=\"padding: 7px; border: 3px double #aaaaaa;\">" . $data[$c] . "</td>";
        }
        echo "</tr>";
		   }
	}
 
    fclose($handle);
	echo "</table>";
[PHP] pobierz, plaintext 

Wszystko ładnie działa, poszczególne wiersze wskakują do sformatowanej tabelki i teraz chciałbym załadować te dane do tabeli w bazie MySQL. Kombinuję od jakiegoś czasu z LOAD DATA INFILE ale nie mogę tego poprawnie rozwiązać. Może jakieś sugestie ?.

[cycofiasz]

Zwykły insert wystarczy (o ile nie masz tam astronomicznej ilości wierszy)

[hettmix]

Zwykły insert wystarczy (o ile nie masz tam astronomicznej ilości wierszy)

Wierszy jest nie dużo - ok. 1000 za każdym importem. Korzystając z twojej rady naskrobałem poniższy kod:

[PHP] pobierz, plaintext 
echo "<table style=\"text-align: left; font-size: 10px; border: 3px double #aaaaaa; border-collapse: collapse;\">";
$row = 0;
 
if (($handle = fopen("$target_path", "r")) !== FALSE) {
    while (($data = fgetcsv($handle, 2000, ';', '"', '\\')) !== FALSE) {
		if ($row == 0) {
        $num = count($data);
        echo "<thead><tr>";
        $row++;
		echo "<th style=\"padding: 7px; background: grey; border: 3px double #aaaaaa;\">".Lp."</th>";
        for ($c=0; $c < $num; $c++) {
            echo "<th style=\"padding: 7px; background: grey; border: 3px double #aaaaaa;\">" . $data[$c] . "</th>";
        }
		echo "</tr></thead>";
    } else {
 
        $num = count($data);
        echo "<tr>";
        $row++;
		$r++;
		echo "<td style=\"padding: 7px; border: 3px double #aaaaaa;\">" .$r. "</td>";
        for ($c=0; $c < $num; $c++) {
			$data[$c] = str_replace('""', '', $data[$c]);
            echo "<td style=\"padding: 7px; border: 3px double #aaaaaa;\">" . $data[$c] . "</td>";
        }
        echo "</tr>";
		   }
		   $data = str_replace('""', '', $data);
		   if ($data[0][0] == 'idWniosku' || empty($data[0])) {
                       continue; }
 
			 $tabela = "cepikdb";
			 $separator = ";";
 
			 $sql = 'INSERT INTO `' . $tabela . '` (';
                         $data = explode($separator, $data);
                         if ($i == 1) {
                         $pola = count($data);
 
                         for ($j=0; $j<$pola; $j++) {
 
                           $sql .= '`' . $data[$j] . '`';
 
                           if ($j < $count - 1) {
                              $sql .= ', ';
                           }
                       }
                       continue;
                    }		   
 
		     $sql .= ') VALUES (';
 
                     for ($j=0; $j<$pola; $j++) {
 
                           $sql .= '`' . $data[$j] . '`';
 
                           if ($j < $count - 1) {
                              $sql .= ', ';
                           }
                     }
				$sql .= ');';
				mysql_query($sql) or die('<b>Wystapil blad nr:</b> ' . mysql_errno() . '<br /><b>Opis bledu:</b> ' . mysql_error());
 
                     $i++;
                 }
 
	}
		 echo "<p style=\"float: right; margin-top: -40px;\">( liczba wierszy: <b>$row</b>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;liczba pól w 1-szym wierszu: <b>$num )</b></p>";
                 $message = 'Pomyślnie zaimportowano: ' . $i-1 . ' wierszy.';
                 return $message;
 
                 fclose($handle);
		 echo "</table>";
[PHP] pobierz, plaintext 

Niestety coś nie działa tak jak powinno i nie mogę tego rozgryźć. Nie wyskakuje żaden błąd, a do bazy dodaje się tylko jeden pusty rekord. Zwiększeniu o liczbę wierszy w pliku csv ulega także wartość pierwszego pola 'id', które ma ustawione auto_increment. Poniże struktura pliku csv:

idWniosku;idWewnetrzneWniosku;idUzytkownika;idPytajacego;dataZlozenia;dataWaznos
ci;dataOdpowiedzi;nazwaInstytucji
201201012100179468;;SGK;ADMIN;2012-01-01;2012-01-08;2012-01-02 00:48:09;SGKOL

[viking]

Myślałeś żeby:
a) Przepisać to pod PDO z przygotowanym zapytaniem i dla każdego rekordu wykonywać execute
Objąć to blokiem transakcji bo na razie wywalenie jednego wstawia część danych

?

[hettmix]

Myślałeś żeby:
a) Przepisać to pod PDO z przygotowanym zapytaniem i dla każdego rekordu wykonywać execute
Objąć to blokiem transakcji bo na razie wywalenie jednego wstawia część danych

?

Nie myślałem, bo jak już wspomniałem na wstępie programowaniem zajmuję się z od czasu do czasu. Mam teraz konkretny problem do rozwiązania i utknąłem na powyższym etapie. Może ktoś bardziej doświadczony pomoże mi wyjść na prostą. A wracając do mojego kodu to pojawił się też kolejny nieoczekiwany problem z poniższym fragmentem:

[PHP] pobierz, plaintext 
if ($data[0][0] == 'idWniosku' || empty($data[0])) {
                       continue; }
[PHP] pobierz, plaintext 

Chciałbym wykluczyć z importu pierwszy wiersz zawierający nagłówki kolumn i ta część kodu nie realizuje zakładanego celu. Próbuję to poprawić na różne sposoby ale nie wychodzi.

[mortus]

Ale przecież pierwszy wiersz wyklcza warunek if($row == 0), to co następuje w bloku else to przetwarzanie właściwych danych.

[hettmix]

Ale przecież pierwszy wiersz wyklcza warunek if($row == 0), to co następuje w bloku else to przetwarzanie właściwych danych.

Siedzę już nad tym parę godzin i chyba się zapętliłem - mógłbyś to poprzeć fragmentem kodu ?.

[mortus]

Straszny misz-masz, jednocześnie wyświetlasz i dodajesz do bazy, co zdecydowanie utrudnia zrozumienie tego kodu. Tak naprawdę do kodu, którego zadaniem jest wyświetlić dane z pliku csv wystarczy dopisać 9 linijek (z uwzględnieniem nawiasów zamykających), aby te dane jednocześnie dodawać do bazy danych. Zastanowiłbym się jednak nad odseparowaniem tych dwóch funkcjonalności. Niestety w tej chwili skrypt nie ma prawa działać prawidłowo, bo w miejscu, w którym generujesz zapytanie SQL nie masz dostępu do informacji o nazwach poszczególnych kolumn tabeli w bazie danych - tablica $data jest tablicą jednowymiarową i zawiera dane pochodzące z aktualnie przetwarzanego wiersza pliku csv, Ty tymczasem używasz jej jako tablicy dwuwymiarowej (gdzieś tam w kodzie masz $data[0][0]). Proponowałbym najpierw wykonać import danych, tzn. przepisać dane z pliku do bazy danych, a później wyświetlić dane, ale już "te" pobrane z bazy. Żeby nie "zarżnąć" skryptu warto skorzystać z zapytania MULTI-INSERT i wykonywać je co np. 50 rekordów (to ze wzglądów na ograniczenia MULTI-INSERTA).

[Pilsener]

Najlepiej się nie rozdrabniać i użyć LOAD DATA INFILE http://dev.mysql.com/doc/refman/5.1/en/load-data.html - od razu wrzuca do bazy cały plik lub jak kto woli, robi tabelę z pliku.
Jeśli jest taka potrzeba (a zazwyczaj jest), to plik najpierw należy sparsować i dokonać w nim odpowiednich zmian (by np. liczba kolumn była zawsze identyczna). Dopiero przygotowany i zwalidowany plik wrzucać do bazy - tak jest prościej i szybciej. Inaczej nie unikniesz problemów z plikami csv gdyż niektóre programy (typu excel choćby) robią w nich niezły burdel. No i możesz obejrzeć przygotowany plik, czy odpowiada strukturze tabeli w bazie.

Ten post edytował Pilsener 12.03.2012, 01:24:13

[hettmix]

Straszny misz-masz, jednocześnie wyświetlasz i dodajesz do bazy, co zdecydowanie utrudnia zrozumienie tego kodu. Tak naprawdę do kodu, którego zadaniem jest wyświetlić dane z pliku csv wystarczy dopisać 9 linijek (z uwzględnieniem nawiasów zamykających), aby te dane jednocześnie dodawać do bazy danych. Zastanowiłbym się jednak nad odseparowaniem tych dwóch funkcjonalności. Niestety w tej chwili skrypt nie ma prawa działać prawidłowo, bo w miejscu, w którym generujesz zapytanie SQL nie masz dostępu do informacji o nazwach poszczególnych kolumn tabeli w bazie danych - tablica $data jest tablicą jednowymiarową i zawiera dane pochodzące z aktualnie przetwarzanego wiersza pliku csv, Ty tymczasem używasz jej jako tablicy dwuwymiarowej (gdzieś tam w kodzie masz $data[0][0]). Proponowałbym najpierw wykonać import danych, tzn. przepisać dane z pliku do bazy danych, a później wyświetlić dane, ale już "te" pobrane z bazy. Żeby nie "zarżnąć" skryptu warto skorzystać z zapytania MULTI-INSERT i wykonywać je co np. 50 rekordów (to ze wzglądów na ograniczenia MULTI-INSERTA).

Dzięki za uwagi, ale potrzebuję poprawnego fragmentu kodu - jak utworzyć tablicę $data dwuwymiarową, by później dostać się do konkretnych pól w odpowiednich wierszach ?.

Ok - rozwiązałem problem innym sposobem. Szkoda, że nie doczekałem się jakiejś konkretnej pomocy ze strony tego forum. Dzięki za wszelkie chęci . Zamykam temat.