[MySQL][XML] Dane z FTP do MySQL Opcje

[Frugo75]

Witam,

Zastanwiam sie nad rozwiązaniem i prosze o pomoc.

Mam pliki XML z depeszami agencyjnymi na FTP podzielone na rozne kategorie, np katalog 1 - w nim kategoria KRAJ, katalog 10 w nim xml z kategorii ŚWIAT itp.

I teraz co i jak powinienem zrobic, aby dane z FTP przenosiły się same (automatycznie, zaraz po pojawieniu się nowej depeszy w xml) do bazy mysql.

Ma ktos pomysł jak to zrobić? Proszę o wskazówki.

Pozdrawiam

[mar1aczi]

... dane z FTP przenosiły się same (automatycznie, zaraz po pojawieniu się nowej depeszy w xml) do bazy mysql.

cron + skrypt w php czy perl czy python

[Frugo75]

cron + skrypt w php czy perl czy python

Dzięki. A cos wiecej? Od czego zaczac? Cron do sprawdzania? php do wysyłania ?

[mar1aczi]

Cron do uruchamiania skryptu.
Skrypt:
1. sprawdza zawartość katalogu (bez katalogu archiwum)
2a. jak coś się pojawiło przetwarza (ładuje dane z xml do bazy) i przenosi plik do katalogu archiwum
2b. jak nic się nie pojawiło kończy dziłanie

[Frugo75]

Dziękuję.
Teraz przynajmniej wiem od czego zaczac.


Zaczalem robic i pierwsze problemy z apostrofami i cudzyslowami.

Wyciagam dane z XML przypisuje do zmiennych: $tytul i $tresc. Ale w jednym i drugim w XML są wyrazy w cudzyslowiach i z apostrofami. No i przy dodaniu do bazy wyskakują bledy syntax error. Prosze o pomoc jak temu zaradzic. Próbowalem brac zmienne w apostrofy i bez i ze znakiem ` ale nic nie pomaga.

[SQL] pobierz, plaintext 
 mysql_query("INSERT INTO wp_posts (post_content, post_title) VALUES ($tresc, $tytul)") OR die(mysql_error());
[SQL] pobierz, plaintext 

[Turson]

VALUES ('".$tresc."', '".$tytul."')

[Frugo75]

VALUES ('".$tresc."', '".$tytul."')

Niestety nie dziala. Bład przy apostrofie. Jest wyraz "Bale'a i Oezila" w tytule i wyskakuje błąd "... syntax to use near 'a i Oezila')' at line 1". Czyli po apostrofie cos sie psuje.

[Turson]

Błąd nie leży po stronie apostrofa a typowy błąd korzystania z MySQL...
http://php.net/manual/pl/function.mysql-re...cape-string.php
http://pl1.php.net/addslashes
Radzę przerzucić się na PDO, bo MySQL to przeżytek

Ten post edytował Turson 14.01.2014, 22:30:14

[Frugo75]

Błąd nie leży po stronie apostrofa a typowy błąd korzystania z MySQL...
http://php.net/manual/pl/function.mysql-re...cape-string.php
http://pl1.php.net/addslashes
Radzę przerzucić się na PDO, bo MySQL to przeżytek

OK. Dziekuje za poswiecony czas.

PS. Skorzystałem z addslashes i poszło. Dziękuję.

Teraz utknałem w pętli.

Mam plik feeds.xml

[XML] pobierz, plaintext 
<feeds>
 <feed id="148038" cat_id="56" add_date="2014-01-14 21:53:28" mod_date="0000-00-00 00:00:00" path="/56/2014-01-14/148038/148038.xml" />
 <feed id="148038" cat_id="10" add_date="2014-01-14 21:53:28" mod_date="0000-00-00 00:00:00" path="/10/2014-01-14/148038/148038.xml" />
 <feed id="148037" cat_id="59" add_date="2014-01-14 21:41:01" mod_date="0000-00-00 00:00:00" path="/59/2014-01-14/148037/148037.xml" />
 
</feeds>
[XML] pobierz, plaintext 

i robię parser. Już wyswietla mi ostatni wpis z <feed> ale nie umiem zrobić tak, aby wyswietlały się wszystkie. Proszę o pomoc w zastosowaniu pętli, której nie potrafie póki co zrozumieć. Czy pomoże ktoś?

[PHP] pobierz, plaintext 
$doc = new DOMDocument("1.0", "iso-8859-2");
$doc->load("feeds.xml");
 
  $feeds = $doc->getElementsByTagName( "feed" );
 
        $id = $feeds->item(0)->nodeValue;
        $id = $feeds->item(0)->getAttribute("id");
        $path = $feeds->item(0)->getAttribute("path"); 
        $cat_id = $feeds->item(0)->getAttribute("cat_id"); 
        $add_date = $feeds->item(0)->getAttribute("add_date"); 
[PHP] pobierz, plaintext 

Teraz cos pokombinowałem i wyskoczył mi wiele razy ostatni wpis. A wciąż nie umiem wyciągnąć wszystkich. Teraz moj kod wyglada tak:

[PHP] pobierz, plaintext 
$doc = new DOMDocument("1.0", "iso-8859-2");
$doc->load("feeds.xml");
 
$p = $doc->getElementsByTagName( "feeds" );
 
 
  $feed = $doc->getElementsByTagName( "feed" );
 
   foreach ($feed as $mat)
  {
 
  $mat = $feed->item(0)->nodeValue;
 
  $id = $feed->item(0)->getAttribute('id');
    print "<pre> '$id' </pre>";
   print "<pre> '$path' </pre>";
   print "<pre> '$cat_id' </pre>";
   print "<pre> '$add_date' </pre>";
 
  }
[PHP] pobierz, plaintext 

Czy nikt nie wie jak mi pomoc?
Prosze.

Ten post edytował Frugo75 15.01.2014, 14:16:43

[mar1aczi]

getElementsByTagName
Pierwszy przykład na powyższej stronie

[Frugo75]

getElementsByTagName
Pierwszy przykład na powyższej stronie

Działa;) Dziekuje.

PS. Cenie tu wskazanie drogi a nie pisanie gotowców. Dzieki temu człowiek się uczy;)

[mar1aczi]

PS. Cenie tu wskazanie drogi a nie pisanie gotowców. Dzieki temu człowiek się uczy;)

Jesteś jednym z niewielu, którzy to doceniają. Chwała Ci za to.
Coraz więcej osób czeka na gotowce. Nie zagląda we wskazane linki, nie próbuje zrozumieć kodu.

[Frugo75]

Witam ponownie.
Sporo juz zrobilem. Newsy z ftp ladnie laduja w bazie. Wszystko cacy, ale nie moge z pola tytul zrobic stringa do url. Tzn nie umiem poprawnie wyeliminowac (zastapic) polskich znakow. Niby usuwa wszystkie z ogonkami, ale pojawia sie blad Fatal error: Cannot redeclare str2url() (previously declared in /mwbo/news/index.php:71) in /mwbo/news/index.php on line 71

Wklejam kod. Czy ktos moglby pomoc gdzie jest blad?

[PHP] pobierz, plaintext 
 
 
<?php
 
 
$doc = new DOMDocument("1.0", "iso-8859-2");
$doc->load("feeds.xml");
$books = $doc->getElementsByTagName('feed');
foreach ($books as $feed) {
    echo $feed->nodeValue, PHP_EOL;
 // echo $feed -> getAttribute('id').'<br>';
    $path = $feed -> getAttribute('path');
  //  echo $feed -> getAttribute('cat_id').'<br>';
//echo $path;
 
 
//$path1 
 
$path1 = substr($path, "1");
$path1.'<br>';
 
$doc = new DOMDocument("1.0", "iso-8859-2");
 
 
$doc->load("$path1");
 
  $feed = $doc->getElementsByTagName( "feed" );
  foreach ($feed as $matches)
  {
  $title = $matches->getElementsByTagName( "title" );
  $tytul = $title->item(0)->nodeValue;
 
  $content = $matches->getElementsByTagName( "content" );
  $tresc = $content->item(0)->nodeValue;
 
  $id = $matches->getElementsByTagName( "id" );
  $export_id = $id->item(0)->nodeValue;
 
  $add_date = $matches->getElementsByTagName( "add_date" );
  $date = $add_date->item(0)->nodeValue;
 
 
$date;
 
     // echo "$tytul";
      echo "<br>";
      echo "<br>";
      echo "<br>";
      "$tresc";
 
 
 
  $tytul1 = addslashes($tytul); 
  $tresc1 = addslashes($tresc);
  $date1 = addslashes($date);
 
  mysql_connect("xxx","xxxx","xxx") or die(mysql_error());
mysql_query("SET NAMES utf8");
mysql_select_db("xxxx");
 
echo $tresc1;
 
function str2url( $str, $replace = "-" ){
 
                // konwersja znaków utf do znaków podstawowych
                $str = iconv('UTF- 8', 'ASCII//TRANSLIT', $str);
 
                // Niektóre francuskie i niemieckie litery pozostawiają po takiej konwersji (jak powyżej)
                // dodatkowe znaki. Poniższe dwie linijki te znaki wycinają
 
                $charsArr =  array( '^', "'", '"', '`', '~');
                $str = str_replace( $charsArr, '', $str );
 
                $return = trim(ereg_replace(' +',' ',preg_replace('/[^a-zA-Z0-9\s]/','',strtolower($str))));
                return str_replace(' ', $replace, $return);
            }
 
$tylul1a=str2Url($tytul1);
 
 
 
 mysql_query("INSERT INTO wp_posts (post_content, post_title, post_date, ID, post_name) VALUES ('".$tresc1."', '".$tytul1."',  '".$date1."', '$export_id', '$tylul1a') ON DUPLICATE KEY UPDATE ID=VALUES(ID)") or die(mysql_error());
 
mysql_query("INSERT INTO wp_term_relationships (object_id, term_taxonomy_id) VALUES ('$export_id', '3') ON DUPLICATE KEY UPDATE term_taxonomy_id=VALUES(term_taxonomy_id)") or die(mysql_error());
 
 
  }
 
 }
 
?>
[PHP] pobierz, plaintext 

[mar1aczi]

Funkcję str2url() wyjmij poza pętlę foreach. Sprawdź poprawność zamknięcia nawiasów klamrowych: linia 87 i 89. Jest o jeden za dużo.

[Frugo75]

Dzięki, ale nie działa.
Przenioslem wszystkie nawiasy klamrowe od foreach powyzej funkcji subs2url, ale wtedy zmienna $tytul1 "nie dociera do funkcji", "wygasa" tuz przed zamknieciem petli.

Jak to obejsc?

[mar1aczi]

Pokaż kod po naniesionych poprawkach.

[Frugo75]

Dzięki. Wklejam kod

[PHP] pobierz, plaintext 
 
<?php
 
 
$doc = new DOMDocument("1.0", "iso-8859-2");
$doc->load("feeds.xml");
$books = $doc->getElementsByTagName('feed');
foreach ($books as $feed) {
    echo $feed->nodeValue, PHP_EOL;
 // echo $feed -> getAttribute('id').'<br>';
    $path = $feed -> getAttribute('path');
  //  echo $feed -> getAttribute('cat_id').'<br>';
//echo $path;
 
 
//$path1 
 
$path1 = substr($path, "1");
$path1.'<br>';
 
$doc = new DOMDocument("1.0", "iso-8859-2");
 
 
$doc->load("$path1");
 
  $feed = $doc->getElementsByTagName( "feed" );
  foreach ($feed as $matches)
  {
  $title = $matches->getElementsByTagName( "title" );
  $tytul = $title->item(0)->nodeValue;
 
  $content = $matches->getElementsByTagName( "content" );
  $tresc = $content->item(0)->nodeValue;
 
  $id = $matches->getElementsByTagName( "id" );
  $export_id = $id->item(0)->nodeValue;
 
  $add_date = $matches->getElementsByTagName( "add_date" );
  $date = $add_date->item(0)->nodeValue;
 
 
$date;
 
     // echo "$tytul";
      echo "<br>";
      echo "<br>";
      echo "<br>";
     "$tresc";
 
 
 
  $tytul1 = addslashes($tytul); 
  $tresc1 = addslashes($tresc);
  $date1 = addslashes($date);
 
  mysql_connect("xxx","xxx","xxx") or die(mysql_error());
mysql_query("SET NAMES utf8");
mysql_select_db("xxx");
 
 $tresc1;
}
 
 }
 
 echo $tytul1;
 
function str2url( $str, $replace = "-" ){
 
                // konwersja znaków utf do znaków podstawowych
                $str = iconv('UTF- 8', 'ASCII//TRANSLIT', $str);
 
                // Niektóre francuskie i niemieckie litery pozostawiają po takiej konwersji (jak powyżej)
                // dodatkowe znaki. Poniższe dwie linijki te znaki wycinają
 
                $charsArr =  array( '^', "'", '"', '`', '~');
                $str = str_replace( $charsArr, '', $str );
 
                $return = trim(ereg_replace(' +',' ',preg_replace('/[^a-zA-Z0-9\s]/','',strtolower($str))));
                return str_replace(' ', $replace, $return);
    }       
 
$tylul1a=str2Url($tytul1);
 
 echo $tylul1a;
 
 mysql_query("INSERT INTO wp_posts (post_content, post_title, post_date, ID, post_name) VALUES ('".$tresc1."', '".$tytul1."',  '".$date1."', '$export_id', '$tylul1a') ON DUPLICATE KEY UPDATE ID=VALUES(ID)") or die(mysql_error());
 
mysql_query("INSERT INTO wp_term_relationships (object_id, term_taxonomy_id) VALUES ('$export_id', '3') ON DUPLICATE KEY UPDATE term_taxonomy_id=VALUES(term_taxonomy_id)") or die(mysql_error());
 
 
 
 
?>
[PHP] pobierz, plaintext 

[mar1aczi]

Nie obraź się, ale powinieneś zapoznać się z zasadami języka php - tworzenie funkcji, składnia itp.
Kod z funkcją powinien wyglądać tak (nie sprawdzałem poprawności wszystkich linii, poprawiłem jedynie "kolejność kodu" co do dopisanej funkcji:

[PHP] pobierz, plaintext 
<?php
 
function str2url($str, $replace = "-" ){
 
	// konwersja znaków utf do znaków podstawowych
	$str = iconv('UTF- 8', 'ASCII//TRANSLIT', $str);
 
	// Niektóre francuskie i niemieckie litery pozostawiają po takiej konwersji (jak powyżej)
	// dodatkowe znaki. Poniższe dwie linijki te znaki wycinają
 
	$charsArr =  array( '^', "'", '"', '`', '~');
	$str = str_replace( $charsArr, '', $str );
 
	$return = trim(ereg_replace(' +',' ',preg_replace('/[^a-zA-Z0-9\s]/','',strtolower($str))));
	return str_replace(' ', $replace, $return);
}       
 
$doc = new DOMDocument("1.0", "iso-8859-2");
$doc->load("feeds.xml");
$books = $doc->getElementsByTagName('feed');
foreach ($books as $feed) {
    echo $feed->nodeValue, PHP_EOL;
 // echo $feed -> getAttribute('id').'<br>';
    $path = $feed -> getAttribute('path');
  //  echo $feed -> getAttribute('cat_id').'<br>';
//echo $path;
 
//$path1 
 
$path1 = substr($path, "1");
$path1.'<br>';
 
$doc = new DOMDocument("1.0", "iso-8859-2");
 
$doc->load("$path1");
 
$feed = $doc->getElementsByTagName( "feed" );
foreach ($feed as $matches)
{
  $title = $matches->getElementsByTagName( "title" );
  $tytul = $title->item(0)->nodeValue;
 
  $content = $matches->getElementsByTagName( "content" );
  $tresc = $content->item(0)->nodeValue;
 
  $id = $matches->getElementsByTagName( "id" );
  $export_id = $id->item(0)->nodeValue;
 
  $add_date = $matches->getElementsByTagName( "add_date" );
  $date = $add_date->item(0)->nodeValue;
 
 
$date;
 
     // echo "$tytul";
      echo "<br>";
      echo "<br>";
      echo "<br>";
     "$tresc";
 
 
 
  $tytul1 = addslashes($tytul); 
  $tresc1 = addslashes($tresc);
  $date1 = addslashes($date);
 
mysql_connect("xxx","xxx","xxx") or die(mysql_error());
mysql_query("SET NAMES utf8");
mysql_select_db("xxx");
 
$tresc1;
 
echo $tytul1;
 
$tylul1a=str2Url($tytul1);
 
echo $tylul1a;
 
mysql_query("INSERT INTO wp_posts (post_content, post_title, post_date, ID, post_name) VALUES ('".$tresc1."', '".$tytul1."',  '".$date1."', '$export_id', '$tylul1a') ON DUPLICATE KEY UPDATE ID=VALUES(ID)") or die(mysql_error());
 
mysql_query("INSERT INTO wp_term_relationships (object_id, term_taxonomy_id) VALUES ('$export_id', '3') ON DUPLICATE KEY UPDATE term_taxonomy_id=VALUES(term_taxonomy_id)") or die(mysql_error());
 
}
 
?>
[PHP] pobierz, plaintext 

Ten post edytował mar1aczi 18.01.2014, 23:48:20

[Frugo75]

Dziękuje. Nie obrazam sie, bo mam swiadomosc, ze jeszcze duzo musze sie nauczyc.
Jeszcze raz bardzo dziekuje Ci za pomoc. Teraz wszystko smiga jak nalezy. Dzieki Tobie juz wiem gdzie robilem blad.