Dane z pliku XML do bazy SQL Opcje

[brzanek]

Witam szukałem na forum ale nie znalazłem odpowiedniej podpowiedzi jak zrobić aby dane z zewnętrznego pliku xml były zapisywane w bazie danych sql.

Chodzi mi o to że ze strony o pogodzie odczytuję dane z pliku xml. Dane te aktualizują się co jakiś czas (co 30 min) http://www.yr.no/place/Polen/Vest-Pommern/...no/forecast.xml
Czy jest ajkiś sposób aby można było zapisać te dane w odpowiednich tabelach w mojej bazie danych. Import musiał by robić się automatycznie z możliwością zadpisywania danych jeśli były zmienione oraz z możliwością dodawania nowych id bo codziennie pojawiają się nowe prognozy na kolejne dni.
Mam nadzieję że wyjaśniłem o co mi chodzi nie potrafię sobie z tym poradzić. Proszę o jakieś wskazuówki lub przykładowy kod. Z góry dziękuję i pozdrawiam.

[Turson]

Napisz parser XML => twoja baza
Cronem odpalaj co 30min

[brzanek]

Ah żeby to było takie proste jak piszesz to pewnie bym to zrobił. Możesz podać jakieś większe szczegóły. Nie znam się na tym.

[aniolekx]

Ah żeby to było takie proste jak piszesz to pewnie bym to zrobił. Możesz podać jakieś większe szczegóły. Nie znam się na tym.

auto tez sam naprawiasz jak się nie znasz?

[Pyton_000]

Może coś takiego:
http://rpbouman.blogspot.com/2006/03/impor...ysql-using.html

[brzanek]

Może coś takiego:
http://rpbouman.blogspot.com/2006/03/impor...ysql-using.html

Może to i dobry sposób ale coś mi nie wychodzi.
Z podanego pliku xml potrzebuję wyciągnąć tylko wybrane dane

[XML] pobierz, plaintext 
<time from="2014-08-25T10:00:00" to="2014-08-25T12:00:00" period="1"><!-- Valid from 2014-08-25T10:00:00 to 2014-08-25T12:00:00 --><symbol number="2" numberEx="2" name="Fair" var="02d"/><precipitation value="0"/><!-- Valid at 2014-08-25T10:00:00 --><windDirection deg="253.6" code="WSW" name="West-southwest"/><windSpeed mps="4.9" name="Gentle breeze"/><temperature unit="celsius" value="14"/><pressure unit="hPa" value="1014.9"/></time>
[XML] pobierz, plaintext 

Oraz na kolejne godziny i dni
Zrobiłem już tabele w bazie danych

[SQL] pobierz, plaintext 
CREATE TABLE `choszczno` (
  `id` smallint(5) UNSIGNED NOT NULL AUTO_INCREMENT,
  `time_from` varchar(255) DEFAULT NULL,
  `time_to` varchar(255) DEFAULT NULL,,
  `symbol_var` int(255) DEFAULT NULL,
  `precipitation_value` int(255) DEFAULT NULL,
  `windDirection_code` int(255) DEFAULT NULL,
  `windSpeed_mps` int(255) DEFAULT NULL,
  `temperature_value` int(255) DEFAULT NULL,
  `pressure_value` int(255) DEFAULT NULL,
  PRIMARY KEY  (`id`)
) ENGINE=MyISAM;
[SQL] pobierz, plaintext 

Ale dalej nie bardzo wiem jak napisać plik php aby otwierał plik z podanego pliku xml http://www.yr.no/place/Polen/Vest-Pommern/...no/forecast.xml wybierał podane wcześniej potrzebne dane i zapisywał je w tabeli w bazie danych sql.
Ma ktoś jakiś pomysł albo jakiś dobry tutorial jak to zrobić?

[nospor]

Czas to ma byc DATETIME a nie zadne VARCHAR
Inne wartosci liczbowe to z tego co widze w XML to są liczby rzeczywiste a nie całkowite.

Jak odczytac XML? uzyj SimpleXML - patrz manual php.
Gdy odczytasz XML przejdziemy do zapisu w bazie

[brzanek]

Dobra udało mi się ocdczytać plik xml

[PHP] pobierz, plaintext 
<?php 
 
	$weatherdata = simplexml_load_file('http://www.yr.no/place/Polen/Vest-Pommern/Choszczno/forecast.xml');	
    $name = $weatherdata->location->name;
    $time = $weatherdata->forecast->tabular->time;
    $symbol = $weatherdata->forecast->tabular->time->symbol;
    $temperature = $weatherdata->forecast->tabular->time->temperature;
    $windDirection = $weatherdata->forecast->tabular->time->windDirection;
    $windSpeed = $weatherdata->forecast->tabular->time->windSpeed;
    $pressure = $weatherdata->forecast->tabular->time->pressure;
?>
<style>
.temp {
	background-color: #FEB100;
	color: #fff; 
	font-family: arial; 
	font-size: 12px; 
	font-weight: bold;
	padding-bottom: 3px; 
	padding-top: 3px;
	padding-left: 6px; 
	padding-right: 6px;
	-webkit-border-radius: 6px;
   -moz-border-radius: 6px;
    border-radius: 6px;
	text-align: center;
}
.wiatr {
	background-color: #464646;
	color: #fff; 
	font-family: arial; 
	font-size: 12px; 
	font-weight: bold;
	padding-bottom: 3px; 
	padding-top: 3px;
	padding-left: 6px; 
	padding-right: 6px;
	-webkit-border-radius: 6px;
   -moz-border-radius: 6px;
    border-radius: 6px;
	text-align: center;
}
.cisnienie {
	background-color: #e4e4e4;
	color: #444; 
	font-family: arial; 
	font-size: 12px; 
	font-weight: bold;
	padding-bottom: 3px; 
	padding-top: 3px;
	padding-left: 6px; 
	padding-right: 6px;
	-webkit-border-radius: 6px;
   -moz-border-radius: 6px;
    border-radius: 6px;
	text-align: center;
}
.data {
	background-color: #f5f5f5;
	color: #555; 
	font-family: arial; 
	font-size: 12px; 
	font-weight: bold;
	padding-bottom: 3px; 
	padding-top: 3px;
	padding-left: 5px; 
	padding-right: 5px;
	-webkit-border-radius: 5px;
   -moz-border-radius: 5px;
    border-radius: 5px;
	border: 1px solid #e4e4e4;
	width: 350px;
	text-align: center;
}
.miejscowosc {
	background-color: #2bb853;
	color: #fff; 
	font-family: arial; 
	font-size: 12px; 
	font-weight: bold;
	padding-bottom: 3px; 
	padding-top: 3px;
	padding-left: 5px; 
	padding-right: 5px;
	-webkit-border-radius: 5px;
   -moz-border-radius: 5px;
    border-radius: 5px;
	text-align: center;
}
.tekst {
	color: #fff; 
	font-family: arial; 
	font-size: 12px; 
	font-weight: bold;
	padding-bottom: 3px; 
	padding-top: 3px;
	padding-left: 8px; 
	padding-right: 8px;
	text-align: center;
}
.brak { 
	padding-bottom: 3px; 
	padding-top: 3px;
	padding-left: 4px; 
	padding-right: 4px;
	text-align: center;
}
</style>
<?php	
	echo "<table border='0'>
<tr>
	<td class='miejscowosc'>$name</td>
	<td class='tekst'>Prognoza na najbliższe godziny</td>
</tr>
</table>\n";
 
foreach ($weatherdata->forecast as $time) {
		echo '<table border="0" cellpadding="0" cellspacing="0">
<tr>
		<td></td>
</tr>
</table>';
		echo '<table border="0" cellpadding="0" cellspacing="0" width="300px">
<tr><td>';
		echo '<table border="0" cellpadding="0" cellspacing="0" width="60px">
<tr>
	<td class="ikon"><img src="infusions/prognozy_panel/ikonki/'.$symbol['var'].'.png"</td>
</tr>
</table>';	
echo '</td><td align="left">';
		echo '<table border="0" cellpadding="0" cellspacing="5">
<tr>
	<td class="temp">'.$temperature['value'].' ?C</td>
	<td class="brak"> </td>
	<td class="wiatr">'.$windSpeed['mps'].' m/s</td>
	<td class="brak"> </td>
	<td class="cisnienie">'.$pressure['value'].' hPa</td>
</tr>
</table>';
echo '</td></tr></table>';
}	
 
?>
[PHP] pobierz, plaintext 

http://djdandi.nazwa.pl/1/2015/choszcznomini.php
Brak ikonki oznacza że nie ma jej na serwerze ale to nie problem
W bazie danych zmieniłem tabele i dałem na datę DATATIME
Co dalej jak dodać do tego możliwość zapisania danych w bazie sql?

Ten post edytował brzanek 25.08.2014, 19:55:53

[nospor]

Tym kodem pobierasz tylko po jednym rekordzie. A chyba ci chodzilo o pobranie wszystkich.

[brzanek]

Tak dokładnie ale nie wiem jak to zrobić aby pobrał kolejne rekordy.

[nospor]

http://pl1.php.net/manual/en/simplexml.examples-basic.php
Przyklad Example #4 Accessing non-unique elements in SimpleXML
Masz tam pokazane jak pobrac wszystkie CHARACTER. Analogicznie masz zrobic u siebie

[brzanek]

W jakim miejscu mam umieścić ten kod?

[nospor]

Ten kod pobiera dane z xml, więc masz go umieścić tam, gdzie chcesz pobrać dane z XML.

[brzanek]

Coś nie mogę sobie z tym poradzić.
Daję taki kod.

[PHP] pobierz, plaintext 
foreach ($weatherdata->forecast->time as $time) {
   echo $time->time, ' played by ', $time->time, PHP_EOL;
[PHP] pobierz, plaintext 

Ale nadal pojawia się pierwszy rekord.

[Pyton_000]

[PHP] pobierz, plaintext 
foreach ($weatherdata->forecast->tabular as $time) {
   echo $time->time, ' played by ', $time->time, PHP_EOL;
[PHP] pobierz, plaintext 

Ten post edytował Pyton_000 27.08.2014, 07:17:31

[nospor]

Pyton ty tez źle napisales....

[PHP] pobierz, plaintext 
foreach ($weatherdata->forecast->tabular->time as $time) {
//i dopiero teraz lecisz po kazdym znaczniku <time> twojego XML
}
[PHP] pobierz, plaintext 

Całość dobrania się do poszczegolnych danych:

[PHP] pobierz, plaintext 
$weatherdata = simplexml_load_file('http://www.yr.no/place/Polen/Vest-Pommern/Choszczno/forecast.xml');	
foreach ($weatherdata->forecast->tabular->time as $time) {
echo 'od: '.$time['from'].' do:'.$time['to'].' temperatura: '.$time->temperature['value'].' itd. <br />';
 
}
[PHP] pobierz, plaintext 

[brzanek]

Dałem tak

[PHP] pobierz, plaintext 
foreach ($weatherdata->forecast->tabular->time as $time) {
//i dopiero teraz lecisz po kazdym znaczniku <time> twojego XML
echo $time->symbol, ' played by ', $time->symbol, PHP_EOL;
echo $time->temperature, ' played by ', $time->temperature, PHP_EOL;
echo $time->windDirection, ' played by ', $time->windDirection, PHP_EOL;
echo $time->windSpeed, ' played by ', $time->windSpeed, PHP_EOL;
echo $time->pressure, ' played by ', $time->pressure, PHP_EOL;
[PHP] pobierz, plaintext 

Ale nadal wyświetla się tylko pierwszy rekord.
Dałem to zamiast tego.

[PHP] pobierz, plaintext 
foreach ($weatherdata->forecast as $time) {
[PHP] pobierz, plaintext 

[nospor]

Spojrz jeszcze raz na moj poprzedni post.... Masz tam podany cały poprawny kod...

[brzanek]

Super wielkie dzięki teraz jeszcze pozostaje kwestia jak te dane zapisywać w bazie danych z możliwością nadpisywania i dodawania nowych rekordów.

[nospor]

No dobra, ale czego nie wiesz? Jak wlozyc dane do bazy? Z innego tematu wiem, że wpisywales już coś do bazy, wiec z czym problem?

[brzanek]

W innym temacie dane piszę ręcznie i tam wszystko idzie do bazy danych.
A w tym muszę zapisać dane pobierane przez xml typu temperatura i inne do bazy danych chodzi mi o same wartoście i z tym mam problem.

[nospor]

Ale to nie ma zadnej roznicy czy wkladasz dane recznie czy ze zmiennych.

Poza tym w tamtym temacie tez nie wkladasz recznie tylko ze zmiennych.... O to
VALUES('$dzien', '$godzina', '$intensywnostmin', '$lat','$lng','$flaga','$miejsce')");
to jest wkladanie ze zmiennych.

[brzanek]

Pewnie masz rację zwał jak zwał, ale możesz mi z tym pomóc? Nie wiem jak napisać kod, który doda mi rekordy z tymi danymi.

[nospor]

No weź napisz tego insserta i nie czaruj... Przeciez juz inserty umiesz pisac. Wysil sie troche wkoncu sam.
Jak cos napiszesz i nie bedzie dzialac, to pomoge dalej, ale zacznij chociaz sam.

W tej petli co masz teraz zrobioną przeze mnie, masz dodac INSERT do bazy. Niczym to sie nie rozni od inserta, ktorego robisz w innym temacie.

[brzanek]

Dobra zmieniłem trochę bazę danych
Do pliku dodałem to

[PHP] pobierz, plaintext 
include ("db.php");
 
$time = $_POST['time'];
$symbol = $_POST['symbol'];
$temperature = $_POST['temperature'];
$windDirection = $_POST['windDirection'];
$windSpeed = $_POST['windSpeed'];
$pressure = $_POST['pressure'];
$add = mysql_query("INSERT INTO choszczno(time, symbol, temperature, windDirection, windSpeed, pressure) VALUES('$time', '$symbol', '$temperature', '$windDirection','$windSpeed','$pressure')");
[PHP] pobierz, plaintext 

Po odświerzeniu strony dodało jeden rekord ale z wartością 0
Więc coś nie tak.

[nospor]

Jaki post? A gdzie petla?

Przeciez napisalem wyraznie:
zapytanie masz wlozyć w petle, którą ci napisalem. A wartosci to są te wartosci, ktore w tej petli wyswietlales a nie jakies rzeczy niz gruszki ni z pietruszki z posta.

[brzanek]

ok dałem to w tej pętli

[PHP] pobierz, plaintext 
include ("db.php");
$add = mysql_query("INSERT INTO choszczno('.$time['from'].', '.$time->symbol['var'].', '.$time->temperature['value'].', '.$time->windDirection['value'].', '.$time->windSpeed['mps'].', '.$time->pressure['value'].') VALUES('$time', '$symbol', '$temperature', '$windDirection','$windSpeed','$pressure')");
[PHP] pobierz, plaintext 

Wyskakuje błąd w tej linii

[PHP] pobierz, plaintext 
$add = mysql_query("INSERT INTO choszczno('.$time['from'].', '.$time->symbol['var'].', '.$time->temperature['value'].', '.$time->windDirection['value'].', '.$time->windSpeed['mps'].', '.$time->pressure['value'].') VALUES('$time', '$symbol', '$temperature', '$windDirection','$windSpeed','$pressure')");
[PHP] pobierz, plaintext 

Parse error: syntax error, unexpected T_ENCAPSED_AND_WHITESPACE, expecting T_STRING or T_VARIABLE or T_NUM_STRING in /home/djdandi/ftp/1/2015/choszcznomini.php on line 111

[nospor]

Przepraszam, wlasnie stracilem cierpliwosc... Moze odzyskam za kilka godzin Byc moze w tym czasie pomoze ci ktos inny.

[Turson]

1. Poprawna składnia wygląda np. tak

[SQL] pobierz, plaintext 
INSERT INTO users(`id`, `login`) VALUES(1, 'Jan Kowalski')
[SQL] pobierz, plaintext 

2. Nazwy kolumn bierze się w ` (przykład wyżej), a nie ' (twój kod)
3. Jakim cudem nazwy kolumn masz w zmiennych
4. '.$time['from'].' - takie coś jest bez sensu w tym przypadku. Podstawy: łączenie stringów/zmiennych


@edit
Literówka poprawiona.

Ten post edytował Turson 27.08.2014, 09:58:45

[brzanek]

Zrobiłem tak jak podałeś ale wyskakuje błąd

[PHP] pobierz, plaintext 
$add = mysql_query("INSERT INTO choszczno(`time` `symbol` `temperature` `windDirection` `windSpeed` `pressure`) VALUES('.$time['from'].', '.$time->symbol['var'].', '.$time->temperature['value'].', '.$time->windDirection['value'].', '.$time->windSpeed['mps'].', '.$time->pressure['value'].')");
[PHP] pobierz, plaintext 

[nospor]

Nazwy kolumn oddziela się przecinkiem a nie spacją
Jesli do łączenia tekstow uzywasz '..' to i tekst ma sie zaczynac i konczyc ' a nie "
A wartosci tekstowe w zapytaniu bierze się w apostrofy, czego nadal nie robisz.

@Turson a Ty jak podajesz jak ma wygladac poprawna składnia, to patrz czy sam nie robisz w niej bzdurnych literowek....

[brzanek]

Dałem tak

[PHP] pobierz, plaintext 
$add = mysql_query('INSERT INTO choszczno(`time`,`symbol`,`temperature`,`windDirection`,`windSpeed`,`pressure`) VALUES('.$time['from'].', '.$time->symbol['var'].', '.$time->temperature['value'].', '.$time->windDirection['value'].', '.$time->windSpeed['mps'].', '.$time->pressure['value'].')');
[PHP] pobierz, plaintext 

Strona wyświetla się ale nie dodają się rekordy do bazy danych sql

@nospor Nazwy kolumn oddziela się przecinkiem a nie spacją (zrobione)
Jesli do łączenia tekstow uzywasz '..' to i tekst ma sie zaczynac i konczyc ' a nie " (zrobione)
A wartosci tekstowe w zapytaniu bierze się w apostrofy, czego nadal nie robisz. '.$time->windDirection['value'].' czy to o to chodzi? Tak zawsze były.

[Turson]

A gdzie masz tekst w apostrofach? :/ Bo jedyne co zrobiłeś to zmieniłeś " na ' i łączysz zmienne...
"INSERT INTO tabela(dupa1, dupa2) VALUES('$dupa1', '$dupa2')"
to nie jest naprawde trudne

@down
Nie trzyma jednej, bo już sam zmienił na inną.

Ten post edytował Turson 27.08.2014, 10:18:11

[nospor]

Super, zdecydowanie lepiej.
A wartosci tekstowe docelowo mają wygladac tak:
values ('wartosc tekstowa')
A u ciebie docelowo wygladaja tak
values (wartosc tekstowa)

Tak ma byc:

[PHP] pobierz, plaintext 
$add = mysql_query('INSERT INTO choszczno(`time`,`symbol`,`temperature`,`windDirection`,`windSpeed`,`pressure`) VALUES(\''.$time['from'].'\', \''.$time->symbol['var'].'\', '.$time->temperature['value'].', '.$time->windDirection['value'].', '.$time->windSpeed['mps'].', '.$time->pressure['value'].')');
[PHP] pobierz, plaintext 

Jako tekst potraktowalem czas i symbol. Jesli jakies inne wartosci są tez tekstem, to masz zrobic analogicznie jak z czasem i symbolem

@Turson nie mieszaj już mu tych składni. Jak się trzyma jednej to niech się jej trzyma. I tak ledwo to ogarnia...

[brzanek]

Ok działa zapisuje się tylko jest jeden problem jak odświerzam stronę to robią się nowe rekordy a powinno jeśli jest zmiana tylko je nadpisywać. Jutro jak wejdę ponownie na stronę to powinien pojawić się nowy rekord z nowymi danymi na kolejny dzień.

[nospor]

Po pierwsze: zacznij w koncu uzywac znakow interpunkcyjnych... no wiesz: kropka, przecinek itp.

To zdanie:
Ok działa zapisuje się tylko jest jeden problem
powinno wygladac tak:
Ok, działa. Zapisuje się. Tylko jest jeden problem:
prawda ze czytelniej? Czytajacy nie musi sie zastanawiac gdzie konczy jedno a zaczyna drugie przez co czyta sie o wiele przyjemniej a nie jak u Ciebie wszystko ciurkiem i samemu trzeba wyłapywac kontekst :/

Co do problemu:
Mozesz to rozwiązac np. poprzez założenie unikalnych kluczy na wartosci, ktore będą mowic, ze dany zestaw danych moze pojawic sie tylko raz w tabeli

[brzanek]

Co do problemu:
Mozesz to rozwiązac np. poprzez założenie unikalnych kluczy na wartosci, ktore będą mowic, ze dany zestaw danych moze pojawic sie tylko raz w tabeli

To mnie zastrzeliłeś. Nie mam pojęcia jak to zrobić.

[nospor]

Odnosze wrazenie, ze w tym temacie to wielokrotnie Cię zastrzeliłem i powinienes juz dawno 5 razy umrzec

Manual mysql: UNIQUE KEY

[brzanek]

Ale widzisz na raz wykonuje się kilkanaście rekordów z racji tego, że to jest prognoza na kilka dni. Parametry w tym czasie mogą się powtarzać. Chodzi o to że jak będę odświerzał stronę to pojawiają się aktualizacje prognozy z pliku xml
Przykładowo:
Dzisiaj o 18:00 temperatura ma być 17 stopni (i tak też zapisało się do bazy danych)
Jak wejdę np: za godzinę to temperatura na godzinę 18:00 może wynieść 14 stopni i tu powinno to się nadpisać.
Oczywiście po 3 godzinach pojawiają się prognozy na kolejne dni co powinno dawać nowe rekordy do bazy danych.

[nospor]

No dobrze, wszystko się zgadza.
Dlatego ci tlumacze, że masz zalozyc UNIQUE KEY a zamiast
INSERT masz dac
INSERT....ON DUPLICATE KEY UPDATE
i wszystko bedzie cacy

Jesli wiec to godzina jest wyznacza unikalnosc, to masz załozyc UNIQUE KEY na pole z data/godziną.

[brzanek]

Ale jak zalozyc UNIQUE KEY?
Czy to robi się w bazie danych?

[Turson]

Tak.
PhpMyAdmin -> baza -> tabela -> struktura

[brzanek]

Nie mam pojęcia jak to zmienić w bazie danych nie mam takiej opcji UNIQUE

[Turson]

W strukturze na dole jest "Indeksy" i tam dodajesz nowy

[brzanek]

No dobrze, wszystko się zgadza.
Dlatego ci tlumacze, że masz zalozyc UNIQUE KEY a zamiast
INSERT masz dac
INSERT....ON DUPLICATE KEY UPDATE
i wszystko bedzie cacy

Jesli wiec to godzina jest wyznacza unikalnosc, to masz załozyc UNIQUE KEY na pole z data/godziną.

Dobra dodałem ten parametr UNIQUE w pole time

Teraz jak dać ten warunek INSERT....ON DUPLICATE KEY UPDATE

[Pyton_000]

Jesteś LEŃ:
http://dev.mysql.com/doc/refman/5.0/en/ins...-duplicate.html

[brzanek]

Przepraszam za odkopanie tematu ale dotyczy tej samej bazy i pliku xml więc nie zakładałem nowego.
Obecnie działa to na zasadzie, że po wywołaniu pliku php zostają zapisane dane z xml do bazy danych. Ponieważ te dane w pliku xml zmieniają się co 3 godziny potrzebne też są zmiany w bazie danych. Zależy mi na tym aby dane były nadpisywane bo nie potrzebne mi są kolejne rekordy. Tym bardziej, że rekordów jest zawsze tyle samo, zmieniają się tylko dane.
Próbowałem robić to przez UPDATE ale nie działa.
Proszę o pomoc.