PHP operacje na Plikach Opcje

[koneser69]

Witam

Muszę napisać aplikację w php która odbiera dane i zapisuje do pliku.
Danych jest bardzo dużo - powstają pliki po około 1MB.
Problem jest w tym, że odbierane dane nie są wysyłane w sortowanej kolejności. Jak zapisuję to co odbieram to otrzymuję.

[HTML] pobierz, plaintext 
TIME:154459
TIME:002225
TIME:154458
TIME:002254
TIME:002354
TIME:002324
[HTML] pobierz, plaintext 

Chciałbym aby podczas zapisu od razu dane zostały posortowane.

[HTML] pobierz, plaintext 
TIME:154459
TIME:154458
TIME:002354
TIME:002324
TIME:002255
TIME:002224
[HTML] pobierz, plaintext 

Czy ktoś zna wydajny a zarazem bezpieczny sposób na rozwiązanie mojego problemu?

[Blackhole]

Jak są te dane odbierane? Przed wysłaniem ich (jakim sposobem) przechowujesz je tymczasowo?

[YourFrog]

Muszą być pliki czy może być np baza danych ? Tam tego problemu by nie było.


Jeżeli zaś chodzi o pliki. To jedyne rozwiązanie jakie mi się nasuwa to za każdym razem przy zapisie poszukiwać odpowiedniego wiersza w którym należy wstawić. Biorąc pod uwagę że będzie to plik uporządkowany to można użyć algorytmu dziel i zwyciężaj.

Co to bezpieczeństwa. Gdy będziesz blokował plik przy otwarciu i zdejmował blokadę przy zapisie to nic się nie stanie.

Ten post edytował YourFrog 11.03.2014, 13:44:34

[koneser69]

Dane odbieram z portu socketami. Nie przechowuję ich tymczasowo. Odbieram i zapisuję.
Bazy danych odpadają nie wytrzymią tego.

YourFrog czy masz gdzieś przykład kodu który będę mógł wykorzystać.

[Crozin]

Bazy danych odpadają nie wytrzymią tego.

Ciekawi mnie skąd taki wniosek, szczególnie w kontekście tematu dot. zwykłego pliku tekstowego.

[Wazniak96]

Jeśli odbierasz dane jako jedna zmienna, i każda wartość jedna pod drugą to:

[PHP] pobierz, plaintext 
$array = explode(PHP_EOL, $data);
 
rsort($array);
 
$data = implode(PHP_EOL, $data);
[PHP] pobierz, plaintext 

Jak nie to sobie przerób

PS: Zastanów się rzeczywiście czy nie umieścić danych w bazie...

[sazian]

ile masz dokładniej tych danych ? napisałeś że są to pliki po około 1MB ale z jaką częstotliwością zbierasz te dane ?
Czy to 1MB masz co sekundę ? dwie ? dziesięć? co minutę ?

Jeśli upierasz przy plikach, a przy tym nie potrzebujesz dostępu do tych danych poprzez plik natychmiast to możesz użyć jakiegoś systemu cache w pamięci ram(np. APC). Wtedy dane zapisujesz w pamięci jako tablicę którą możesz sortować, a gdy zostaną osiągnięte pewne kryteria zapisujesz tablicę na dysk jednocześnie czyszcząc tą w pamięci.

Ale i tak uważam że baza będzie bardziej wydajna

[koneser69]

Dane są odbierane z konkretnego urządzenia i zapisywane do pliku o id urządzenia co 5 sekund. Urządzeń jest 100. to działa na soketach. Tzn te 100 urządzeń wysyła dane równocześnie tworzą się osobne procesy z których każdy operuje na innym pliku. I tak to działa. Z tym, że muszę to mieć posortowane w tym pliku.
Postać odbieranej danej
#11111111111,CMD-F,V,DATE:140310,TIME:152556,LAT:67890988899N,LOT:78888776678E,Speed:000.1,0-0-1-0-16-10,000#

a sortowanie w pliku ma być po time.

Ten post edytował koneser69 12.03.2014, 13:09:03

[maly_swd]

Baza danych do tego będzie najlepsza.
Rozwiąże Ci to masę problemów i będziesz mógł to przeszukiwać, grupować, wyliczać trasę itp.

[sazian]

Zacząłem liczyć i rzeczywiście problem wydaje się być nieco bardziej skomplikowany, ponieważ ten system będzie generował ponad półtora miliona rekordów na dobę
W związku z tym myślę że baza danych będzie jedynym sensownym rozwiązaniem dlatego że:
1)jest łatwiej zarządzać danymi
2)zapisujesz mniej danych na dysku - według moich skromnych obliczeń pliki z jednego miesiąca będą zajmowały 5GB, natomiast baza około 1GB

[koneser69]

Witam

Na studiach uczyli mnie, że do tego typu programów nie należy stosować bazy danych.
Tak to przygotowałem, że dane z każdego dnia są zapisywane w osobnych plikach tzn jest katalog rok/mc/dzień i tutaj są dane z poszczególnych urządzeń. Użytkownik który będzie operował na tych danych będzie maił możliwość wyboru urządzenia oraz konkretnego dnia.

Jak dane będą w bazie dany tzn w jednej tabelce bo nie ma nawet jak tego rozbić aby dokonać jakiejkolwiek optymalizacji. To każde zapytanie wydobywające tzn select będzie musiał przeanalizować wszystkie dane w tej tabelce. W przypadku gdy dane będą trzymane w plikach wystarczy pobrać dane z konkretnego pliku w katalogu dzień I to by było bardzo szybkie gdyby dane były posortowane.

[nospor]

1) Nic nie stoi na przeszkodzie, bys stworzyl tyle tabel ile urządzen. To nie problem.
2) Baza danych całkiem dobrze radzi sobie z dużą ilością rekordów. Wystarczy tylko wlasciwy indeks zalozyc.

ps: to dane urządzenie wysyła dane z roznymi datami? raz 2 godziny wstecz a pozniej 3 godziny wstecz? Dziwne...

[koneser69]

Samo urządzenie działa dobrze. Gdy uda mu się nawiązać połączenie to wysyła aktualne położenie a następnie te które ma w pamięci - i tu pojawia się mój problem z sortowaniem.

[nospor]

No to jedyne co musisz posortowac do dane otrzymane z urządzenia, a nie dane w pliku za kazdym razem. No to do tego przyda sie array_multisort.

[koneser69]

Witam

Postanowiłem przerobić program żeby korzystał z BD. Pojawia się kolejny problem. Skrypt podczas uruchomienia łącz się z BD

[PHP] pobierz, plaintext 
	$dbhandle = mysql_connect($hostname, $username, $password) or die("Unable to connect to MySQL");
	$selected = mysql_select_db($db_name, $dbhandle) or die("Could not select examples");
[PHP] pobierz, plaintext 

niestety połączenie po czasie wygasa. Przez co nie można wykonywać kolejnych insertów. Jak sobie poradzić z takim problemem.

[YourFrog]

Hej,

Przy tak dużej ilości danych wydaje mi się że PHP powinien odpaść. Jeżeli jednak zdecydujesz się na PHP to do bazy rzucaj dane które zgrupujesz np po 100 wpisów. Zmień MySQL na Postgres'a to zwiększysz wydajność bazy.

Ten post edytował YourFrog 13.03.2014, 14:52:28

[Zigi]

niestety połączenie po czasie wygasa. Przez co nie można wykonywać kolejnych insertów. Jak sobie poradzić z takim problemem.

Możesz napisać po ilu sekundach? Zgaduję: Może powinieneś zebrać wszystkie dane z socketa i dopiero wtedy na końcu skryptu wszystko zapisać.
Możesz zastosować taką konstrukcję żeby jednym zapytaniem zapisać wiele rekordów na raz:

[SQL] pobierz, plaintext 
INSERT INTO TABLE ( Column1, Column2 ) VALUES
( Value1, Value2 ), ( Value1, Value2 )
[SQL] pobierz, plaintext 

Ten post edytował Zigi 13.03.2014, 21:26:09