Bezpieczny zapis i odczyt, Niebanalna sprawa. Opcje

[xpose]

Witam wszystkich.
Napewno wielu z Was slyszalo o niezawodnosci funkcji flock(), tak samo jak i ja.
Niestety w praktyce sprawa wyglada zupelnie inaczej. Przy dosc duzym obciazeniu - rzedu 200 uzytkownikow na sekunde - funkcja ta poprostu odpusza a efektem tego jest usuwanie zawartosci blokowanych plikow lub ich czesciowa destrukcja. Oto kod ktory wywoluje ta sytuacje:

[PHP] pobierz, plaintext 
<?
  // =========================
  //	OPERACJE NA PLIKACH
  // -------------------------
 
  function file_DeleteLine ($filename, $index) {
	$file = file ($filename);
 
	$fp = fopen ($filename, "w");
	flock($fp, LOCK_EX);
	for( $w = 0; $w < count($file); $w++ )
	{
	  if ($index <> $w)
		fwrite ($fp, $file[$w]);
	}
	flock($fp, LOCK_UN);
	fclose($fp);
  }
 
  function file_UpdateLine ($filename, $index, $line) {
	$file = file ($filename);
	$file[$index] = $line . "rn";
 
	$fp = fopen ($filename, "w");
	flock($fp, LOCK_EX);
	for( $w = 0; $w < count($file); $w++ )
	{
	  fwrite ($fp, $file[$w]);
	}
	flock($fp, LOCK_UN);
	fclose($fp);
  }
 
  function file_GetLine ($filename, $index) {
	$file = fopen ($filename, "r");
	$line = -1;
	while (!feof ($file)) {
	  $buffer = fgets($file, 4096);
	  $line++;
	  if ($line == $index) {
		fclose ($file);
		return $buffer;
	  }
	}
	fclose ($file);
  }
 
  function file_LinesCount ($filename) {
	if (file_exists($filename)) {
	  if (filesize($filename) < 500000) {
		$file = file($filename);
		return count($file);
	  } else {
		$file = fopen($filename, 'r');
		while (!feof ($file)) {
		  fgets($file, 4096);
		$lines++;
		}
		fclose ($file);
		return $lines - 1;
	  }
	} else return 0;
  }
 
  function file_ReplaceLines ($filename, $from, $to) {
	$file = file ($filename);
 
	$line = $file[$from];
	$file[$from] = $file[$to];
	$file[$to] = $line;
 
	$fp = fopen ($filename, "w");
	flock($fp, LOCK_EX);
	for( $w = 0; $w < count($file); $w++ )
	{
	  fwrite ($fp, $file[$w]);
	}
	flock($fp, LOCK_UN);
	fclose($fp);
  }
 
  function file_InsertLine ($filename, $line) {
	$fp = fopen ($filename, "a");
	flock($fp, LOCK_EX);
	fputs ($fp, $line . "rn");
	flock($fp, LOCK_UN);
	fclose ($fp);
  }
 
  function file_InsertLineOnTop ($filename, $line) {
	if (file_exists($filename)) {
	  $fp = fopen ($filename, "r");
	  if (filesize($filename) > 0) {
		$old_file = fread($fp, filesize($filename));
	  }
	  fclose ($fp);
	}
 
	$fp = fopen ($filename, "w");
	flock ($fp, LOCK_EX);
	$file = $line . "rn" . $old_file;
	$file = str_replace ("rnrn", "rn", $file);
	fputs ($fp, $file);
	flock ($fp, LOCK_UN);
	fclose ($fp);
  }
 
  function file_MoveLineToTop ($filename, $index) {
	$line = file_GetLine($filename, $index);
	file_DeleteLine($filename, $index);
	file_InsertLineOnTop($filename, $line);
  }
 
  function file_SaveToFile ($filename, $something) {
	$fp = fopen ($filename, "w");
	flock($fp, LOCK_EX);
	fputs ($fp, $something);
	flock($fp, LOCK_UN);
	fclose ($fp);
  }
 
  function file_ReadFromFile ($filename) {
	if (filesize($filename) > 0) {
	  $fp = fopen ($filename, "r");
	  $file = fread($fp, filesize ($filename));
	  fclose ($fp);
	  return $file;
	}
  }
 
  function file_CreateFile ($filename) {
	$fp = fopen ($filename, "w");
	fclose ($fp);
  }
?>
[PHP] pobierz, plaintext 

W zwiazku z tym mam pytanie.
Czy jest mozliwe napisanie funkcji ktora bedzie dawala calkowita pewnosc ze dane nie zostana utracone ?

Serdecznie dziekuje za odpowiedz i pozdrawiam.

[evo]

Powiem tylk o tyle ze flock przy duzym obciazeniu wlasnie zawodzi i jest ten problem od dawna znany

Jedyny konkretny sposob to przesiadka na baze. Inne takie jak implementacja kopi rownozednych, ktore podczas wykonywania tworzysz i jesli dane ci gina mozesz w ciagu ulamka sekundy odtworzyc zawartosc lub implementacja ograniczen ilosci zapytan na plik to tylko pol srodki i wczesniej czy pozniej i tak przesiadziesz sie na baze.

Ten post edytował evo 5.12.2006, 00:36:45

[envp]

200 userów na sekunde ? sic!

[heaven]

Hej

a przypadiem nie powinieneś sprawdzić co zwraca flock?

może jak zwróci false to znaczy ze plik jest juz zablokowany i trzeba sobie odpuscic zapisywanie do niego ewentualnie poczekac chwilke i znowu sprobowac

[PHP] pobierz, plaintext 
<?php
if (flock($fp, LOCK_EX)) { // do an exclusive lock
   fwrite($fp, "Write something heren");
   flock($fp, LOCK_UN); // release the lock
}
?>
[PHP] pobierz, plaintext 

[xpose]

[PHP] pobierz, plaintext 
<?
	if (flock($fp, LOCK_EX)) {
	  usleep(250000);
	  flock ($fp, LOCK_EX);
	} else {
	  flock ($fp, LOCK_EX);
	}
?>
[PHP] pobierz, plaintext 

Mam nadzieje ze to pomoze .
Ewentualny wynik testu opisze tutaj.

Ten post edytował xpose 5.12.2006, 10:10:55

[Sedziwoj]

Szybciej:

[PHP] pobierz, plaintext 
<?php
while (!flock($fp, LOCK_EX)) { usleep(250000);};
?>
[PHP] pobierz, plaintext 

Co najwyżej ograniczenie czasowe lub ilości powtórzeń (w sumie to to samo) można dorzucić.

[heaven]

zrób tak jak pokazał Sedziwoj.

wszędzie zamiast

[PHP] pobierz, plaintext 
<?php
flock($fp, LOCK_EX);
?>
[PHP] pobierz, plaintext 

wstaw

[PHP] pobierz, plaintext 
<?php
while (!flock($fp, LOCK_EX)) { usleep(100000);}
?>
[PHP] pobierz, plaintext 

[Sedziwoj]

Oczywiście nie tylko do zapisu trzeba tak zrobić ale również do odczytu, aby krzaczki nie wyskakiwały

Na prośbę załączam z blokowaniem, od razu mówię że nie spr. więc przejrzeć i przetestować, oraz jest kwestia file() bo przecież on również odczytuje z pliku i może się to nie powieść wtedy zwraca false.
Nie miałem doświadczenia z tak obciążonymi systemami, a manual nic nie mówi na temat blokowania pliku bo przecież go nie otwieramy... tak jak jest teraz powinno już nie być kłopotów, ale bym radził dorzucić jakiś warunek wyjścia z tych pętli, bo jak się zrobi tak że zablokuje plik do zapisu i będzie się próbowało zrobić np. file() to się po prostu zawiesi (jeśli nie zwolni tego do zapisu).

Mamnadzieje że to już będzie działać sprawnie, ale nie daję żadnej gwarancji.

[PHP] pobierz, plaintext 
<?php
  // =========================
  //	OPERACJE NA PLIKACH
  // -------------------------
 
  function file_DeleteLine ($filename, $index) {
	while (($file = file($filename))==false) { usleep(100000);}
	$fp = fopen ($filename, "w");
	while (!flock($fp, LOCK_EX)) { usleep(100000);};
	for( $w = 0; $w < count($file); $w++ )
	{
	  if ($index <> $w)
		fwrite ($fp, $file[$w]);
	}
	flock($fp, LOCK_UN);
	fclose($fp);
  }
 
  function file_UpdateLine ($filename, $index, $line) {
	while (($file = file($filename))==false) { usleep(100000);}
	$file[$index] = $line . "rn";
	$fp = fopen ($filename, "w");
	while (!flock($fp, LOCK_EX)) { usleep(100000);};
	for( $w = 0; $w < count($file); $w++ )
	{
	  fwrite ($fp, $file[$w]);
	}
	flock($fp, LOCK_UN);
	fclose($fp);
  }
 
  function file_GetLine ($filename, $index) {
	$file = fopen ($filename, "r");
	$line = -1;
	while (!flock($fp, LOCK_SH)) { usleep(100000);};
	while (!feof ($file)) {
	  $buffer = fgets($file, 4096);
	  $line++;
	  if ($line == $index) {
		fclose ($file);
		return $buffer;
	  }
	}
	flock($fp, LOCK_UN);
	fclose ($file);
  }
 
  function file_LinesCount ($filename) {
	if (file_exists($filename)) {
	  if (filesize($filename) < 500000) {
		while (($file = file($filename))==false) { usleep(100000);}
		return count($file);
	  } else {
		$file = fopen($filename, 'r');
		while (!flock($fp, LOCK_SH)) { usleep(100000);};
		while (!feof ($file)) {
		  fgets($file, 4096);
		$lines++;
		}
		flock($fp, LOCK_UN);
		fclose ($file);
		return $lines - 1;
	  }
	} else return 0;
  }
 
  function file_ReplaceLines ($filename, $from, $to) {
	while (($file = file($filename))==false) { usleep(100000);}
	$line = $file[$from];
	$file[$from] = $file[$to];
	$file[$to] = $line;
	$fp = fopen ($filename, "w");
	while (!flock($fp, LOCK_EX)) { usleep(100000);};
	for( $w = 0; $w < count($file); $w++ )
	{
	  fwrite ($fp, $file[$w]);
	}
	flock($fp, LOCK_UN);
	fclose($fp);
  }
 
  function file_InsertLine ($filename, $line) {
	$fp = fopen ($filename, "a");
	while (!flock($fp, LOCK_EX)) { usleep(100000);};
	fputs ($fp, $line . "rn");
	flock($fp, LOCK_UN);
	fclose ($fp);
  }
 
  function file_InsertLineOnTop ($filename, $line) {
	if (file_exists($filename)) {
	  $fp = fopen ($filename, "r");
	  while (!flock($fp, LOCK_SH)) { usleep(100000);};
	  if (filesize($filename) > 0) {
		$old_file = fread($fp, filesize($filename));
	  }
	  flock($fp, LOCK_UN);
	  fclose($fp);
	}
	$fp = fopen ($filename, "w");
	while (!flock($fp, LOCK_EX)) { usleep(100000);};
	$file = $line . "rn" . $old_file;
	$file = str_replace ("rnrn", "rn", $file);
	fputs ($fp, $file);
	flock ($fp, LOCK_UN);
	fclose ($fp);
  }
 
  function file_MoveLineToTop ($filename, $index) {
	$line = file_GetLine($filename, $index);
	file_DeleteLine($filename, $index);
	file_InsertLineOnTop($filename, $line);
  }
 
  function file_SaveToFile ($filename, $something) {
	$fp = fopen ($filename, "w");
	while (!flock($fp, LOCK_EX)) { usleep(100000);};
	fputs ($fp, $something);
	flock($fp, LOCK_UN);
	fclose ($fp);
  }
 
  function file_ReadFromFile ($filename) {
	if (filesize($filename) > 0) {
	  $fp = fopen ($filename, "r");
	  while (!flock($fp, LOCK_SH)) { usleep(100000);};
	  $file = fread($fp, filesize ($filename));
	  flock($fp, LOCK_UN);
	  fclose ($fp);
	  return $file;
	}
  }
 
  function file_CreateFile ($filename) { //a czy nie powinnieneś spr. czy już nie istnieje?
	$fp = fopen ($filename, "w");
	fclose ($fp);
  }
?>
[PHP] pobierz, plaintext 

[xpose]

Niestety podane przez Ciebie rozwiazanie nie dziala poprawnie.
Wyskakuje mi blad w linii nr. 35.

[Sedziwoj]

Oj, czy tak ciężko zobaczyć co jest nie tak?

[PHP] pobierz, plaintext 
<?php
function file_GetLine ($filename, $index) {
	$file = fopen ($filename, "r");
	$line = -1;
	while (!flock($file, LOCK_SH)) { usleep(100000);};
	while (!feof ($file)) {
	  $buffer = fgets($file, 4096);
	  $line++;
	  if ($line == $index) {
		fclose ($file);
		return $buffer;
	  }
	}
	flock($file, LOCK_UN);
	fclose ($file);
  }
?>
[PHP] pobierz, plaintext 

Chodziło o to że w tej funkcji w odróżnieniu od reszty uchwyt pliku masz w zmiennej $file (a winnych masz w $fp)
Popraw jeszcze funkcje file_LinesCount tzn. zamień linie 55 z:

[PHP] pobierz, plaintext 
<?php
while (!flock($fp, LOCK_SH)) { usleep(100000);};
?>
[PHP] pobierz, plaintext 

na

[PHP] pobierz, plaintext 
<?php
while (!flock($file, LOCK_SH)) { usleep(100000);};
?>
[PHP] pobierz, plaintext 

A mówiłem, że nie testowałem.

a jeszcze w file_LinesCount popraw flock bo też odwołuje się do złej zmiennej.

Ten post edytował Sedziwoj 6.12.2006, 10:28:54