[PHP][MYSQL]Geometryczny wzrost transferu w stosunku do wielkości bazy, Skąd takie wielkie różnice ? Opcje

[majestiq]

Witam,

Mam baze która 'waży' 1MB (około 4 000 rekordów) i generuje transfer 1-2 GB dziennie, gdy przełącze baze na drugą (identyczna struktura), z tym że o większym rozmiarza - 5MB (około 23 000 rekordów) transfer skacze do nieprawdopodobnego poziomu około 80GB na dobę !

Co może być przyczyną takiego stanu rzeczy ?

[nospor]

Pobierasz liczbę rekordow poprzez pobranie ich wszystkich i zliczenie ile ich jest. powinienes uzyc count() (IMG:http://forum.php.pl/style_emoticons/default/smile.gif)
To tylko przyklad.

edit: kolejny przyklad:
Nie uzywasz stronicowania tylko wyswietlasz na stronie wszystkie dane z tabeli. I juz masz swoj przyrost transferu

[majestiq]

Użuwam count.
Mógłbyś rzucić okiem na ten kod:

[PHP] pobierz, plaintext 
<?php
if($_GET['id'] == 'szukaj') {
echo '<div id="bg">
	<div id="page">
			<div id="content" style="overflow:hidden;">'; //style="border: 1px solid #000; height:2000px;"
 
if( $_POST['wykonawca'] )
$wykonawca=$_POST['wykonawca'];
else if( $_GET['wykonawca'] )
$wykonawca=$_GET['wykonawca'];
 
//$czas1=microtime();
if( $_POST['wykonawca'] ) {
 
$dodaj = mysql_query("INSERT INTO `szukark` ( `id` , `nazwa` ) VALUES ( '', '$wykonawca' );");  
}
 
$sql = 'SELECT id,tytul,rozmiar,licznik,dlugosc FROM `'.$tabelka.'` WHERE `tytul` LIKE '%'.$wykonawca.'%' ORDER by tytul LIMIT 50 ';
//$czas2=microtime(); 
//$czas=$czas2-$czas1; 
 //echo $czas;
 
$result123 = mysql_query($sql);
 
 
$rekordow = mysql_num_rows($result123); 
$rek = '';
if($rekordow == 50) { $rek = '<span style="line-height:10px; margin-top:10px; color:#ff0000;"> (ograniczenie)</span>';  }
 
echo '	<span style="margin-top:7px; float: left;"><br />Szukana fraza: <b>'.$wykonawca.'</b> // znaleziono '.$rekordow.' rekordĂłw'.$rek.'</span>';
 
 
 
		if(mysql_num_rows($result123) > 0) {		
 
 
		while($row123 = mysql_fetch_assoc($result123))
		{
$rowaqwe = tytul($row123['tytul']);
 
 if ($row123['dlugosc'] == '') {
$zmexpl = $row123['rozmiar'];
$expl = explode('|', $zmexpl);
//echo $expl[1].' - '.$expl[0]; 
 
$expl[0] = str_replace("<b>", "",$expl[0]);
$expl[0] = str_replace("</b>", "",$expl[0]);
 
 
 
echo '
<div class="result" >
<br /><a title="'.$row123['tytul'].'" class="title" style="font-weight: bold;" href="mp3,'.$row123['id'].','.$rowaqwe.'.html">'.$row123['tytul'].'</a><br>
<b>Rozmiar</b>: '.$expl[1].' . <b>Czas</b>: '.$expl[0].' . <b>Pobrano</b>: '.$row123['licznik'].' 
		</div> 
'; 
 
}
 
 
 
 
else {
 
 
//print_r ($row123);
echo '
<div class="result" >
<br /><a title="'.$row123['tytul'].'" class="title" style="font-weight: bold;" href="mp3,'.$row123['id'].','.$rowaqwe.'.html">'.$row123['tytul'].'</a><br>
<b>Rozmiar</b>: '.$row123['rozmiar'].' . <b>Czas</b>: '.$row123['dlugosc'].' . <b>Pobrano</b>: '.$row123['licznik'].' 
		</div> 
'; 
	}
 
 
 
 
   }
		 
 
 
	if(mysql_num_rows($result123) < 8) { echo '<div style="height:500px;"></div>';}
?>
[PHP] pobierz, plaintext 

Można by tutaj coś poprawić (IMG:http://forum.php.pl/style_emoticons/default/questionmark.gif)
To jest jakaś masakra z tym transferem, jakby każde zapytanie do bazy pobierało za każdym razem całą baze ...

[nospor]

W tym kodzie nie widze nie niepokojącego, nie licząc tych cudnych nazw zmiennych (IMG:http://forum.php.pl/style_emoticons/default/winksmiley.jpg)

[scanner]

Taki transfer na pewno jest generowany w zupełnie innym fragmencie kodu, niż nam pokazałeś. Czy ty przypadkiem nie trzymasz w bazie jakiś obrazków czy czegoś podobnego?

[guitarnet.pl]

nospor ma racje, uzywaj COUNT a ty nie uzywasz, zamiast tego generujesz transfer przez mysql_num_rows()

poczytaj
http://skrypta.pl/porada/dlaczego_unikac_f...sql_num_rows/43

ta funkcja przesyla po raz kolejny wszystkie rekordy i je zlicza a tobie potrzbena jest tylko jedna liczba - ilosc rekordow zatem uzyj mysql'owego COUNT(*) i wykonaj dodatkowe zapytanie ktore zwroci tylko jeden rekord - liczbe rekordow

najlepiej to w ogole nie wysylac zapytania (chyba ze z jakis powodow musisz) i sprawdzac czy inkrementowana zmienna np $ilosc_rekordow jest wieksza niz 8, inkrementuj ja przy kazdym wyswietleniu rekordu z tabeli, tym sposobe uzyskasz ilosc rekordow

twoj transfer generuje sie pewnie przez ta funkcje mysql_num_rows ktora powoduje ze kazdy zestaw rekordow przesylany jest dwukrotnie do skryptu - ale nie widze reszty kodu wiec porblemow moze byc wiecej

[majestiq]

W bazie nie mam żadnych obrazków ani nic w tym klimacie.
Schemat głównej tabeli wygląda tak:

id int(7)
tytul varchar(50)
dlugosc varchar(30)
link varchar(200)
data date
czas varchar(20)
rozmiar varchar(30)
licznik int(10)

Skoro w tamtym pliku nie ma nic podejrzanego to może w pliku header.php dołączanym do większosći plików.
Kod trochę robiony na chłopski rozum przez to przydługi (głównie z powodu przełączania się na 2 baze w wypadku problemów z podstawową), no ale tyko tak umiałem :/

[PHP] pobierz, plaintext 
<?php
 
error_reporting(E_ALL ^ E_WARNING ^ E_NOTICE );
 
 
session_start();
function data()
{
$data= date ('w'); // dzien tygodnia liczbowo
$rok= date ('Y'); // rok
$godzina= date ('H:i'); // godzina
$dzien = date ('d'); // dni
$miech = date ('n'); // miesiac
$data = $godzina.' '.$dzien.'-'.$miech.'-'.$rok;
return $data;
}
function cgs()
{
$czas = explode(" ", microtime());
$a = (double)$czas[0];
$b = (double)$czas[1];
return $a + $b;
}
$start = cgs();
$data=data();
 
$db_danee["hostname"] = "xxxxxl";  // nasz host, najczęsciej jest to localhost
$db_danee["user"] = "xxxxx"; // nasz login do bazy
$db_danee["password"] = "xxxxx; // nasze hasło do bazy
$db_danee["db"] = "xxxxx"; // nazwa naszej bazy danychh
 
$connection = mysql_connect($db_danee['hostname'], $db_danee['user'], $db_danee['password']);
@mysql_select_db($db_danee['db']);
$sqltest="SELECT * FROM `mp3` LIMIT 1"; 
$res = mysql_query ($sqltest); 
$res = mysql_fetch_array ($res);
//echo '1';
//print_r ($res);
 
//echo $res[1];
 
if ($res != 0)  {
 
 
 
require_once('conf.php');
require_once('funkcje.php');
polaczenie();
 
 
// wyœwietlasz stronę
 
//require_once('Pager.class.php');
$result = mysql_query("SELECT * FROM $tabelka ");	
$razem = mysql_num_rows($result); 
$sql12="SELECT * FROM `$tabelka` WHERE id = '$down'"; 
$result12 = mysql_query ($sql12) 
 or die ("bład zapytania select"); 
$row12 = mysql_fetch_array ($result12);
if (isset($_GET['down']) && $_GET['down'] == $row12['id'] && $_GET['download'] == $row12['id'])
{
 
$query = "SELECT * FROM mp3 WHERE id = '$download';"; // tutaj wybieramy "plik" z tabeli który został podany w nagłówku warunek.
$wynik = mysql_query ($query); // wykonanie powyższej linii
 $dane = mysql_fetch_array ($wynik);
 $licznik = $dane[licznik];
 $url = $dane[link];
// Przypisanie rekordów do zmiennych.
header("location: $url"); // Œcišga plik z podanego URL.
$query = "UPDATE mp3 SET licznik = licznik+1 WHERE id='$download';"; // zlicza œcišgnięcia
$wynik = mysql_query ($query); // wykonuje powyższa linijkę kodu
return $licznik+1;  
}
echo '
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
<head>';
$sql12="SELECT * FROM `$tabelka` WHERE id = '$id' "; 
$result12 = mysql_query ($sql12) 
 or die ("bład zapytania select"); 
$row12 = mysql_fetch_array ($result12);
if(isset($_GET['id']) && $_GET['id'] == $row12['id']) {
echo '
<title>'.$row12['tytul'].' - '.$tytul_strony.'</title>
<meta name="description" content="'.$row12['tytul'].' - '.$desc.'">
<meta name="keywords" content="'.$row12['tytul'].' - '.$keywords.'">
';	
}
$sql12="SELECT * FROM `$tabelka` WHERE id = '$down' "; 
$result12 = mysql_query ($sql12) 
 or die ("bład zapytania select"); 
$row12 = mysql_fetch_array ($result12);
if(isset($_GET['down']) && $_GET['down'] == $row12['id']) {
echo '
<title>'.$row12['tytul'].' - '.$tytul_strony.'</title>
<meta name="description" content="'.$row12['tytul'].' - '.$desc.'">
<meta name="keywords" content="'.$row12['tytul'].' - '.$keywords.'">
';	
}
 
if($_GET['id'] == 'szukaj') {
$wykonawca=$_POST['wykonawca'];
echo '
<title>'.$wykonawca.' - '.$tytul_strony.'</title>
<meta name="description" content="'.$wykonawca.' - '.$desc.'">
<meta name="keywords" content="'.$wykonawca.' - '.$keywords.'">
';	
 
}
elseif($_GET['id'] == '' && $_GET['id'] == '' && $_GET['down'] == '') { 
echo '
<title>'.$tytul_strony.'</title>
<meta name="description" content="'.$desc.'">
<meta name="keywords" content="'.$keywords.'">
';
}
echo '
<meta http-equiv=Content-Type content="text/html; charset=UTF-8">
<meta name="robots" content="index, follow">
<meta name="language" content="pl">
<meta name="revisit-after" content="1 day">
<link href="screen.css" rel="stylesheet" type="text/css" media="screen" />
<link rel="shortcut icon" href="favicon.ico">
 
</head>
<body>';
require_once('Pager.class.php');
 
}
else {
 
 
require_once('conf2.php');
require_once('funkcje2.php');
polaczenie();
 
$connection = @mysql_connect($db_dane['hostname'], $db_dane['user'], $db_dane['password']);
// wyœwietlasz stronę
 
//require_once('Pager.class.php');
$result = mysql_query("SELECT * FROM $tabelka ");	
$razem = mysql_num_rows($result); 
$sql12="SELECT * FROM `$tabelka` WHERE id = '$down'"; 
$result12 = mysql_query ($sql12) 
 or die ("bład zapytania select"); 
$row12 = mysql_fetch_array ($result12);
if (isset($_GET['down']) && $_GET['down'] == $row12['id'] && $_GET['download'] == $row12['id'])
{
 
$query = "SELECT * FROM mp3 WHERE id = '$download';"; // tutaj wybieramy "plik" z tabeli który został podany w nagłówku warunek.
$wynik = mysql_query ($query); // wykonanie powyższej linii
 $dane = mysql_fetch_array ($wynik);
 $licznik = $dane[licznik];
 $url = $dane[link];
// Przypisanie rekordów do zmiennych.
header("location: $url"); // Œcišga plik z podanego URL.
$query = "UPDATE mp3 SET licznik = licznik+1 WHERE id='$download';"; // zlicza œcišgnięcia
$wynik = mysql_query ($query); // wykonuje powyższa linijkę kodu
return $licznik+1;  
}
echo '
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
<head>';
$sql12="SELECT * FROM `$tabelka` WHERE id = '$id' "; 
$result12 = mysql_query ($sql12) 
 or die ("bład zapytania select"); 
$row12 = mysql_fetch_array ($result12);
if(isset($_GET['id']) && $_GET['id'] == $row12['id']) {
echo '
<title>'.$row12['tytul'].' - '.$tytul_strony.'</title>
<meta name="description" content="'.$row12['tytul'].' - '.$desc.'">
<meta name="keywords" content="'.$row12['tytul'].' - '.$keywords.'">
';	
}
$sql12="SELECT * FROM `$tabelka` WHERE id = '$down' "; 
$result12 = mysql_query ($sql12) 
 or die ("bład zapytania select"); 
$row12 = mysql_fetch_array ($result12);
if(isset($_GET['down']) && $_GET['down'] == $row12['id']) {
echo '
<title>'.$row12['tytul'].' - '.$tytul_strony.'</title>
<meta name="description" content="'.$row12['tytul'].' - '.$desc.'">
<meta name="keywords" content="'.$row12['tytul'].' - '.$keywords.'">
';	
}
 
if($_GET['id'] == 'szukaj') {
$wykonawca=$_POST['wykonawca'];
echo '
<title>'.$wykonawca.' - '.$tytul_strony.'</title>
<meta name="description" content="'.$wykonawca.' - '.$desc.'">
<meta name="keywords" content="'.$wykonawca.' - '.$keywords.'">
';	
 
}
elseif($_GET['id'] == '' && $_GET['id'] == '' && $_GET['down'] == '') { 
echo '
<title>'.$tytul_strony.'</title>
<meta name="description" content="'.$desc.'">
<meta name="keywords" content="'.$keywords.'">
';
}
echo '
<meta http-equiv=Content-Type content="text/html; charset=UTF-8">
<meta name="robots" content="index, follow">
<meta name="language" content="pl">
<meta name="revisit-after" content="1 day">
<link href="screen.css" rel="stylesheet" type="text/css" media="screen" />
<link rel="shortcut icon" href="favicon.ico">
 
</head>
<body>';
require_once('Pager.class.php);
}
?>
[PHP] pobierz, plaintext 

[nospor]

$result = mysql_query("SELECT * FROM $tabelka ");
$razem = mysql_num_rows($result);

Przeciez tu pobierasz wszystkie dane. A mowiles ze uzywasz COUNT...

[sniezny_wilk]

a co to i po co ?:

[PHP] pobierz, plaintext 
<?php
$result = mysql_query("SELECT * FROM $tabelka ");
?>
[PHP] pobierz, plaintext 

EDIT: @nospor, byłeś szybszy (IMG:http://forum.php.pl/style_emoticons/default/smile.gif)

Ten post edytował sniezny_wilk 29.05.2008, 13:24:03

[majestiq]

Do guitarnet.pl
Dopiero przeczytałem Twojego posta.
Spróbuje się zastosować do Twoich porad, tylko pewnie zajmie mi to (z moim doświadczeniem) trochę czasu :/

P.S. Jak myślisz ile w ten sposób mogę zaoszczędzić jeśli chodzi o transfer ?
Pewnie w 2 fragmenice wypadałoby zrobić analogiczne poprawki.

$result = mysql_query("SELECT * FROM $tabelka ");
$razem = mysql_num_rows($result);

Przeciez tu pobierasz wszystkie dane. A mowiles ze uzywasz COUNT...

Heh, no tu rzeczywiście chyba chodziło tylko o liczbę rekordów.

No to ciekawe, czy to tutaj jest pies pogrzebany i czy to przez to generuje mi taki kosmiczny transfer.
Chciałbym, żeby tak było, ale coś czuje że jeszcze gdzieś może być coś nie tak.

Zobaczymy czy mi tym razem (wyjątkowo) nie zablokują konta w netarcie za przekroczenie limitu transferu :-)

Dzięki wielkie za pomoc wszystkim (IMG:http://forum.php.pl/style_emoticons/default/exclamation.gif) !

[guitarnet.pl]

ciezko powiedziec ile zaoszczedzisz ale na pewno znaczaco zoptymalizujesz
sprobuj tez stale polaczenie do bazy, dodatkowo ob_start i funkcje do usuwania bialych znakow z bufora, \t \n \r wielokrotne spacje itp to naprawde sporo tnie transfer

w tym kodzie nie widac innych generujacych transfer problemow, zastanow sie tez czy nie warto przechowywac w pliku php wyniku COUNT() zamiast wykonywac go z kazda odslona, mozna odswiezac np co 1 godzine jak czesto sie zmienia, ale to bardzie ulzy bazie anizlei pomoze transferowi

moze inni maja wiecej pomyslow bo moich byloby na tyle (IMG:http://forum.php.pl/style_emoticons/default/smile.gif)