czy da sie przyspieszyć copy()?, optymalizacja skryptu Opcje

[siutek]

Witam,
Przygotowuję małą aplikację generującą miniaturki aukcji allegro (w oparciu o Allegro WebApi).
Założenie jest takie, że co 15 minut program sprawdza czy pojawily się nowe oferty w aukcjach, czy zmienila się cena, itp itd. Przy okazji kopiuje miniaturke zdjecia z serwerow alllegro, wczesniej jednak sprawdzam czy nie mam już tego zdjęcia na swoim serwerze, bo po co kopiowac kilka razy to samo?

No i problem z jakim przyszlo mi się zmierzyc, to problem wydajnośći, czasu wykonywania.
- W najgorszym wypadku, aby wygenerować 6 miniaturek, skrypt potrzebuje prawie 8 sekund.
- W najlepszym, gdy nie musze kopiować żadnych miniaturek z zewnatrz wygenerowanie tych 6 grafik trwa okolo 2,5 sekundy

wyliczylem sobie, że samo kopiowanie miniaturki trwa ok 0,8 sekundy.

Jesli używam tego skryptu sam - problemu nie ma.
Jednak chce to udostepnic wiekszej rzeszy ludzi - komercyjnie.

w momencie gdy z systemu zacznie korzystac juz ponad setka ludzi (co wydaje mi sie liczbą śmiesznie małą) czas wykonywania calego skryptu zbliza sie do magicznej granicy 15 minut!! a przecież Cron ma za zadanie co 15 minut odpalac skrypt by zaktualizowac miniaturki.

poniżej wrzucam kod, może ktoś coś z niego wyczyta...

ktoś ma pomysł jak to poprawić? a może należałoby wykorzystać tu inną technologię Czekam na jakieś sugestie...

[PHP] pobierz, plaintext 
<?php
//error_reporting(E_ALL);
function getmicrotime(){ 
    list($usec, $sec) = explode(" ",microtime()); 
    return ((float)$usec + (float)$sec); 
} 
$timeStart = getmicrotime();
require_once('/home/siutek/mojaStrona.pl/config.php');
require_once('/home/siutek/mojaStrona.pl/lib/nusoap.php');
$client = new soapclient('http://webapi.allegro.pl/uploader.php?wsdl', true);
$client->decode_utf8 = false;
 
$panele = getList("panels",array("act"=>1));
if(is_array($panele)){
 foreach($panele as $p){
 
    $userItems = $client->call("doGetUserItems",array("user-id"=>$p["usrAllId"],"webapi-key"=>$configWebApi["apiKey"],"country-id"=>$configWebApi["country"],"limit"=>100));
 
    $user = getRecord("users",$p["usrId"]);
    if(!file_exists("/home/siutek/mojaStrona.pl/userFiles/".$user["login"]."/panelImg/")) @mkdir("/home/siutek/mojaStrona.pl/usersFiles/".$user["login"]."/panelImg/",0755);
 
    if(is_array($userItems["user-item-list"]) && count($userItems["user-item-list"])>0){
      $userItemsArr = Array();
      shuffle($userItems["user-item-list"]);
      $r=1;
           $timeForStart = getmicrotime();
      foreach($userItems["user-item-list"] as $uI){
 
         $newImgName = substr($uI["it-thumb-url"],(strrpos($uI["it-thumb-url"],"/")+1));
         if(!file_exists("/home/siutek/mojaStrona.pl/usersFiles/".$user["login"]."/panelImg/".$newImgName.".jpg")) {
              copy($uI["it-thumb-url"],"/home/siutek/mojaStrona.pl/usersFiles/".$user["login"]."/panelImg/".$newImgName.".jpg");
              $copyImg = " (skopiowano) ";
         } else {
              $copyImg = " (nie skopiowano) ";
         }
 
         if($r<=($p["columns"]*$p["rows"])) {
           $hSize=200;
           $xSize=180;
 
           $img  = ImageCreateTrueColor($xSize, $hSize);
           $img2 = ImageCreateFromJpeg("/home/siutek/mojaStrona.pl/usersFiles/".$user["login"]."/panelImg/".$newImgName.".jpg");
 
           $white = ImageColorAllocate($img, 255, 255, 255);
           $grey  = imagecolorallocate($img, 230, 230, 230);
           $black = imagecolorallocate($img, 0, 0, 0);
           $red   = imagecolorallocate($img, 255, 0, 0);
 
           ImageFill($img, 0, 0, $white);
           ImageFilledRectangle($img, 0, 0, 180, 16, $grey);
           ImageFilledRectangle($img, 0, 113, 180, 164, $grey);
 
           imagecopy($img,$img2,26,17,0,0,128,96);
 
 
           $size = 8;
           $fontB = "/home/siutek/mojaStrona.pl/font/verdanab.ttf";
           $fontR = "/home/siutek/mojaStrona.pl/font/verdana.ttf"; 
 
           if(($uI["it-time-left"]<3600) && $uI["it-time-left"]>60) {
 
             $leftTimeVal = floor($uI["it-time-left"]/60)." min";
 
           } elseif ($uI["it-time-left"]<60) {
 
             $leftTimeVal = "poniżej minuty";
 
           } elseif (($uI["it-time-left"]>3600) && ($uI["it-time-left"]<86400)) {
 
             $leftTimeVal = floor($uI["it-time-left"]/3600)." godz.";
 
           } else {
             $leftTimeVal = floor($uI["it-time-left"]/86400);
             if ($leftTimeVal==1) $leftTimeVal.=" dzień";
             else $leftTimeVal.=" dni"; 
           }
 
           $timeLeftBox2 = imagettfbbox($size, 0, $fontB, $leftTimeVal);
           $tlbX = $timeLeftBox2[2]-$timeLeftBox2[0];
           imagettftext($img, $size, 0, (175-$tlbX), 12, $black, $fontB, $leftTimeVal);
 
           $timeLeftBox1 = imagettfbbox($size, 0, $fontR, "do końca ");
           $tlbX = 180-($timeLeftBox1[2]-$timeLeftBox1[0])-$tlbX;
           imagettftext($img, $size, 0, $tlbX-5, 12, $black, $fontR, "do końca ");
 
           if($uI["it-bid-count"]>0){
            imagettftext($img, $size, 0, 5, 12, $red, $fontR, "Ofert: ".$uI["it-bid-count"]);
           }
           if($uI["it-buy-now-price"]==0){
              $price = imagettfbbox(10, 0, $fontB, "Cena: ".number_format($uI["it-price"], 2,","," ")."zł");
              $priceX = (180-($price[2]-$price[0]))/2;
              imagettftext($img, 10, 0, $priceX, 186, $black, $fontB, "Cena: ".number_format($uI["it-price"], 2,","," ")."zł");           
           } else {
              $price = imagettfbbox(10, 0, $fontB, "Kup teraz: ".number_format($uI["it-buy-now-price"], 2,","," ")."zł");
              $priceX = (180-($price[2]-$price[0]))/2;
              imagettftext($img, 10, 0, $priceX, 186, $black, $fontB, "Kup teraz: ".number_format($uI["it-buy-now-price"], 2,","," ")."zł");           
           }
 
           $itemNameArr = explode(" ",$uI["it-name"]);
 
           writeTextImg($itemNameArr,130,1);
           if(is_array($itemNameArr)) writeTextImg($itemNameArr,144,2);
           if(is_array($itemNameArr)) writeTextImg($itemNameArr,158,2);           
           imagejpeg($img, "/home/siutek/mojaStrona.pl/usersFiles/".$user["login"]."/panelImg/".$r.".jpg");    
           imagedestroy($img);   
 
           $userItemsArr[$r]=$uI["it-id"];  
 
           if($_SERVER["SERVER_ADDR"]=="127.0.0.1") echo "<a href='./link.php?panel=".base64_encode($p["id"])."&item=".$r."'><img src='./usersFiles/".$user["login"]."/panelImg/".$r.".jpg' style='border:0px;'></a><br>".$uI["it-id"]."<br>";
 
           echo "wygenerowano ".$r.".jpg ".$copyImg." po ".(getmicrotime()-$timeForStart)." od rozpoczecia petli\n";
           $r++;
           unset($leftTimeVal);
 
         } else {
           break;
         }
         unset($newImgName);
      }
      updateData("panels",array("items"=>serialize($userItemsArr),"id"=>$p["id"]));    
    } else {
      for($r=1;$r<=($p["columns"]*$p["rows"]);$r++) { 
        copy("/home/siutek/mojaStrona.pl/pix/itemPanelEmpty.jpg","/home/siutek/mojaStrona.pl/usersFiles/".$user["login"]."/panelImg/".$r.".jpg");
      }
      updateData("panels",array("items"=>"","id"=>$p["id"]));      
    }    
 }
$timeEnd = getmicrotime();
 
echo "Czas wykonywania: ".($timeEnd-$timeStart); 
}
?>
[PHP] pobierz, plaintext 

[kiler129]

Ma być szybciej? Użyj imagemagic zamiast gd2 to po pierwsze.
Po 2 sprawdź jak z tym kopiowaniem ... może zwyczajnie dysk na serwerze jest powolny (masz shared host czy dedyka?).

Kolejna sprawa - workery na prawdę warto przepisać do jakiegoś kompilowanego języka. Nie chce tutaj wywołać wojny kolejnej ale php nigdy demonem szybkości w takich operacjach nie był - tak prosty kod możesz z powodzeniem przepisać do C++, lub chcoiaż jego "najcięższą" część.

[wNogachSpisz]

Format JPEG pozwala na przechowanie miniaturki w metadanych.
Oznacza to, że gotowa miniaturka jest ukryta wewnątrz oryginalnego obrazka.
Do "wyciągnięcia" takiej miniaturki służy funkcja exif_thumbnail.
Oczywiście nie każdy JPEG będzie ją miał, to zależy generalnie od tago jakim algorytmem kompresującym grafika była ostatnio dręczona.
Nie wnikałem które programy zostawiają te dane a które usuwają,
nie wiem też jak sprawa wygląda w przypadku allegro, trzeba by poświęcić te 15 minut i sprawdzić.

Nie widzę abyś używał funkcji imagecopyresampled
za to widzę że stosujesz imagecopy i w rezultacie i zamiast ładnej miniaturki dostajesz przewlekłą kwadratoliozę sierpowatą.

Tak czy inaczej..
Optymalizowanie skryptów przetwarzających obrazki to rozległy temat.
Próba wykonania tu dobrej roboty bez wiedzy jak działają algorytmy GD2 przypomina błądzenie w ciemnościach.
Pozostaje metoda prób i błędow, przyda się tez odrobina zdrowego rozsądku..

Moje dobre rady, będące jednocześnie strzałami na ślepo:
- Zmniejsz wielkości oryginalnego obrazka, przypuszczalnie skrypt będzie działał szybciej kiedy przyjdzie mu wygenerować miniaturkę z grafiki o mnieszym rozmiarze..
- Ustal czy ImagesMagic nie radzi sobie lepiej z tworzeniem thumbinali..
- Generuj "na szybko" miniaturke o gorszych parametrach i kolejkuj generowanie miniaturki o parametrach docelowych aby uniknąć chwilowych przeciążeń serwera.


Powodzenia!

Ten post edytował wNogachSpisz 5.03.2011, 03:29:44

[siutek]

jak narazie korzystam z serwera wirtualnego (DreamHost), ale mysle ze gdy przyjdzie krytyczny moment, bedzie mnie stac na serwer dedykowany.
Jednak nie wiem na ile to pomoze, bo nie o predkosc wykonywania nowej grafiki w chwili obecnej chodzi, a o predkosc kopiowania jej pierwowzoru...

z serwerow allegro kopiuje naprawde małe pliki: 128x96px, wiec nie mam sie co bawic w wyciaganie danych EXIF.
Myslalem tez o ImageMagic, i w sumie bede musial spróbowac, ale mysle ze zyskam stosunkowo nie wiele.
Dlatego po glowie chodzi mi juz wykorzystanie innej technologii, ale nie wiem jakiej... poza tym nie znam innej niz PHP - ale jesli bedzie trzeba to sie naucze

[zegarek84]

nie analizowałem dokładnie skryptu ale wygląda na to, że najwęższym gardłem są synchroniczne połączenia z netem po zapytania i soap i obrazki...

skoro łączysz się aż tyle razy (z twoich wyliczeń i różnicy wynika, że za każdym razem średnio pobierasz 5-6 minaturek + połączenie jeszcze z samą stroną przez SOAP) wykonujesz około 500 połączeń dla 100 userów na same obrazki i to liniowo - skrypt jest wstrzymywany do czasu pobrania poprzedniego - rozwiązaniem może być połączenie asynchroniczne lub chociaż podczymanie połączenia jeśli serwer allegro to wspiera 'keep-alive'... obrazki pobrać możesz asynchronicznie za pomocą curl_multi lub socketów:
http://wezfurlong.org/blog/2005/may/guru-multiplexing
oczywiście wtedy logikę wykonywania pewnych czynności pasuje przerzucić na zdarzeniówkę...

możesz jeszcze spróbować porozbijać skrypt na osobne wykonywanie procesu w tle dla danego usera - ale wyrzucenie wszystkich 100 na konkurujące procesy nie będzie też najlepszym pomysłem:
http://robert.accettura.com/blog/2006/09/1...ssing-with-php/