Pamięc serwera a wgrywanie plików Opcje

[johnyMajster]

Witam
Zrobiłem sobie upload plków i mam pewien problem otóż przy ładowaniu obrazka o rozmiarze 8 megabajtów otrzymuję taki oto bład
Allowed memory size of 134217728 bytes exhausted (tried to allocate 6293 bytes)

Z tego co przeczytałem oznacza on że serwer potrzebuje wiecej pamieci niz mu przydzieliłem i nawet wiem jak ją zwiekszyc.

Pojawia sie jednak pytanie czy to normalne ze przy przetwarzaniu obrazka 8megabajtów serwer potrzebuje az tyle pamieci?? To co sie stanie jak będę miał serwer z 8GB ramu i milion wgrywanych plików przez różnych użytkowników

Ten post edytował johnyMajster 29.09.2012, 21:30:56

[szalek01]

istotna jest też rozdzielczość obrazka, co robisz gdy go wysyłasz na serwer ? generujesz miniaturki czy coś ?

[spokoloko123]

istotna jest też rozdzielczość obrazka, co robisz gdy go wysyłasz na serwer ? generujesz miniaturki czy coś ?

Nawet jak byś generował miniatury to nie powinno być problemu(134217728B = 128MB to wystarczająco), możliwe, że gdzieś wycieka ci pamięć. Przejrzyj skrypt ew. spróbuj dodać na początku to:

[PHP] pobierz, plaintext 
ini_set('memory_limit', '-1');
[PHP] pobierz, plaintext 

Lecz przy takim limicie stawiam na:
1. Udało ci się napisać super niewydajny skrypt
2. Gdzieś coś ci wycieka "memory leaking", przeglądnij dodatkowo poprawność pętli.

[johnyMajster]

istotna jest też rozdzielczość obrazka, co robisz gdy go wysyłasz na serwer ? generujesz miniaturki czy coś ?

Wgrywam obrazek 6700X4700

Robie trzy mniejsze na podstawie tego wiekszego

800X600
400X300
150X100

Dodatkowo sprawdzam czy użytkownik jest włascicielem konta

Nawet jak byś generował miniatury to nie powinno być problemu(134217728B = 128MB to wystarczająco), możliwe, że gdzieś wycieka ci pamięć. Przejrzyj skrypt ew. spróbuj dodać na początku to:

[PHP] pobierz, plaintext 
ini_set('memory_limit', '-1');
[PHP] pobierz, plaintext 

Lecz przy takim limicie stawiam na:
1. Udało ci się napisać super niewydajny skrypt
2. Gdzieś coś ci wycieka "memory leaking", przeglądnij dodatkowo poprawność pętli.

Rzeczywiscie jak to dałem to śmiga na 128. Ile mniej wiecej mega powinien wymagac skrypt do uploadu?

[Crozin]

Problemem nie jest wgrywanie pliku, a jego wczytanie przez skrypt generujący miniatury, ponieważ ten ostatni wymaga całego obrazu w pamięci. Obraz o rozdzielczości 6700×4700 to 90 do 120 MiB danych (w zależności od obecności kanału alpha w obrazie).

Jeżeli mamy problem z pojemnością jakieś zmiennej/dysku/czegokolwiek powinniśmy dążyć do zwiększenia jej nie dwukrotnie, a o rząd wielkości. Tutaj byłoby to więc 1024 MiB, jednak 512 MiB myślę, że również wystarczy.

Ten post edytował Crozin 30.09.2012, 18:57:43

[johnyMajster]

Problemem nie jest wgrywanie pliku, a jego wczytanie przez skrypt generujący miniatury, ponieważ ten ostatni wymaga całego obrazu w pamięci. Obraz o rozdzielczości 6700×4700 to 90 do 120 MiB danych (w zależności od obecności kanału alpha w obrazie).

Jeżeli mamy problem z pojemnością jakieś zmiennej/dysku/czegokolwiek powinniśmy dążyć do zwiększenia jej nie dwukrotnie, a o rząd wielkości. Tutaj byłoby to więc 1024 MiB, jednak 512 MiB myślę, że również wystarczy.

Sprawdziłem błąd generuje linijka z ImageCreateFromJPEG.
Zastanawia mnie jak pisac optymalne skrypty moze cos podpowiecie
korzystam ze skryptu z gajdy:

[PHP] pobierz, plaintext 
<?php
 
class My_Thumbnail
{
 
    /*
     * Jeśli obraz jest poziomy to jest skalowany do szerokości AWidth
     * Jeśli obraz jest pionowy to jest skalowany do wysokości AHeight
     * Kwadratowy: skalujemy do wysokości AHeight
     *
     * Parametr $AImg jest obiektem GD
     * Wynik - miniaturka - jest zwracany jako obiekt GD
     */
    public static function gdThumbnailObj($AImg, $AWidth, $AHeight)
    {
        if (!$AImg) {
            die('gd_thumbnail_obj() - $AImg error');
        }
 
        $AImg_X = ImageSX($AImg);
        $AImg_Y = ImageSY($AImg);
 
        $tmp_Y  = ($AWidth / $AImg_X) * $AImg_Y;
        $tmp_X  = ($AHeight / $AImg_Y) * $AImg_X;
 
        if ($tmp_Y <= $AHeight){
            $thumbnail_X = $AWidth;
            $thumbnail_Y = $tmp_Y;
        } else {
            $thumbnail_X = $tmp_X;
            $thumbnail_Y = $AHeight;
        }
 
        $thumbnail = ImageCreateTrueColor(
            $thumbnail_X,
            $thumbnail_Y
        );
 
        imageAlphaBlending($thumbnail, false);
        imageSaveAlpha($thumbnail, true);
 
        ImageCopyResized(
            $thumbnail, $AImg,           //przeznaczenie, zrodlo
            0, 0,                        //gdzie ma trafic w przeznaczeniu
            0, 0,                        //skad ma pochodzic ze zrodla
            $thumbnail_X, $thumbnail_Y,  //wymiary, jakie ma zająć w przeznaczeniu
            $AImg_X, $AImg_Y             //wymiary pobierane ze źródła
        );
        return $thumbnail;
    }
 
 
    /*
     * Funkcja identyczna jak function gd_thumbnail_obj()
     * Różni się parametrami.
     *
     * Pierwszy parametr - $AFileName - to nazwa pliku do przeskalowania
     * Wynik - miniaturka - jest zwracany jako obiekt GD
     */
    public static function gdThumbnailFile($AFileName, $AWidth, $AHeight, $destFilename, $quality = 95)
    {
        $img = ImageCreateFromJPEG($AFileName);
        $mini = self::gdThumbnailObj($img, $AWidth, $AHeight);
        imagejpeg($mini, $destFilename, $quality);
    }
 
}
[PHP] pobierz, plaintext 

[Crozin]

Problemem jest konieczność wczytania całego obrazu na raz do pamięci przy korzystaniu z GD. Ty natomiast musiałbyś albo zwiększyć limit pamięci, albo wykonywać miniaturki fragmentów obrazu. To ostatnie na pewno pozwoliłoby na małe zużycie pamięci, ale będzie wolniejsze i dużo, dużo bardziej skomplikowane - prawdopodobnie nie istnieją nawet gotowe narzędzia do realizacji tego w PHP.

Zastanawia mnie jak pisac optymalne skrypty moze cos podpowiecie

Ale optymalnie względem czego? Zużycia pamięci, pracy dysku, czasu pracy procesora itp. itd. Nie zawsze da się zrobić coś "naj" we wszystkich kategoriach.