Generowanie pdf, przekroczenie limitu pamięci Opcje

[JoShiMa]

Mam do wygenerowania dość duży dokument pdf. Sa to właściwie same tabelki a dokument składa się z kilkudziesięciu stron. Sprawdziłam FPDF i TCPDF i generowałam zawartość używając głównie metody Cell(), jednak obie klasy mają ten sam feler. Nie kończą roboty z powodu przekroczenia limitu pamięci. W przypadku TCPDF można użyć cache, ale tu dla odmiany mam przekroczenie czasu. Macie jakieś pomysły. Może jakaś inna klasa, albo jakiś trick?

[!*!]

To zwiększ ten limit w php.ini lub

[PHP] pobierz, plaintext 
ini_set('memory_limit', 'wartosc');
[PHP] pobierz, plaintext 

[PHP] pobierz, plaintext 
set_time_limit()
[PHP] pobierz, plaintext 

lub reguły .htaccess

[tehaha]

Ciężko poradzić coś skoro nie wiadomo ile to jest "dość duży dokument" oraz nie wiadomo na jakim serwerze to odpalasz. Na początek warto spróbować zwiększyć parametry "max_execution_time" oraz "memory_limit" w pliku ini (jeżeli masz dostęp) lub funkcją ini_set() (o ile nie jest zablokowana).

Ogólnie nie powinno być problemu z wygenerowaniem pliku PDF z setkami stron, więc być może problem leży w skrypcie, który generuje treść, może najpierw wygeneruj treść, a potem odzielnie wygeneruj plik pdf. Najlepiej zacznij też od czegoś prostego, żeby lepiej zdiagnozować gdzie leży problem. Np. spróbuj wygenerować tak samo duży plik pdf ale z prostą treścią lub nawet pusty, albo sprawdź ile stron możesz wygenerować skutecznie bez błędu. W każdym bądź razie problem leży raczej w spobie generowania treści, a nie w bibliotekach do generowania, zakładając oczywiście, że jest to przeprowadzane na sensownym hostingu.

W ostateczności próbowałbym wygenerować kilka plików pdf i potem je złączyć, ale to już jako absolutna ostateczność.

[JoShiMa]

To zwiększ ten limit w php.ini lub set_time_limit

lub reguły .htaccess

A jeśli serwer na top nie zezwala?

[!*!]

To albo rybki, albo akwarium. Serwer zmienia/modernizuje się względem zapotrzebowania oprogramowania.

Ten post edytował !*! 28.07.2012, 16:47:42

[JoShiMa]

Ciężko poradzić coś skoro nie wiadomo ile to jest "dość duży dokument"

No na przykład taki:

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 2656 bytes)

[!*!]

A to w ogóle jest darmowy serwer? Jeśli nie, to podaj nazwę tego hostingu dla potomnych, aby omijać go szerokim łukiem. Takie zmiany powinny być możliwe, jeśli nie bezpośrednio ze skryptu/panelu to po kontakcie z administracją.

[JoShiMa]

A to w ogóle jest darmowy serwer? Jeśli nie, to podaj nazwę tego hostingu dla potomnych, aby omijać go szerokim łukiem. Takie zmiany powinny być możliwe, jeśli nie bezpośrednio ze skryptu/panelu to po kontakcie z administracją.

Jeśli nie potrafisz podpowiedzieć czegoś konstruktywnie to nie zaśmiecaj wątku. Ja tam nie lubię rozrzutności jeśli chodzi o zajętość pamięci i czas wykonywania skryptu i interesuje mnie jak odchudzić skrypt, jeśli to możliwe (wierzę, że tak) a nie jak mu przydzielić więcej pamięci.

Wiem, że są ludzie, którzy swoją karierę z kompem zaczynali w czasach, gdy wypasionych komputerów i wydaje im się, że to normalne, że programy są zasobożerne. Ja zaczynałam, gdy każdy bajt był na wagę złota (tylko w innym języku programowałam, bo o PHP to w PL jeszcze nikt nie słyszał, o internecie też) i każdy szanujący się programista umiał je oszczędzać. Teraz byle komórka ma lepszy procesor niż komputer na którym się uczyłam, ale to nie znaczy, że należy szastać zasobami bez wcześniejszego sprawdzenia czy nie da się czegoś jednak zoptymalizować.

Tak więc rozmawiajmy o możliwej optymalizacji takiego skryptu.

[!*!]

Trudno rozmawiać o optymalizacji czegokolwiek, gdy nie zna się szczegółów. Niczego konkretnego nie podałeś, prócz informacji że nie możesz niczego zmienić na serwerze. Optymalizacja skryptu jest możliwa, ale skoro przekraczasz jakieś limity to oczywiste że nie zmienisz tego nie wiadomo jak, serwery i jego zasoby nie są z gumy.

[JoShiMa]

Trudno rozmawiać o optymalizacji czegokolwiek, gdy nie zna się szczegółów.

Dlatego podałam nazwy klas z których próbowałam korzystać i liczę na wypowiedzi osób, które z tymi klasami pracowały, albo znają inne, mniej zasobożerne klasy do generowania pdfów.

[irmidjusz]

Nie znam tych klas, które wymieniłaś, korzystałem jedynie z mPdf, ale nigdy nie generowałem nim tak dużych dokumentów.
A próbowałaś tego: http://www.phplivedocx.org/articles/pdf-ge...zend-framework/ ?

[d3ut3r]

Jak już wspomniano ciężko coś napisać bez znajomości hostingu. Generalnie raczej nie liczyłbym na zoptymalizowanie klas. Można za to spróbować:

1. Generować po 1 stronie a później jeżeli jest możliwośc użycia np narzędzia gs połączyć je w 1 plik.
2. Skorzystać w ogóle tylko z narzędzia zewnętrznego a wywoływać je z PHP (htmldoc o ile mnie pamięć nie myli).
3. Dogadać się z adminem

[JoShiMa]

Nie znam tych klas, które wymieniłaś, korzystałem jedynie z mPdf, ale nigdy nie generowałem nim tak dużych dokumentów.
A próbowałaś tego: http://www.phplivedocx.org/articles/pdf-ge...zend-framework/ ?

A uruchamianie frameworka do wygenerowania jednego dokumentu będzie mniej pamięciożerne niż napisanie niewielkiego skryptu "z palca"? Wczoraj sprawdziłam, że nim zacznie się generować pierwsza strona już mam zajętość pamięci 12320768 wcześniej, samo dołączenie klasy tcpdf powoduje zajęcie na poziomie 8388608. W między czasie sa pobierane z pliku i przetwarzane dane na podstawie których generują się później te tabele w dokumencie. I to powoduje zajęcie około 4000000 a samo wygenerowanie dokumentu powoduje przekroczenie ilości jaką wcześniej podałam. Generowanie dokumentu pdh w tcpdf odbywa się poprzez wygenerowanie jego treści w postaci stringa. W tym wypadku jest on bardzo długi.

[!*!]

Nadal się upierasz przy swoim.
Nie chodziło mi o nazwy klasy, bo te same w sobie już są zoptymalizowane, może je źle wykorzystujesz? Pokaż kod.

Jeśli nie możesz zmienić czy umieścić w skryptach tak prostych rzeczy do zmiany czasu i pamięci, to nie licz że w ogóle da się coś zrobić, bo zakładam że nawet poleceń cmd nie możesz odpalić.

[skowron-line]

Tak jak @d3ut3r napisał jeżeli dane sie nie zmieniajaa zbyt często to dlaczego nie generować 5 tabelek osobno a jak ktoś będzie chciał całość to połączysz pliki, mpdf ma taką możliwość.

Możesz zrobić tak
- trzymasz 5 plików z tabelkami
- ktoś zmienai dane z 1 tabeliki po updacie / insercie kasujesz plik
- ktoś chce wygenerować cały raport (5 tabelek)
- sprawdzasz czy dana tabelka ma swój plik raportu jak ma to łaczysz jak nie to generujesz

i takim sposobem nie utkniesz na generowaniu wielu stron.

[JoShiMa]

Tak jak @d3ut3r napisał jeżeli dane sie nie zmieniajaa zbyt często to dlaczego nie generować 5 tabelek osobno a jak ktoś będzie chciał całość to połączysz pliki, mpdf ma taką możliwość.

Bo nie ja o tym decyduję :/

[tehaha]

Jak mamy Ci pomóc skoro nie podajesz żadnych konkretnych informacji, najlepiej:

1. pokaż skrypt
2. napisz ile stron pliku pdf generujesz
3. powiedz jaki masz hosting do dyspozycji.

Z tego co mi się wydaje to nie biblioteki są tutaj problemem tylko proces generowania treści, którą chcesz umieścić w pdf'ie, bo te bibliotekai są z powodzeniem stosowane do generowanie plików z setkami stron i nie sprawia to problemów, sam też generowałem pilki pdf na kilkadzisiąt stron, nawet na tanich hostingach współdzielonych i problemu nie było. Więc wina leży raczej w skrypcie, no chyba, że postawiłaś to na jakimś darmowym lub bardzo kiepskim hostingu.

[webdice]

Trudno rozmawiać o optymalizacji czegokolwiek, gdy nie zna się szczegółów. Niczego konkretnego nie podałeś, prócz informacji że nie możesz niczego zmienić na serwerze. (...)

Podała informacje o dostępnej ilości pamięci, o wykorzystywanej bibliotece i funkcji z jakiej korzysta. Co ma Ci jeszcze napisać? Że wykonuje X razy funkcje Cell i to stanowi problem?

Jak już wspomniano ciężko coś napisać bez znajomości hostingu. (...)

Jakie znaczenie ma hosting? Ma dostęp do określonej ilości pamięci (wcale nie małej), a jaki to jest serwer, nie ma kompletnie żadnego znaczenia.

Jeśli nie możesz zmienić czy umieścić w skryptach tak prostych rzeczy do zmiany czasu i pamięci, to nie licz że w ogóle da się coś zrobić, bo zakładam że nawet poleceń cmd nie możesz odpalić.

Daruj sobie tego typu komentarze bo zrobię Ci miesięczną przerwę w pisaniu na forum.

Co do samego tematu, spróbuj może skorzystać z funkcji pdf_*. Jeśli dokument nie jest bardzo skomplikowany, nie powinnaś mieć problemu z jego wygenerowaniem.

[!*!]

Podała informacje o dostępnej ilości pamięci, o wykorzystywanej bibliotece i funkcji z jakiej korzysta. Co ma Ci jeszcze napisać? Że wykonuje X razy funkcje Cell i to stanowi problem?

Daruj sobie tego typu komentarze bo zrobię Ci miesięczną przerwę w pisaniu na forum.

Ochłoń. Jak niby chciałbyś to zoptymalizować? Jakoś nie widzę tu fragmentów kodów, co z tego że podała klasy, jak i wykorzystanie może być różne i nieprawidłowe. Najprostszy i najszybszy sposób to właśnie zmiana tych ustawień, ale skoro Jej hosting tego nie umożliwia, to trudno jest to zrobić chociażby z poziomu tych klas. Jak niby chciałbyś to przeskoczyć?
Hosting jest ważny, bo można sprawdzić jakie opcje posiada i według nich działać np. przenieść to poza PHP.

Ten post edytował !*! 29.07.2012, 14:00:22

[JoShiMa]

Bardzo dużo pamięci (czego należało oczekiwać) zajmuje mi wielowymiarowa tablica z danymi pobranymi z pliku, które następnie muszą zostać zaprezentowane w tym pdfie. Niestety dane czyli około 2000 linii muszę najpierw wczytać z pliku CSV, następnie posortować i dopiero wtedy zaprezentować więc nie da się wczytywać po linii i od razy w locie wrzucać do pdfa. I takie pytanie mi się nasunęło. Jaski wpływ na zajętość pamięci mają klucze tablic. To znaczy czy użycie w charakterze kluczy dość długich stringów jest bardzo pamięciożerne?