[inny][Symfony2][SF2]Swift_Message powolne zapisywanie do spoola Opcje

[prz3kus]

Witam,
potrzebuje wysłać kilkadziesiąt tysięcy maili, chciałem zapisać sobie wszystkie maile do spoola typu file (czyli do plików) i potem wysłać w cronie.

Problem jest taki że 200 maili do spoola ładuje sie 30min a ich wielkości są bardzo różne pomimo, że zawartość to pięć identycznych dla każdego maila obrazków w sumie ważących niecałe 200KB, a wielkości generowanych plików w spoolu wacha się od 50MiB do 247KiB jest to dla mnie niezrozumiałe :/

oto kawałek mojego kodu i config

[XML] pobierz, plaintext 
swiftmailer:
    transport: "%mailer_transport%"
    host:      "%mailer_host%"
    username:  "%mailer_user%"
    password:  "%mailer_password%"
#    spool:     { type: memory }
    spool:
        type:   file
        path:   '%kernel.cache_dir%/swiftmailer/spool'
[XML] pobierz, plaintext 

[PHP] pobierz, plaintext 
        $baseurl = $request->getScheme() . '://' . $request->getHttpHost() . $request->getBasePath();
        $message = \Swift_Message::newInstance();
 
        $query = 'SELECT * FROM tabelka LIMIT 2000';
        foreach($db->query($query) as $wiersz)
        {    
 
            $nr_klienta = 'xxx;
            $secret     = 'xxx;
            $emailTo    = 'xxx;
            $message->setContentType("text/html")       
            ->setSubject('Zapraszamy do ZZZ - nr klienta: '.$nr_klienta)        
            ->setFrom('zzz@zzz.pl')
            ->setTo($emailTo)         
            ->setReplyTo('zzz@zzz.pl')
                ->setBody($this->renderView('ZZZBundle:_emailViews:zzz.html.twig',
                    array(
                            'topMail'       => $message->embed(Swift_Image::fromPath($baseurl.'/bundles/zzz/images/topMail.jpg')),
                            'textMail_1'    => $message->embed(Swift_Image::fromPath($baseurl.'/bundles/zzz/images/textMail_1.png')),
                            'textMail_2'    => $message->embed(Swift_Image::fromPath($baseurl.'/bundles/zzz/images/textMail_2.png')),
                            'buttonMail'    => $message->embed(Swift_Image::fromPath($baseurl.'/bundles/zzz/images/buttonMail.png')),
                            'bottomMail'    => $message->embed(Swift_Image::fromPath($baseurl.'/bundles/zzz/images/bottomMail.jpg')),
                            'secret'        => $secret
 
                         )));
            $message->getHeaders()->addTextHeader('X-MAILTAGS', ZZZ_TEST');    
 
            $this->get('mailer')->send($message);
        }
[PHP] pobierz, plaintext 

Domyślam się że coś namieszałem tylko co?

Nie wiem czemu nie mogę edytować tematu w zawartości mam same krzaczki więc piszę niżej

Dodałem do konfiga:

[PHP] pobierz, plaintext 
logging:    false
[PHP] pobierz, plaintext 

Teraz jest o wiele lepiej 100 maili generuje się około minuty tylko nadal pliki są spore, chodź ich wielkość spadło o połowę.

Teraz 100 wygenerowanych w spoolu message waży 1GiB więc średnio 10MiB wiadomości, a powinna co-najmniej 20 razy mniej

Ten post edytował prz3kus 1.04.2016, 08:48:41

[destroyerr]

Co do czasu generowania to nie wiemy na czym to uruchamiasz, więc może jest całkiem krótki.
W plikach powinny być zserialozowane wiadomości. Jeżeli rozmiary są takie duże to być może, pojawia się jakiś błąd i serializowany jest cały kontener (choć i tak wydaje się to dużo) lub jakiś var_dump. Nie wiem co może być źle, bo nie mam doświadczenia. Mogę Ci zaproponoważ wykonanie tej pętli bez użycia funkcji send, a do plików html zapisuj wynik funkcji renderView. Możesz też w pętli serializować wiadomość i sprawdzać rozmiar, czy też są takie problemy. Możesz też spróbować odserializować plik ze spool (np. z największym rozmiarem) i sprawdzić co w nim siedzi.
Podziel się wynikami eksperymentów.

[prz3kus]

Na końcu każdej wiadomości dodaje coś takiego:

s:37:"\0Swift_Mime_SimpleMimeEntity\0_encoder";O:47:"Swift_Mime_ContentEncoder_QpContentEncoderProxy":3:{s:60:"\0Swift_Mime_ContentEncoder_QpContentEncoderProxy\0safeEncoder";O:42:"Swift_Mime_ContentEncoder_QpContentEncoder":3:{s:14:"\0*\0_charStream";O:39:"Swift_CharacterStream_NgCharacterStream":9:{s:52:"\0Swift_CharacterStream_NgCharacterStream\0_charReader";N;s:59:"\0Swift_CharacterStream_NgCharacterStream\0_charReaderFactory";r:14;s:49:"...................

I ta linijka waży czasem kilka MiB sama reszta wiadomości to 10KiB. I czasem te linijka mam 200KiB a czasem 50MiB

Dziwny jest ten świat

Sprawa się wyjaśniła za każdym razem trzeba w pętli uruchamiać

$message = \Swift_Message::newInstance();

inaczej ciągle dodawał mi Headers maila do ostatnio utworzonego pliku, dlatego pliki mi rosły

dzięki destroyerr za próbę pomocy

Pozdrawiam czas na weekend


EDIT:123213

Jeszcze napiszę, że teraz zapisuję sie do spolla w minutę ponad 2000 wiadomości

Ten post edytował prz3kus 1.04.2016, 13:27:52