Webservices, API oparte na Webservices Opcje

[wwarobert]

Witam,

Wlasnie pracuje nad api systemu do wysylki maili opartym na webservices ( json ).
Napotkalem nastepujacy problem.

Jedna z mozliwosci api jest utworzenie mailingu do np. kilkudziesieciu tysiecy odbiorcow,
z zalozeniem ze kazdy odbiorca ma indywidualna spersonalizowana tresc maila.

Na danych przed wyslaniem wykonywane sa nastepujace operacje base64_encode( gzdeflate( serialize( $data,9 )))
Webservice nie robi z nimi kompletnie nic wrzucane sa w takiej formie do bazy danych nastepnie proces odpalany cyklicznie z crona
pobiera je dekoduje i wrzuca po kolei do bazy danych. Dane wysylane sa pzy pomocy curl, POST.

Wszystko dziala pieknie do momentu gdy wchodzimy na poziom 20 kilka tysiecy, na tym poziomie cala ta operacja staje sie strasznie zasobozercza.

Czy macie jakies doswiadczenia z tego typu problemami i jakie zastosowac podejscie i jakies propozycje rozwiazan?
Chodzi nie tylko o samo dzialanie serwera ale takze o komfort pracy klienta.

1. to optymalizacja webservices zeby byl w stanie przyjac te dane i zapisac do bazy
2. optymalizacja skryptu ktory je pozniej obrabia zeby to nie trwalo latami i skonczylo sie sukcesem :-)

pzdr
Robert