Katalog produktów kilku sklepów - pobieranie danych Opcje

[franz87]

Witam,
Od dłuższego czasu zabieram się za stworzenie porównywarki produktów pewnej branży.
Spokojnie - nie jestem wariatem i nie chcę robić konkurencji ceneo, skąpiec czy nokaut.
Znalazłem wąską branże i chciałbym zaoferować sklepom stworzenie wspólnego katalogu.

Wiem, że porównywarki produktów typu ceneo odbierają od sklpów plik xml/csv co ca.24h i aktualizują stany.
Jednak w branży, w której chcę stworzyć katalog nie ma dwóch takich samych produktów.
Przez co chciałbym, żeby stany widoczne były w czasie rzeczywistym, ewentualnie z odchyleniami kilkunastu minut.
Tak więc generowanie co jakiś czas pliku xml/csv o wielkości kilkuset mega chyba odpada (skpy mają od 20.000 do 1,5mln produktów).

Pomyślałem, że najlepszym rozwiązaniem byłoby stworzenie u klienta sub-bazy lub tabeli, która byłaby tylko do odczytu i zawierała informacje, które potrzebne są do porównywarki. Sklep dawałby mi prawa do połączenia się tylko z ich sub-bazą i pobierania danych tylko do odczytu.
Jednak nie wiem zupełnie czy coś takiego jest możliwe.

Zwracam się więc do was o pomoc. Jak najlepiej pobierać by informacje o produktach od sklepów, tak by było to dla mnie, ale przede wszystkim dla nich najmniej kłopotliwe?
Mając na uwadzę:

- stany aktualizowane są mniej więcej w czasie rzeczywistym (odchylenia kilka min)
- nie trzeba za każdym razem pobierać całej bazy
- jest to najmniej inwazyjne rozwiązanie dla posiadających sklepy