[php][mysql]"array_diff" dla dużej liczby rekordów - algorytm działania Opcje

[sabat24]

W bazie danych trzymam 250tys. produktów, które zostały pobrane z zewnętrznego serwera. Raz dziennie muszę sprawdzać, czy nie pojawiły się w ofercie nowe produkty. Zewnętrzny serwer podsyła mi dane w pakietach po 100 produktów. Każdy produkt posiada unikalne ID (zarówno zewnętrzne jak i wewnętrzne). W przypadku, gdyby tych produktów było niewiele, wystarczyłoby pobrać 100 ID z zewnętrznego serwera do tablicy A, produkty z bazy danych do tablicy B i prostą funkcją znaleźć różnice w dwóch tablicach. Problemem w moim wypadku jest dość znaczna wielkość danych oraz serwowanie ich w pakietach od strony zewnętrznego serwera. Mógłby mi ktoś podpowiedzieć, jak najlepiej rozwiązać ten problem? Co rozumiem przez najlepiej, wyjaśnię pod koniec. Moje warianty rozwiązań znajdują się poniżej (jest to to, co samemu udało mi się wymyślić na szybko - proszę się tym nie sugerować zupełnie):
1. Pobrać pakiet 100 produktów z serwera, sprawdzić SELECT ... IN, które mam w bazie danych i dodać te, których nie mam. Wady: 2500 zapytań SELECT ... IN, które chyba niezbyt dobrze radzi sobie z indeksami (chodzi mi o klauzulę IN).
2. W zasadzie wariant powyższy, ale złączyć kilka pakietów z serwera zewnętrznego i dopiero wysłać zapytanie do bazy. Co prawda liczba zapytań maleje, ale zwiększa się zakres w IN.
3. Pobrać 250tys. produktów z serwera zewnętrznego, posortować po ID i zapisać do pliku np. XML albo txt. Pobrać 250tys. produktów z bazy danych, posortować po tym samym ID i zapisać do pliku. Odczytywać to sekwencyjnie i porównywać na bieżąco. Wady: nie wiem, czy nie zajadę dysku przy tak dużym odczycie i zapisie danych na dysk oraz czy wystarczy pamięci, by posortować po ID dane z serwera zewnętrznego.

Najlepsze rozwiązanie dla mnie to takie, które w dość rozsądny sposób będzie używało zasoby serwera. Sama szybkość działania nie jest tak istotna, jak zasobożerność serwera, gdyż całość pewnie będzie na hostingu.

Ten post edytował sabat24 6.03.2012, 19:20:37

[irmidjusz]

A może wrzucić dane wszystkich produktów (pobieranych w paczkach z zewnętrznego serwera) do osobnej tabeli i dopiero wtedy wykonać jedno duże zapytanie do bazy znajdujące w tej tabeli produkty, których nie ma w tabeli głównej?

Jeśli serwer nie wyrobi z takim zapytaniem (ale to trzeba przetestować!), to można by robić porównania z tabelą główną w paczkach, ale nie po 100 produktów (bo bardzo dużo zapytań), tylko np. po 1000 czy 10000 - trzeba by to eksperymentalnie ustalić, jaki jest czas wykonywania oraz zasobożerność. Pytań mogło by być znacznie mniej z zachowaniem ich niewielkiego (akceptowalnego) kosztu wykonania. Sprawdzona paczka wierszy w każdej iteracji może być np. usuwana.

Zakładam, że przechowujesz zewnętrzne ID produktów w tabeli głównej, więc takie zapytania powinny być szybkie i proste, szczególnie, jeśli jest to indeks.

Napisz jak się z tym już uporasz jak rozwiązałeś problem i jak to działa (IMG:style_emoticons/default/smile.gif)