deduplikacja rekordów bez kopiowania tabeli Opcje

[furious_knight]

Witam wszystkich,
Potrzebuję porady kogoś kto siedzi w SQL i ma pomysł jak rozwiązać mój problem....
Mam w pracy bazę danych która ma 2mln rekordów!! bazę wgrywałem kilka dni partiami z różnych źródeł i muszę przeprowadzić deduplikację przed oddaniem jej do szefa.
Baza składa się z około 35 kolumn i mogą zdarzyć się przypadki że rekordy mają taką samą nazwę, adres, nip, itd. różnią się tylko np. telefonem albo mailem. Jedynym co na pewno ich różni to numer id w bazie... jedynym (moim)zdaniem sposobem jest usunięcie rekordów które są identyczne w całości wykluczając pole ID czy zna ktoś przepis na takie zapytanie?? coś w stylu -- usuń rekord jeżeli rekord minus [pole id] istnieje w bazie.

ps. wykonanie kopii bazy i porównanie odpada bo zajęło by to co najmniej 2 dni!

[redeemer]

Można by jeszcze pokombinować z indeksem UNIQUE.

[SQL] pobierz, plaintext 
ALTER IGNORE TABLE `tabela` ADD UNIQUE INDEX (pole1, pole2, ...)
[SQL] pobierz, plaintext 

To powinno założyć indeks i usunąć duplikaty.

Ten post edytował redeemer 12.10.2012, 09:54:19