Usuwanie duplikatów a optymalne rozwiązanie Opcje

[djgarsi]

Witam. Mam pytanie do osób posiadających spore bazy (większe niż 100tys rekordów).
Otóż interesuje mnie, w jaki sposób usuwacie ewentualne duplikaty?
Moja baza rośnie w tempie około 1tys rekordów na 24h. Wyszukałem w sieci pewne rozwiązanie jednak jest ono strasznie nieoptymalne.

[PHP] pobierz, plaintext 
$Zapytanie_usun = 'DELETE FROM pliki USING pliki, pliki AS vpliki WHERE (pliki.id > vpliki.id) AND (pliki.link = vpliki.link)';
mysql_query($Zapytanie_usun);
[PHP] pobierz, plaintext 

Pytanie 1. Czy da się to zapytanie zoptymalizować? Czy dać sobie spokój z tym zapytaniem i szukać czegoś innego?
Pytanie 2. Czy jest sens bawienia się z przepisywaniem rekordów (po posortowaniu bez duplikatów)?

[erix]

Moja baza rośnie w tempie około 1tys rekordów na 24h. Wyszukałem w sieci pewne rozwiązanie jednak jest ono strasznie nieoptymalne.

Aaaaaale potwór... O.o'. Takie coś powinno góra kilka sekund zająć na dobrze poindeksowanej bazie.

Co explain pokazuje?

GROUP BY na link + HAVING COUNT(id)>1 i będziesz miał linki, które występują więcej niż raz. Wtedy spokojnie wyciągniesz same id.

[alegorn]

uuuf.

1. zaloz duplikat tabeli obok
2. zaloz klucz unique na wybrana kolumne
3. wykonaj

[SQL] pobierz, plaintext 
INSERT IGNORE INTO nowa_tabela 
SELECT * FROM stara tabela
[SQL] pobierz, plaintext 

j.

[djgarsi]

Aaaaaale potwór... O.o'. Takie coś powinno góra kilka sekund zająć na dobrze poindeksowanej bazie.

Pierwszy raz mam do czynienia z takim przyrostem danych, więc dla mnie to spora baza.

GROUP BY na link + HAVING COUNT(id)>1 i będziesz miał linki, które występują więcej niż raz. Wtedy spokojnie wyciągniesz same id.

[SQL] pobierz, plaintext 
SELECT id FROM `pliki` GROUP BY `link` HAVING COUNT(id)>1
[SQL] pobierz, plaintext 

takie zapytanie będzie optymalne?

[erix]

EXPLAIN prawdę Ci powie.