[PHP][SQL] Jak usunąć zdublowane rekordy w bazie ? Opcje

[Klycior]

Cześć,

Podczas zmiany hostingu okazało się że w jednej bazie wszystkie dane zostały zdublowane.
Całość bazy się podwoiła co daje mi teraz 3 te same pola przez co strasznie obciąża mi procesy z użytkownika.
Jak mogę teraz efektywnie usunąć wszystkie zdublowane wpisy tak aby został jeden.

Czyli patrząc niżej na screen, dojść do takiego rozwiązania które usunie zakreśloną część.

(IMG:http://img153.imageshack.us/img153/8303/dubelc.jpg)


Z góry dziękuję.

[tehaha]

grupujesz rekordy na wszystkich kolumnach i je zliczasz funkcją COUNT() i stosując klauzulę HAVING pobierasz te id, które są zdublowane a potem drugim zapytaniem je usuniesz

[SQL] pobierz, plaintext 
SELECT COUNT(id) AS num FROM nazwa_tabeli GROUP BY nick, ip, sid, inne_kolumny HAVING num > 1
[SQL] pobierz, plaintext 

Ten post edytował tehaha 2.01.2011, 19:29:51

[wookieb]

Tylko, że ten tutaj pan nie zastosował unikalnego klucza głównego (czytaj ID). Nie będzie to takie proste jak się wydaje.
Ja bym po prostu dodał klucz główny i na nim manewrował.

[Klycior]

Czyli najlepiej teraz będzie dodać do tabeli ID do każdego "wpisu" tak ?

A jak tego dokonać ?

[wookieb]

Dodaj pole id z właściwością "auto_increment". Rekordu ponumerują się same i będziesz mógł kombinować.

[sazian]

a gdyby dać select into + distinct i przepisać dane do innej tabeli, a następnie zrobić podmiankę tabel
nie mam pewności czy zadziała ale myślę że warto spróbować

Ten post edytował sazian 2.01.2011, 19:42:06

[wookieb]

Mnie się wydaje, że import wykonał się parę razy. Jeżeli tak to wtedy wystarczy znaleźć pierwsze id, które jest ostatnim właściwym rekordem i usunąć wszystkie wyższe.
Przykład

rekord - 1
rekord - 2
rekord - 3
duplikat rekordu - 4
duplikat rekordu - 5
itd

Wystarczy wtedy zrobić

[SQL] pobierz, plaintext 
DELETE FROM tabela WHERE id > 3
[SQL] pobierz, plaintext 

I po kłopocie.

[Klycior]

wookieb, napewno się tak stało.
Tylko nie rozumiem tego polecenia:

[PHP] pobierz, plaintext 
DELETE FROM tabela WHERE id > 3
[PHP] pobierz, plaintext 

Przecież to polecenie usunie mi wszystkie rekordy w których ID jest wyższe niż 3, a nie o to mi chodzi.

[wookieb]

No właśnie. Czyli wszystkie zduplikowane (spójrz na przykład jaki podałem). Oczywiście pod 3 musisz wstawić odpowiednie id (spójrz na przykład). Tylko zrób wszystkie backupy!

Ten post edytował wookieb 2.01.2011, 20:25:46

[sazian]

ale tu nie ma ID (IMG:style_emoticons/default/winksmiley.jpg)

[wookieb]

Naprawdę? To zupełnie tak samo jak z twoim procesem przeczytania tematu (IMG:style_emoticons/default/snitch.gif)

[Klycior]

No ID już dodałem.

wookieb, czyli patrząc na screen wychodzi że mam coś takiego użyć:

[PHP] pobierz, plaintext 
DELETE FROM tabela WHERE id > 17170
[PHP] pobierz, plaintext 

(IMG:http://www.bankfotek.pl/image/846786.jpeg)



Zgadza się?

[Wicepsik]

[SQL] pobierz, plaintext 
DELETE FROM tabela WHERE id > 17169
 
DELETE FROM tabela WHERE id > 8
[SQL] pobierz, plaintext 

Nie ma różnicy

[wookieb]

Nie. Większe od 8 (ponieważ on jest ostatnim unikalnym rekordem). Ale... usuwasz duplikaty tylko dla użytkownika "brajan" ? Myślałem, że chcesz to zrobić dla wszystkich rekordów na raz a w takim wypadku liczba 8 nie będzie prawidłowa.
Dużą masz tą tabelę? Możesz ją gdzieś wrzucić to Ci przerobimy.

[Klycior]

6.5MB

Chcę dla wszystkich jednocześnie czyli 8, tak ?

[wookieb]

Wystaw gdzieś dumpa (struktura + dane) z tabeli bo się nie dogadamy.
Jeżeli chcesz robić dla wszystkich to przy usuwaniu rekordów o id większym niż 8 raczej na pewno usuniesz prawidłowe rekordy (bo zostanie Ci tylko 8 rekordów brajana). Wróć proszę do kursu MySQL bo wydaje mi się, że nie masz pojęcia co robisz.

Ten post edytował wookieb 2.01.2011, 20:53:37

[Klycior]

wookieb, a spojrzałeś na drugiego screena jakiego dodałem ?

Przecież kiedy wpiszę twoje polecenie to usunie mi wszystkie ID większe od 8 czyli wszystkich pozostałych użytkowników a zostawi mi samego brajana, a nie o to nam chodzi.
Po backupie rekordy powtarzają się od ID 17169 więc też dlaczego mam wpisać ID 8 ?
Jak już wcześniej napisałem kiedy bym dał:

[SQL] pobierz, plaintext 
DELETE FROM tabela WHERE id > 17169
[SQL] pobierz, plaintext 

To uzyskał bym taki efekt że właśnie usunie mi wszystkich użytkowników od ID większym niż 17169 czyli same duble...

Jeżeli ja źle to rozumiem to widocznie jeszcze żyję nowym rokiem.

[wookieb]

Patrzałem. Jeżeli jesteś pewien że 17170 jest pierwszym zduplikowanym rekordem to twoje zapytanie będzie prawidłowe.
W pewnym sensie ja też się zamieszałem także przepraszam (IMG:style_emoticons/default/smile.gif)

[Klycior]

No tak z tego wynika, bo skoro dodałem pole ID a użytkownik Brajan ma ID 1-8 a następnie od 17170-17178 to wychodz ina to że od takiego ID powtarzają się duble. Zaraz sprawdzę i dam znać (IMG:style_emoticons/default/smile.gif)

[sazian]

wróćmy do mojego sposobu - który działa, sprawdziłem

[SQL] pobierz, plaintext 
CREATE TABLE `Backup_tabela` LIKE tabela;
[SQL] pobierz, plaintext 

[SQL] pobierz, plaintext 
INSERT INTO `Backup_tabela` SELECT DISTINCT *  FROM tabela GROUP BY `nick`,`ip`,`sid`,`klasa`,`lvl`,`exp`,`str`,`int`,`dex`,`agi` 
[SQL] pobierz, plaintext 

teraz wywalasz wszytko z tabeli

[SQL] pobierz, plaintext 
DELETE FROM tabela
[SQL] pobierz, plaintext 

i przepisujesz unikalne dane

[SQL] pobierz, plaintext 
INSERT INTO `tabela` SELECT * `Backup_tabela` 
[SQL] pobierz, plaintext