Porównanie nazw plików na dysku do tych, które są w MySQLu Opcje

[KR2615]

Witam
Tak jak w temacie, muszę prześwietlić folder który mam na dysku, znaleść pliki których jeszcze nie ma w MySQLu i dodać je do bazy. Do tego pierwszego znalazłem taka pętlę:

[PHP] pobierz, plaintext 
    $dir = dir(/usr/share/pliki.");
    var_dump($dir);
    while (false !== ($entry = $dir->read())) {
<------>// kwerenda mysql typu SELECT * FROM pliki where name = '$entry'
<------>// Jeśli nic nie znajdzie, robi INSERTA
    }
[PHP] pobierz, plaintext 

Obawiam się jednak, ze w przypadku wielu setek plików to rozwiązanie może być zbyt mocno obciążające. Dlatego wpadłem na pomysł, żeby do drugiej tablicy pobrać wszystkie nazwy plików któe mam w MySQLu i porównać je funkcją taką jak ta:
http://php.net/manual/pl/function.array-diff-uassoc.php

Niestety nie pokazuje to równic, twierdzi, że żadne elementy w tych tablicach się nie pokrywają. Czy ktoś z Was ma pomysł, jak to rozwiązać? Z góry dzięki!

[kapslokk]

Jeśli w folderze będziesz miał dużo plików to może Ci braknąć pamięci na array_diff. A gdybyś tak założył UNIQUE na nazwe pliku w MySQL i robil INSERT IGNORE po np 50 plikow na raz?

[KR2615]

Myślisz, że to będzie mniej zasobożerne niż porównywanie dwóch arrayów?

[kapslokk]

Zależy dla ilu plików (IMG:style_emoticons/default/tongue.gif) Ale w przypadku mojego rozwiązania ogranicza Cię jedynie czas wykonania skryptu, pamięć nie zostanie przekroczona przy odpowiednim ustawieniu wielkości paczki do zapisu.

[KR2615]

Przy obecnych 50 plikach nie byłoby to problemem, tym bardziej ze rocznie pojawia się ich ok. 250. Jedyny kłopot to taki, że INSERT IGNORE inkrementuje mi id. Wykonałem skrypt dwa razy, dodało jeden rekord a id mam 114 przy czym ostatnim prawidłowym id był 36. Nie podoba mi się to rozwiązanie. W razie czego podaje fragment kodu bo może coś skopałem:

[PHP] pobierz, plaintext 
    $dir = dir(/usr/share/pliki");
    while (false !== ($entry = $dir->read())) {
<------>$q = "INSERT IGNORE INTO `pliki` (`id`, `filename`, `done`, `contents`) VALUES (NULL, '$entry', '0', '0')";
<------>mysql_query($q);
    }
[PHP] pobierz, plaintext 

[kapslokk]

Mozesz zmienic IGNORE na INSERT ... ON DUPLICATE KEY UPDATE id=id

If you use INSERT IGNORE and the row is ignored, the LAST_INSERT_ID() remains unchanged from the current value (or 0 is returned if the connection has not yet performed a successful INSERT) and, for non-transactional tables, the AUTO_INCREMENT counter is not incremented. For InnoDB tables, the AUTO_INCREMENT counter is incremented if innodb_autoinc_lock_mode is set to 1 or 2

Ten post edytował kapslokk 28.09.2016, 08:37:29

[KR2615]

Zmieniłem, wykonałem, mam nowe id=153
Finalnie zostawiłem taki kod:

[PHP] pobierz, plaintext 
    while (false !== ($entry = $dir->read())) {
<------>if($entry != "." && $entry != "..") {
<------>    $q = mysql_query("SELECT * FROM `pliki` WHERE filename='$entry'");
<------>    if(!mysql_fetch_row($q)) {
<------><------>mysql_query("INSERT INTO `pliki` (`id`, `filename`, `done`, `contents`) VALUES (NULL, '$entry', '0', '0')");
<------>    }
<------>}
    }
[PHP] pobierz, plaintext 

Ten post edytował KR2615 28.09.2016, 08:59:26

[kapslokk]

[SQL] pobierz, plaintext 
CREATE TABLE test(id int AUTO_INCREMENT, nazwa varchar(255),  PRIMARY KEY (id)); 
ALTER TABLE test ADD UNIQUE (nazwa);
INSERT INTO test (nazwa) VALUES ("test1"), ("test2"), ("test3");
INSERT INTO test (nazwa) VALUES ("test2"), ("test3"), ("test4") ON DUPLICATE KEY UPDATE id = id; 
[SQL] pobierz, plaintext 

U mnie dziala normalnie cos takiego. max(id) po wykonaniu powyzszego kodu = 4.