Forum PHP.pl

Mam taki prosty skrypt:

[PHP] pobierz, plaintext 
<?php
 
$con = mysql_connect('localhost', 'user', 'haslo');
mysql_select_db('mailing');
 
 
$file = file('/srv/www/newmailing/log2');
 
foreach ($file as $line)
{
    $data = explode(' -> ', $line);
    $mail = $data[1];
    $query = 'update emails set sent = "1" where sent = "0" and email = "'.$mail.'";';
    mysql_query($query);
}
?>
[PHP] pobierz, plaintext 

W zaczytywanym pliku jest ponad 330.000 linii. Czy da się to jakoś przyśpieszyć Bo działa to sakramencko wolno.

1) Mozesz wywalic z warunku
sent = "0"

2) zalozyc index na pole email

3) Oraz by nie wykonywac 330k zapytan do bazy, podzielic to na paczki, np po 1000 i bedzie tylko 330 zapytan

Najbardziej mnie interesuje ten punkt 3.

Myślałem o tym, ale nie za bardzo wiem jak to ugryźć. Weź podpowiedz jakoś. Jak jednym zapytaniem zmienić 1000 rekordów?

Ten post edytował busterek 22.05.2017, 21:05:21

Po pierwsze wywal te mysql_* i zamień choćby na mysqli lub PDO.

Może tak będzie szybciej:

Sprawdz where email in ($maile)

//edit
Pyton dal chyba najciekawsze rozwiazanie

Właśnie próbuję wykonać kod pokazany przez Pytona. Ale nie wiem co jest. Tabelę dodaje. Ładowanie pliku musiałem przerobić na taką linijkę, bo ta która jest w przykładzie zgłasza błąd w składni.

[SQL] pobierz, plaintext 
LOAD DATA LOCAL INFILE '/srv/www/newmailing/log2' INTO TABLE temptable FIELDS TERMINATED BY ' -> ';
[SQL] pobierz, plaintext 

Ale po wykonaniu otrzymuję błąd: ERROR 2013 (HY000): Lost connection to MySQL server during query

Co jest nie tak?

to co wywaliłeś było potrzebne aby do tabeli załadować tylko kolumnę z mejlami. Inaczej musisz stworzyć temptable z 2 kolumnami. Co do składni i błędu bardzo możliwe, nie testowałem tego, tak tylko na szybko.

Gdzie odpalasz te zapytania?

Zapytania odpalam bezpośrednio w konsoli mysql-a.

Po zalogowaniu do Mysql odpal jeszcze:


i ponownie spróbuj

Ruszyło. Natomiast teraz problem z UPDATE. Zapytanie się wykonuje, ale nic nie zmienia.

Sprawdź czy zawartość w temptable jest odpowiednia np:


bo możliwe że są tam jakieś białe znaki które nie łączą się w pary z mejlami z mejls.

No tak. W pliku nie ma białych znaków. Ale w głównej tabeli już są. Ehhhh. To już wiem co zrobić.

---Albo i nie wiem.

Ten post edytował busterek 23.05.2017, 09:30:58

TRIM(emails.email) = TRIM(temptable.email)

No tak. Wykonuję takie zapytanie. W zasadzie składnia jest poprawna i powinno działać. Ale nie działa.

[SQL] pobierz, plaintext 
UPDATE emails JOIN temptable USING(email) SET sent = "1" WHERE trim(BOTH "\n" FROM emails.email) = temptable.email;
[SQL] pobierz, plaintext 

Zapytanie się wykonuje, ale nic nie zmienia. Czy może coś źle jest?

A sprawdziłem jak wygląda kolumna email w tabeli emails po wykonaniu tego TRIM-a. I jest ok, bez białych znaków. W temptable też nie ma białych znaków.

Udało się. Trochę na około, bo miałem błędy w danych. Ale udało się. Dzięki za pomoc.

Ten post edytował busterek 23.05.2017, 10:12:30

Pochwal się wynikiem. Jaki czas?

Kurcze. Nie spojrzałem, ale chyba coś koło 45 sekund. Błyskawica.