Optymalne wczytywanie i porównywanie adresów IP, pamięć i czas Opcje

[WebCM]

Istnieje bardzo długa lista 12635 zakazanych adresów IP w takiej postaci:

Kod

#komentarz
#inny komentarz
adres IP
adres IP
adres IP
...

Przy wczytywaniu trzeba pominąć komentarze, a następnie sprawdzić, czy adres IP użytkownika jest w bazie. Boty często atakują serwisy masowo, dlatego nie można zarżnąć serwera. Oto kilka sposobów:

1. Wczytać plik funkcją file() do tablicy, a następnie in_array()
2. Wczytać plik funkcją file_get_contents() jako ciąg znaków, a następnie strpos()
3. Zapisać plik jako tablicę PHP, a później include() i in_aray()
4. Wczytać plik do bazy danych, a potem sprawdzać prostym zapytaniem, czy IP jest w bazie
5. Inny sposób?

Zmierzyłem czas i pamięć sposobów 1,2,3,4 na PHP 5.3.1 pod kontrolą Windows XP. Wyniki:

1. Czas: 18.3 ms, pamięć: 1.35 MB, szczytowa: 1.86 MB
2. Czas: 2 ms, pamięć: 0.183 MB, szczytowa: 0.516 MB
3. Czas: 40 ms, pamięć: 1.316 MB, szczytowa: 3.078 MB
4. Czas: 0.7 ms, pamięć: 0.0012 MB, szczytowa: 0.341 MB, baza SQLite 3

Uwagi do poszczególnych sposobów:

1. Chociaż sposób zapewnia 100% skuteczność, jest wolny przy dużej liczbie linii
2. Działa szybko, ale może blokować adresy spoza listy, np. wzorzec 80.0.0.0 pasuje do 180.0.0.0
3. To mnie zaskoczyło, bo kod PHP z tablicą wczytuje się najdłużej i pożera pamięć!
4. Nie wiemy, ile pamięci używa baza. Odczyt z SQLite szybki, podobnie będzie w MySQL.

[PHP] pobierz, plaintext 
//Metoda 1
$lista = file('blacklist.txt');
if(in_array($ip, $lista)) {}
 
//Metoda 2
$lista = file_get_contents('blacklist.txt');
if(strpos($lista,$ip)>0) {}
 
//Metoda 3
require './blacklist.php';
if(in_array($ip,$lista)) {}
 
//Metoda 4
$q = $db->prepare('SELECT * FROM blacklist WHERE IP=?'); //IP typu INTEGER
$q->execute(array(ip2long($ip)));
$x = $q->fetchColumn();
 
//Metoda pomiarowa czasu
$ip = 'dowolny IP (w moich testach był spoza czarnej listy)';
$t = microtime(1);
// .. w tym miejscu kod, który wczytuje listę i sprawdza IP ..
$v = microtime(1);
echo ($v-$t)*1000.0;
 
//Metoda pomiarowa pamięci
$ip = 'tu adres IP';
$m = xdebug_memory_usage();
// .. w tym miejscu kod, który wczytuje listę i sprawdza IP ..
$x = xdebug_memory_usage();
var_dump(($x-$m)/1024/1024);
var_dump((xdebug_peak_memory_usage())/1024/1024);
[PHP] pobierz, plaintext 

Ten post edytował WebCM 21.04.2012, 11:58:22

[Fifi209]

Zapisuj ip jako:
ip2long nie powinno być problemów przy porównaniu.

Baza z założonym indeksem będzie o wiele szybsza.

[WebCM]

Plik jest często aktualizowany, więc wygodniej będzie odczytywać go bezpośrednio

Tylko jak porównać IP jak najszybciej i bez dużego obciążenia serwera i bez konfliktu 8.8.8.8 z 88.8.8.8?

W ostateczności wykorzystam bazę danych, tylko trzeba będzie napisać mechanizm aktualizacji czarnej listy w CMS

PS. Czarna lista jest w formacie .txt i pochodzi z systemu Sblam!

Ten post edytował WebCM 21.04.2012, 12:29:59

[Fifi209]

Plik jest często aktualizowany, więc wygodniej będzie odczytywać go bezpośrednio

To chyba właśnie wygodniej w bazie

Tylko jak porównać IP jak najszybciej i bez dużego obciążenia serwera i bez konfliktu 8.8.8.8 z 88.8.8.8?

Przetestuj ip2long

W ostateczności wykorzystam bazę danych, tylko trzeba będzie napisać mechanizm aktualizacji czarnej listy w CMS

Jeżeli czarna lista jest w bazie, wystarczy dodać triggera przy dodawaniu rekordu, aby dopisywał do innej tabeli albo od razu ładować do tabeli czarna lista

Ten post edytował Fifi209 21.04.2012, 12:28:45

[WebCM]

Jeżeli czarna lista jest w bazie, wystarczy dodać triggera przy dodawaniu rekordu, aby dopisywał do innej tabeli albo od razu ładować do tabeli czarna lista

Czarna lista jest w pliku blacklist.txt.

W sposobie 2 problem blokowania adresów spoza listy można rozwiązać jak poniżej, o ile \n jest znakiem nowej linii:

[PHP] pobierz, plaintext 
$ip = '\n8.8.8.8\n';
$wynik = strpos($lista, $ip);
[PHP] pobierz, plaintext 

Chociaż baza jest najlepszym wyjściem i może zostanę przy tym.