Praca na dużych plikach tekstowych, analiza linia po linii, jak zrobić to możliwie najmniej zasobożernie? Opcje

[Avatarus]

Witam
Mam projekt w którym muszę przeanalizować duże pliki txt które są wgrywane przez formularz na stronę.
Pliki trzeba analizować lina po linii.
Pliki mogą mieć nawet po kilka MB.
Jednocześnie takich analiz może zlecić kilkanaście osób.

Jak to zrobić żeby mi serwer przez to nie padł?
Jakaś skuteczna metoda?

Można np połączyć z ajaxem i czytać po 100 linii, aż do końca pliku? może jakaś inna lepsza metoda?

z góry dziękuje

[Pilsener]

Fragment mojego tutoriala o obsłudze plików:

[PHP] pobierz, plaintext 
   $uchwyt = fopen($pliczek,'r');
   while(!feof($uchwyt)){
      $linia = rtrim(fgets($uchwyt));
      $licznik++;
      if($licznik>$od && $licznik<=$do){
         $tabliczka[] = $linia;
      }
   }
   fclose($uchwyt);
[PHP] pobierz, plaintext 

- pobiera do tablicy linie o numerach od-do.

ja chce to zrobić tak że Ajaxowo będzie co parę sekund wczytywane te kilka linii z tego pliku, obrabiane, zapisywane do bazi i tak w kółko aż skończy obróbkę pliku

- no ale co konkretnie chcesz zrobić? Wrzucić tylko plik do bazy? Czy będziesz wywoływał to co kilka sekund czy od razu nie ma większego znaczenia dla wydajności.

Zakładam, że chodzi o dodanie do bazy jakś danych z pliku - dlatego najlepiej sparsować cały plik linia po linii, utworzyć nowy z interesującymi nas danymi a następnie wrzucić do bazy od razu cały plik zapytaniem LOAD DATA. Robiłem tak z plikami nawet gigabajtowymi i nie było większych problemów z pamięcią, operujesz tylko na linii pliku a import całego pliku do bazy przebiega bardzo sprawnie.

Można też cały plik od razu wrzucać do bazy, do jakiejś tabeli tymczasowej i w ten sposób go obrobić. Wszystko zależy od specyfikacji.