[PHP]parsowanie pliku txt, Jak odczytać wybrany zakres linii z pliku txt ? Opcje

[fiasko]

Mam plik baza.txt, który waży 45 MB i chcę z niego odczytać 100 linii zawrtości zaczynając odczyt od linii onumerze 10000.

Jakiej funkcji użyć do odczytu i jak czytać ?

Dodam tylko, że file() deklaruje mi tyle pamięci, że nie da się załadować tak dużego pliku do pamięci .

[fiasko]

interesują mnie jeszcze większe bo będę dostawać pliki z 50 mln linii (IMG:style_emoticons/default/smile.gif) W każdej linii mam jeden obiekt poddany serializacji. Będę odczytywać w CRON po 10000 rekordów na minutę jeszcze inne ciężkie operacje dotyczące tych obiektów.

Na bazie nie będę z tym pracować bo musiałbym pracować na setkach tabel. Tu będzie tak, że przerobiony plik nie będzie mi już potrzebny.

ok

teraz jest idealnie (IMG:style_emoticons/default/smile.gif)

[PHP] pobierz, plaintext 
<?php
$file = new SplFileObject('baza.txt');
$file->seek(1000000);
$start = 10;
$ile = $start + 100;
 
for($i=$start;$i<=$ile;$i++){
echo $file->current().'<br>';
 $file->next();
}
 
 
?>
[PHP] pobierz, plaintext 

Ten post edytował fiasko 2.11.2012, 23:03:18

[zegarek84]

interesują mnie jeszcze większe bo będę dostawać pliki z 50 mln linii (IMG:style_emoticons/default/smile.gif) W każdej linii mam jeden obiekt poddany serializacji. Będę odczytywać w CRON po 10000 rekordów na minutę jeszcze inne ciężkie operacje dotyczące tych obiektów.

Na bazie nie będę z tym pracować bo musiałbym pracować na setkach tabel. Tu będzie tak, że przerobiony plik nie będzie mi już potrzebny.

gdyby długość linii była stała można by to zrobić optymalniej, ale pomińmy tą kwestię (w końcu nie będziemy tu implementować bazy danych ;p)... wspomniałeś, że to co obrobione to nie potrzebne i będziesz miał to na zasadzie kolejki... więc by następnym razem nie przewijać pliku tak daleko przy nieregularnych liniach to nie mógłbyś tą techniką pociąć ten plik na wiele mniejszych po te 10000 linii kodu?? i w myśl zasady 100|1000 plików na katalog (nie pamiętam jaka liczba była optymalna) - więc musiałbyś sobie jakiś system nazewnictwa wystosować - obrobisz to to to usuwasz i tniesz następny plik... a przy kolejnej kolejce nie musisz tak daleko przewijać - to tylko propozycja...

//edit
czyli fseek przewijało za każdym razem od początku pliku - zaczynałem pisać w poprzednim poście, byś korzystał z fseek raz a potem z fgets (miks current i next ^^) ale zaraz to skasowałem bo zdawało mi się to niedorzeczne ;p - a już jakiś czas nie miałem potrzeby obróbki duuuużych plików ;p

Ten post edytował zegarek84 2.11.2012, 23:12:15