Post
#1
|
|
|
Grupa: Zarejestrowani Postów: 194 Pomógł: 2 Dołączył: 12.04.2004 Skąd: Częstochowa Ostrzeżenie: (10%)
|
chciałem zapytać bardziej rozeznanych w temacie - mam do parsowania pliki txt po 600/1000 MB. W tym momencie stosuję funkcje file i substr ale przy tak dużych plikach php wymięka, time limit na długie godziny memory limit ile sie da czyli 2 gb. Miał ktoś może z was podobny problem ?
Będę wdzięczny za każdy pomysł. |
|
|
|
![]() |
Post
#2
|
|
|
Grupa: Zarejestrowani Postów: 194 Pomógł: 2 Dołączył: 12.04.2004 Skąd: Częstochowa Ostrzeżenie: (10%)
|
Wymięka to akurat w tym przypadku oznacza powieszenie komputera (localhost). set_time_limit() - już na 2h.
Jasne że pobieranie strumieniowe jest bardziejsze w tym przypadku tylko nie jak je zrealizować. Przykładowe dane wyglądają tak Kod 001369825grecja 0125granada 025***hotel piersonada025 456875 45357 00 21 35 0000 554 001369825grecja 0125granada 025***hotel piersonada025 456875 45357 00 21 35 0000 554 001369825grecja 0125granada 025***hotel piersonada025 456875 45357 00 21 35 0000 554 001369825grecja 0125granada 025***hotel piersonada025 456875 45357 00 21 35 0000 554 001369825grecja 0125granada 025***hotel piersonada025 456875 45357 00 21 35 0000 554 ... i teraz muszę pobrać zawsze pełną paczkę danych czyli kończąca się enterem czyli jeśli wiem że wiersz ma np: 47bajtów to
to mocno uproszczone ale czy to dobre myślenie ? |
|
|
|
dado [php] Parsowanie bardzo dużych plików 27.03.2008, 22:57:22
pyro Cytat(dado @ 27.03.2008, 22:57:22 ) c... 27.03.2008, 23:15:58
Cysiaczek Co konkretnie oznacza , że "wymięka"? 27.03.2008, 23:18:39
dr_bonzo OMG, przeciez file laduje od razu caly plik do pam... 27.03.2008, 23:59:48
Pilsener pl.php.net/manual/pl/function.fgets.php 28.03.2008, 08:21:30
dr_bonzo W ogole wyglada to jak CSV, i masz do tego masz fu... 28.03.2008, 08:49:12 ![]() ![]() |
|
Aktualny czas: 25.12.2025 - 23:37 |