[PHP] cURL / fsockopen - jak odczytać pobraną ilość danych na żywo ? Opcje

[vimoco]

Witka!

Mam pytanie do Was chłopaki, gdyż chciałbym zliczyć na żywo ile użytkownik mojej strony pobrał danych pliku.
Przykładowo pobiera 100 mb plik, gdy przerwie na np. 33 mb to chce mieć zapisane w MySQL / pliku, także jeżeli dalej będzie pobierałi dokończy to żeby całą wage pliku dopisało.

Pliki podaje poprzez header + cURL lub fsockopen + stream_get_line

Przy cURL probowałem z WRITEFUNCTION, jednak że ona działa poprawnie ale tylko przy pobieraniu przez przeglądarkę np. taki dodatek FDM (Free Download Manager) czy też IDM (Internet Download Manager) to wszystko psuje, i wyświetla / zapisuje błędne wyniki.

taka funkcja:

[PHP] pobierz, plaintext 
function zapiszRozmiar($handle,  $content){	
	$lenght = strlen($content);
	file_put_contents("pobrano", file_get_contents("pobrano") + $lenght);
	echo $content;
	return $lenght;
}
[PHP] pobierz, plaintext 

dopisek do cURL:

[PHP] pobierz, plaintext 
	curl_setopt($ch, CURLOPT_WRITEFUNCTION, 'zapiszRozmiar'); 
[PHP] pobierz, plaintext 

Tak samo dzieje się przy fsockopen, gdy zastosuje taki kod:

[PHP] pobierz, plaintext 
	while (!feof($fp) && (connection_status()==0)) {
		$recv = @stream_get_line($fp, 1024);
		file_put_contents("pobrano", file_get_contents("bytesDownload") + strlen($recv));
		@print $recv;
		@flush();
		@ob_flush();
	}
[PHP] pobierz, plaintext 

Również przy akceleatorze FDM / IDM zwraca błędne wyniki np. pobranie 100 MB pokazuje 9, 12, 33 megajbaty pobrane.

Ma ktoś jakąś ideę ?

Dzięki z góry.
Pozdrawiam,

Ten post edytował vimoco 12.08.2012, 23:28:08

[Sephirus]

Pobierając jakimś managerem typy IDM czy FDM tworzysz więcej niż jedną sesje pobierania pliku. W związku z tym do twojego pliku gdzie zapisujesz ile pobrano nadpisują się dane z różnych sesji. Manager pobiera plik częściami zatem nie rozróżniając sesji nadpisujesz ten sam plik. Przed odpaleniem pobierania ustal jakąś zmienną globalną:

[PHP] pobierz, plaintext 
$nazwaPliku = md5(uniqid());
[PHP] pobierz, plaintext 

a w funkcji od WRITE_FUNCTION daj:

[PHP] pobierz, plaintext 
function zapiszRozmiar($handle,  $content){	
	$lenght = strlen($content);
	file_put_contents("pobrano_".$nazwaPliku, file_get_contents("pobrano".$nazwaPliku) + $lenght);
	echo $content;
	return $lenght;
}
[PHP] pobierz, plaintext 

Ogólnie ta metoda zapisywania jest mało wydajna przez odczyt/zapis pliku przy każdorazowym pobraniu jego cząstki - zmieniłbym to po prostu na filesize() od pliku docelowego - zapisz gdzieś ile ma pobierany plik jednorazowo - może być to w pliku. Ile się aktualnie pobrało odczytasz odpalając skrypt sprawdzający wielkość pliku docelowego a dzieląc ten rozmiar przez rozmiar całego masz procent pobrania.

HTH

EDIT:

Dodatkowo zamiast strlen używaj mb_strlen

Ten post edytował Sephirus 13.08.2012, 07:59:18

[wNogachSpisz]

Pytanie 1.
Czy chcesz aktualizować licznik kiedy trwa pobieranie?
Przykładowo, user w chwili #1 ma pobranych 0MB, w chwili #2 99MB i właśnie kończy pobiernie pliku.
Czy chcesz mieć w chwili #2 na stronie 99MB czy przebolejesz jeśli będzie 0 MB i poczekasz z aktualizacją bazy aż pobieranie się zakończy lub przerwie.

[vimoco]

Pytanie 1.
Czy chcesz aktualizować licznik kiedy trwa pobieranie?
Przykładowo, user w chwili #1 ma pobranych 0MB, w chwili #2 99MB i właśnie kończy pobiernie pliku.
Czy chcesz mieć w chwili #2 na stronie 99MB czy przebolejesz jeśli będzie 0 MB i poczekasz z aktualizacją bazy aż pobieranie się zakończy lub przerwie.

Chce aktualizować kiedy trwa pobieranie, po to że przykładowo głupim rozwiązaniem było by jeżeli ktoś uruchomi pobieranie i anuluje a zliczy jako pełne pobranie, albo odpali 8 połączeń i mu zliczę 8 razy, albo jeszcze inaczej że pobierze 4 razy ten sam plik a zliczy tylko jako pojedyncze pobranie.

Chce na "żywo" aktualizować ile jest pobrane, jeżeli nie pełne to ma zapisać tyle ile zostało pobrane.

Pobierając jakimś managerem typy IDM czy FDM tworzysz więcej niż jedną sesje pobierania pliku. W związku z tym do twojego pliku gdzie zapisujesz ile pobrano nadpisują się dane z różnych sesji. Manager pobiera plik częściami zatem nie rozróżniając sesji nadpisujesz ten sam plik. Przed odpaleniem pobierania ustal jakąś zmienną globalną:

[PHP] pobierz, plaintext 
$nazwaPliku = md5(uniqid());
[PHP] pobierz, plaintext 

a w funkcji od WRITE_FUNCTION daj:

[PHP] pobierz, plaintext 
function zapiszRozmiar($handle,  $content){	
	$lenght = strlen($content);
	file_put_contents("pobrano_".$nazwaPliku, file_get_contents("pobrano".$nazwaPliku) + $lenght);
	echo $content;
	return $lenght;
}
[PHP] pobierz, plaintext 

Ogólnie ta metoda zapisywania jest mało wydajna przez odczyt/zapis pliku przy każdorazowym pobraniu jego cząstki - zmieniłbym to po prostu na filesize() od pliku docelowego - zapisz gdzieś ile ma pobierany plik jednorazowo - może być to w pliku. Ile się aktualnie pobrało odczytasz odpalając skrypt sprawdzający wielkość pliku docelowego a dzieląc ten rozmiar przez rozmiar całego masz procent pobrania.

HTH

EDIT:

Dodatkowo zamiast strlen używaj mb_strlen

niestety nie zbyt to działa.. pobrałem 100 MB akceleratorem IDM, stworzyło 23 takich plików z zapisaną liczbą i suma ich wynosi: 307393
także ma to się nijak do prawdziwej wielkości 100 MB
takie wartosci miałem wypisane w plikach: http://wklej.to/2ufNP

filesize? tak jak pisałem wyżej nie chce zliczać od razu pełnego pliku, chce wiedzieć jeżeli pobrał 30 mb, to mam mieć te 30 mb, także filesize tutaj się nie spisze.

Ma ktoś jakiś pomysł ? Na pewno jest to możliwe, ale nie mam pojęcia jak.

[wNogachSpisz]

Nie rozumiemy się.
Pytam czy z aktualizacją można poczekać aż do zakończenia lub przerwania pobierania.

Jeśli nie, to pojawia się pytanie: Co ile przesłanych bajtów aktualizować licznik.

[vimoco]

Nie rozumiemy się.
Pytam czy z aktualizacją można poczekać aż do zakończenia lub przerwania pobierania.

Jeśli nie, to pojawia się pytanie: Co ile przesłanych bajtów aktualizować licznik.

Wolałbym nie czekać do zakończenia lub przerwania pobierania gdyż wtedy można by było abusować system, odpalając kilkanascie plików, i potem wynik byłby na minusie zapewne.

Myślę że co 1 MB wystarczy czyli (1000000 bajtów)

[wNogachSpisz]

OK. Zatem jedziemy:

1. Opłaca się skorzystasz z biblioteki, która kompleksowo obsłuży pobieranie pliku, to zagwarantuje, że żaden szczegół nie zostanie pozostawiony przypadkowi. Mowie oczywiście o PEAR:HTTP_Download. Nie wspomnę o całej masie przydantych opcji jak zarządzanie cachowaniem czy ograniczanie prędkości pobierania.

2. Przy pomocy funkcji „stream_wrapper_register” definiujesz własną klasę do obsługi strumieni tzw. „stream wrapper”. Opis jak to zrobić znajduje się tutaj

3. Powiązujesz stream wrapper z obiektem PEAR:HTTP_Download
przy pomocy metody: HTTP_Download::setResource

Teraz najważniejsze.
Twój stream wrapper musi w metodzie „stream_read()” podnosić licznik danych odczytanych z uchwytu pliku oraz sprawdzać czy ten licznik przekroczył 1MB. Jeśli przekroczył, aktualizujesz bazę. Wszystkie uchwyty do bazy możesz otworzyć i zamknąć wewnątrz obiektu stream wrapper.

Jarzysz?

// Edit
Dodatkowo aktualizujesz bazę w metodzie stream_close(), tak żeby nie dało się omijać licznika sztuczką polegającą na opalalaniu zapytań http-range z którkim zakresem bajtów, na co cierpi co drugi hosting plików .

Ideał to event typu "chunkSended" emitowany przez HTTP_Downlad, pod który podpinamy się z listenerem podnoszącym licznik, niestety nic takiego nie jest dostępne.

Ten post edytował wNogachSpisz 19.08.2012, 20:31:56