[php] pobieranie pliku w tle + buforowanie, Proszę o radę Opcje

[Sztef89]

Chciałbym zrobić pobieranie plików z innych serwerów, mam kilka wątpliwości:
- Mój obecny serwer ma mało pamięci dlatego chce użyć buforowanego zapisu (kod poniżej), czy takie rozwiązanie jest wydajne, może jest jakieś lepsze ?
- Gdy plik się pobiera wisi wątek w przeglądarce i dopiero po pobraniu pliku skrypt się odwiesza. Zauważyłem, że jak wyłączę przeglądarkę to plik się dalej pobiera. Czy takie działanie skryptu podczas pobierania dużej ilości plików (używając tego samego skryptu) będzie wydajne ? kiedyś czytałem, że lepiej żeby skrypt działał w tle ale nie wiem jak to się robi,
- Chciałbym poniższy skrypt rozbudować o możliwość wznawiania pobierania gdy wystąpi błąd podczas pobierania (max 3 próby). Wiem, że trzeba użyć fseek ale nie za bardzo wiem gdzie i jak w tym kodzie go umieścić.

[PHP] pobierz, plaintext 
<?php
 
$url = 'http://strona.pl/plik.zip';
getUrlContents($url);
 
function getUrlContents($url)
{
   $url_parsed = parse_url($url);
 
   $host = $url_parsed["host"];
   if ($url == '' || $host == '') {
       return false;
   }
   $port = 80;
   $path = (empty($url_parsed["path"]) ? '/' : $url_parsed["path"]);
   $path.= (!empty($url_parsed["query"]) ? '?'.$url_parsed["query"] : '');
   $out = "GET $path HTTP/1.0\r\nHost: $host\r\nConnection: Close\r\n\r\n";
   $fp = fsockopen($host, $port, $errno, $errstr, 30);
   fwrite($fp, $out);
   $headers = '';
   $content = '';
   $buf = '';
   $isBody = false;
  while (!feof($fp) and !$isBody) {
          $buf = fgets($fp, 1024);
          if ($buf == "\r\n" ) {$isBody = true;}
          else{$headers .= $buf;}
          }
          $file1 = fopen(basename($url_parsed["path"]), 'w');
          $bytes=stream_copy_to_stream($fp,$file1);
   fclose($fp);
   return $bytes;
}
 
?>
[PHP] pobierz, plaintext 

[Sztef89]

OK, poradziłem sobie z logowaniem + pobieraniem pliku + praca skryptu w tle + wykrywaniem błędów podczas pobierania. Została jedna rzecz - wznawianie pobierania.

Specjalnie pogorszyłem sygnał sieci aby wystąpiły błędy podczas pobierania i w rezultacie pobiera się więcej niż plik powinien zajmować (dałem warunek w while że kończy pracę dopiero gdy plik zajmuje tyle samo co wielkośc pliku pobrana z serwera). Natomiast bez pętli while pobiera się do pewnego miejsca i kończy pracę. Przy silnym sygnale sieci plik pobiera się w całości - bez i z pętlą while, więc jest ok.

Powiedźcie mi czy jak chcę wznowić pobieranie to to w opcji CURLOPT_RANGE podaję bajty liczone od 0 czy od 1 ? trzeba zawsze obie wartości podawać, czyli X-Y czy wartość X wystarczy (czyli od którego bajta ma zacząć pobierać). Czytałem manuala ale nic o tym nie napisali :/ Dałem teraz wartości liczone od zera i pliki są pobierane prawidłowo ale chciałbym być pewien na 100%.

pod koniec whila, zaraz przed klamra zamykającą przypisuje nową wielkość pliku $this->file_new_size = filesize($this->file);, a jak widać po działaniu funkcji wygląda jakby przypisało tylko raz:
Próba 0, zakres: 0 - 6004979, w:3800095
Próba 1, zakres: 3800094 - 6004979, w:3800095
Próba 2, zakres: 3800094 - 6004979, w:3800095
Próba 3, zakres: 3800094 - 6004979, w:3800095
Ilość wszystkich prób: 4
Prędkość: 202643
Rozmiar pobieranego pliku: 6004980
Zapisano: 3800095 - powinno być 12442440

Te pogrubione wartości to ilość pobranych danych po wykonaniu zapytania cURL. Wartość "Zapisano" jest obliczana po wyjściu z while'a i jest znowu źle obliczana :/ Dlaczego funkcja filesize() źle oblicza wielkość pliku ?

Ten post edytował Sztef89 9.03.2012, 17:46:05