Witaj Gościu! ( Zaloguj | Rejestruj )

Forum PHP.pl

> Kopiowanie pliku generowanego w php "w locie"
maniutek08
post
Post #1





Grupa: Zarejestrowani
Postów: 107
Pomógł: 1
Dołączył: 23.08.2009

Ostrzeżenie: (0%)
-----

Witam

mam problem ze skopiowaniem pliku xml, który jest generowany "na żądanie" wielkość ok 17MB. Robię to standardowo przez polecenie copy(), i niestety wynik jest losowy : raz się uda skopiować a raz wywala błąd :
[PHP] pobierz, plaintext 
  1. [function.copy]: failed to open stream: HTTP request failed! in
[PHP] pobierz, plaintext



Zrobiłem sobie raport - tak to się przedstawia w ciągu dwóch godziny - skrypt wywoływany co 5 minut : 
[HTML] pobierz, plaintext 
  1. 2015-06-16 14:48:50 - HTTP Filed!
  2. 2015-06-16 14:50:52 - OK!
  3. 2015-06-16 14:55:01 - HTTP Filed!
  4. 2015-06-16 15:00:01 - HTTP Filed!
  5. 2015-06-16 15:05:01 - HTTP Filed!
  6. 2015-06-16 15:10:01 - HTTP Filed!
  7. 2015-06-16 15:15:02 - HTTP Filed!
  8. 2015-06-16 15:20:01 - OK!
  9. 2015-06-16 15:25:01 - HTTP Filed!
  10. 2015-06-16 15:30:01 - OK!
  11. 2015-06-16 15:35:01 - OK!
  12. 2015-06-16 15:40:01 - HTTP Filed!
  13. 2015-06-16 15:45:01 - HTTP Filed!
  14. 2015-06-16 15:50:01 - HTTP Filed!
  15. 2015-06-16 15:55:01 - OK!
  16. 2015-06-16 16:00:01 - OK!
  17. 2015-06-16 16:05:01 - OK!
  18. 2015-06-16 16:10:01 - HTTP Filed!
  19. 2015-06-16 16:15:02 - OK!
  20. 2015-06-16 16:20:01 - HTTP Filed!
  21. 2015-06-16 16:25:01 - HTTP Filed!
  22. 2015-06-16 16:30:01 - OK!
  23. 2015-06-16 16:35:01 - OK!
  24. 2015-06-16 16:40:01 - HTTP Filed!
  25. 2015-06-16 16:45:01 - OK!
  26. 2015-06-16 16:50:01 - OK!
  27. 2015-06-16 16:55:01 - OK!
  28. 2015-06-16 17:00:02 - HTTP Filed!
[HTML] pobierz, plaintext


Go to the top of the page
+Quote Post
 
 Start new topic
Odpowiedzi (1 - 9)
tomxx
post
Post #2





Grupa: Zarejestrowani
Postów: 172
Pomógł: 27
Dołączył: 5.10.2013

Ostrzeżenie: (0%)
-----

Podaj kod, chyba że chcesz, żebyśmy Ci powróżyli (IMG:style_emoticons/default/smile.gif)
Go to the top of the page
+Quote Post
maniutek08
post
Post #3





Grupa: Zarejestrowani
Postów: 107
Pomógł: 1
Dołączył: 23.08.2009

Ostrzeżenie: (0%)
-----

Tak jak pisałem tylko polecenie copy : 
[PHP] pobierz, plaintext 
  1. if(copy($source, '410.xml')) file_put_contents('raport.txt', $time." - OK!\n", FILE_APPEND);
  2. else file_put_contents('raport.txt', $time." - HTTP Filed!\n", FILE_APPEND);
[PHP] pobierz, plaintext


Sory ale linku $source nie mogę podać, ponieważ nie chcę żeby google to indeksował, 2. wolałbym żeby klient o tym się nie dowiedział (IMG:style_emoticons/default/smile.gif)

aktualny raport (totalna losowość ;/): 
[HTML] pobierz, plaintext 
  1. 2015-06-16 14:48:50 - HTTP Filed!
  2. 2015-06-16 14:50:52 - OK!
  3. 2015-06-16 14:55:01 - HTTP Filed!
  4. 2015-06-16 15:00:01 - HTTP Filed!
  5. 2015-06-16 15:05:01 - HTTP Filed!
  6. 2015-06-16 15:10:01 - HTTP Filed!
  7. 2015-06-16 15:15:02 - HTTP Filed!
  8. 2015-06-16 15:20:01 - OK!
  9. 2015-06-16 15:25:01 - HTTP Filed!
  10. 2015-06-16 15:30:01 - OK!
  11. 2015-06-16 15:35:01 - OK!
  12. 2015-06-16 15:40:01 - HTTP Filed!
  13. 2015-06-16 15:45:01 - HTTP Filed!
  14. 2015-06-16 15:50:01 - HTTP Filed!
  15. 2015-06-16 15:55:01 - OK!
  16. 2015-06-16 16:00:01 - OK!
  17. 2015-06-16 16:05:01 - OK!
  18. 2015-06-16 16:10:01 - HTTP Filed!
  19. 2015-06-16 16:15:02 - OK!
  20. 2015-06-16 16:20:01 - HTTP Filed!
  21. 2015-06-16 16:25:01 - HTTP Filed!
  22. 2015-06-16 16:30:01 - OK!
  23. 2015-06-16 16:35:01 - OK!
  24. 2015-06-16 16:40:01 - HTTP Filed!
  25. 2015-06-16 16:45:01 - OK!
  26. 2015-06-16 16:50:01 - OK!
  27. 2015-06-16 16:55:01 - OK!
  28. 2015-06-16 17:00:02 - HTTP Filed!
  29. 2015-06-16 17:05:02 - OK!
  30. 2015-06-16 17:10:01 - HTTP Filed!
  31. 2015-06-16 17:15:01 - OK!
  32. 2015-06-16 17:20:02 - OK!
  33. 2015-06-16 17:25:01 - OK!
  34. 2015-06-16 17:30:01 - OK!
  35. 2015-06-16 17:35:01 - HTTP Filed!
  36. 2015-06-16 17:40:01 - OK!
  37. 2015-06-16 17:45:01 - OK!
  38. 2015-06-16 17:50:01 - HTTP Filed!
  39. 2015-06-16 17:55:02 - OK!
  40. 2015-06-16 18:00:01 - OK!
  41. 2015-06-16 18:05:01 - OK!
  42. 2015-06-16 18:10:01 - HTTP Filed!
  43. 2015-06-16 18:15:01 - OK!
  44. 2015-06-16 18:20:01 - OK!
  45. 2015-06-16 18:25:02 - OK!
  46. 2015-06-16 18:30:01 - OK!
  47. 2015-06-16 18:35:01 - OK!
  48. 2015-06-16 18:40:02 - HTTP Filed!
  49. 2015-06-16 18:45:01 - OK!
  50. 2015-06-16 18:50:01 - OK!
  51. 2015-06-16 18:55:01 - HTTP Filed!
  52. 2015-06-16 19:00:01 - OK!
  53. 2015-06-16 19:05:01 - OK!
  54. 2015-06-16 19:10:02 - OK!
  55. 2015-06-16 19:15:01 - OK!
  56. 2015-06-16 19:20:02 - HTTP Filed!
  57. 2015-06-16 19:25:01 - OK!
  58. 2015-06-16 19:30:01 - OK!
  59. 2015-06-16 19:35:01 - OK!
  60. 2015-06-16 19:40:01 - OK!
  61. 2015-06-16 19:45:01 - OK!
  62. 2015-06-16 19:50:01 - HTTP Filed!
  63. 2015-06-16 19:55:01 - OK!
  64. 2015-06-16 20:00:01 - HTTP Filed!
  65. 2015-06-16 20:05:01 - HTTP Filed!
  66. 2015-06-16 20:10:01 - OK!
  67. 2015-06-16 20:15:01 - OK!
  68. 2015-06-16 20:20:02 - OK!
[HTML] pobierz, plaintext
Go to the top of the page
+Quote Post
markuz
post
Post #4





Grupa: Zarejestrowani
Postów: 1 240
Pomógł: 278
Dołączył: 11.03.2008

Ostrzeżenie: (0%)
-----

Może kopiuj "po trochu". Spróbuj tak: http://stackoverflow.com/questions/6564643...ver-2-gb-in-php
Go to the top of the page
+Quote Post
maniutek08
post
Post #5





Grupa: Zarejestrowani
Postów: 107
Pomógł: 1
Dołączył: 23.08.2009

Ostrzeżenie: (0%)
-----

pierwsza funkcja z powyższego wątku - to samo : failed to open stream: HTTP request failed!
Go to the top of the page
+Quote Post
johny_s
post
Post #6





Grupa: Zarejestrowani
Postów: 594
Pomógł: 122
Dołączył: 17.07.2005
Skąd: P-na

Ostrzeżenie: (0%)
-----

może serwer z którego pobierasz dane po prostu nie wyrabia
Go to the top of the page
+Quote Post
maniutek08
post
Post #7





Grupa: Zarejestrowani
Postów: 107
Pomógł: 1
Dołączył: 23.08.2009

Ostrzeżenie: (0%)
-----

Też to zasugerowałem - tym bardziej że w ten sposób kopiuje o wiele większe pliki. A taką dostałem odpowiedź od informatyka :

Plik jest dostepny poprzez protokuł http takze nie ma zadnych zabezpieczeń zeby go nie sciagac. Plik jest generowany na rzadanie takze byc moze z tego wynika problem ze "skopiowaniem" go. Sam proces wytwarzania pliku trwa dobre ponad 10 sekund takze niezaleznie od technologii sciagania, proponowałbym zastosować taką metodę, aby ewentualny czas generowania jak i samo przesylanie pliku rzędu 17MB miało możliwość powodzenia.
Go to the top of the page
+Quote Post
johny_s
post
Post #8





Grupa: Zarejestrowani
Postów: 594
Pomógł: 122
Dołączył: 17.07.2005
Skąd: P-na

Ostrzeżenie: (0%)
-----

curl i duży timeout
Go to the top of the page
+Quote Post
maniutek08
post
Post #9





Grupa: Zarejestrowani
Postów: 107
Pomógł: 1
Dołączył: 23.08.2009

Ostrzeżenie: (0%)
-----

znalazłem sobie taką funkcyjkę : 

[PHP] pobierz, plaintext 
  1. function getUrlContents($url)
  2. {
  3.    $url_parsed = parse_url($url);
  4.  
  5.    $host = $url_parsed["host"];
  6.    if ($url == '' || $host == '') {
  7.        return false;
  8.    }
  9.    $port = 80;
  10.    $path = (empty($url_parsed["path"]) ? '/' : $url_parsed["path"]);
  11.    $path.= (!empty($url_parsed["query"]) ? '?'.$url_parsed["query"] : '');
  12.    $out = "GET $path HTTP/1.0\r\nHost: $host\r\nConnection: Close\r\n\r\n";
  13.    $fp = fsockopen($host, $port, $errno, $errstr, 30);
  14.    fwrite($fp, $out);
  15.    $headers = '';
  16.    $content = '';
  17.    $buf = '';
  18.    $isBody = false;
  19.   while (!feof($fp) and !$isBody) {
  20.           $buf = fgets($fp, 1024);
  21.           if ($buf == "\r\n" ) {$isBody = true;}
  22.           else{$headers .= $buf;}
  23.           }
  24.           $file1 = fopen(basename($url_parsed["path"]), 'w');
  25.           $bytes=stream_copy_to_stream($fp,$file1);
  26.    fclose($fp);
  27.    return $bytes;
  28. }
[PHP] pobierz, plaintext


póki co raport jesk OK! : 

[HTML] pobierz, plaintext 
  1. 2015-06-16 22:15:01 - OK!
  2. 2015-06-16 22:20:02 - OK!
  3. 2015-06-16 22:25:01 - OK!
  4. 2015-06-16 22:30:01 - OK!
  5. 2015-06-16 22:35:02 - OK!
  6. 2015-06-16 22:40:01 - OK!
  7. 2015-06-16 22:45:01 - OK!
  8. 2015-06-16 22:50:01 - OK!
[HTML] pobierz, plaintext


hm.. w czym ona jest lepsza od copy() czy file_get_contents?
Go to the top of the page
+Quote Post
maly_swd
post
Post #10





Grupa: Zarejestrowani
Postów: 744
Pomógł: 118
Dołączył: 14.02.2009
Skąd: poziome

Ostrzeżenie: (0%)
-----

Chodzi o to, że twój skrypt ("copy") czeka chwile i nie dostaje danych (zbyt długo generuje się tam XML), po czym uznaje że jest błąd.

Ogólnie chodzi o timeOut, w fsockopen podajesz 30 sekund.
Go to the top of the page
+Quote Post
« Następny starszy · PHP · Następny nowszy »
 

Reply to this topicStart new topic
2 Użytkowników czyta ten temat (2 Gości i 0 Anonimowych użytkowników)
0 Zarejestrowanych:

 

Tryb wyświetlania: Przełącz na: Standardowy · Linearny+ · Przełącz na: Drzewo

Śledź ten temat · Wyślij temat na e-mail · Wydrukuj ten temat · Subskrybuj to forum

RSS Aktualny czas: 19.09.2025 - 17:48
Powered By IP.Board © 2025  IPS, Inc.
All changes by PHP.pl Administrators
Hosting zapewnia NQ.pl hosting, trac, svn