duzy plik i wydajnosc Opcje

[ActivePlayer]

Mam plik: http://www.kurnik.pl/slownik/ wersja pod windowsa, po rozpakowaniu ~~35 mb, przekonwertowana do ascii.

i teraz:

[PHP] pobierz, plaintext 
<?php
set_time_limit(0);
$wyrazy = file('slowa-win.txt');
foreach($wyrazy as $id => $val){
	$len = strlen($val);
	if($len<4 and $len>5){
		unset($wyrazy[$id]);	
	}	
}
shuffle($wyrazy);
fwrite(fopen('slowa.txt', 'w'), implode("n", array_slice($wyrazy,0,750)));
?>
[PHP] pobierz, plaintext 

komentując 2 ostatnie linijki, skrypt uruchamia sie jakies 3 minuty... i jest okey... ale wywołując razem, 30 minut to mało... to nei jest kwestia slabego sprzetu.

[strife]

Może podziel ten plik na kilka mniejszych. Albo wczytuj plik porcjami... może to coś zmieni.

Pozdro!

[dr_bonzo]

Nie lepiej tego najpierw do bazy wrzucic?

[PHP] pobierz, plaintext 
<?php
fwrite(fopen('slowa.txt', 'w'), implode("n", array_slice($wyrazy,0,750)));
?>
[PHP] pobierz, plaintext 

Pewnie implode powoli dziala.
Nie lepiej zapisywac po linijce: foreach ( $slice )...?

PS.

[PHP] pobierz, plaintext 
<?php
if($len<4 and $len>5){
		unset($wyrazy[$id]);	
	} 
?>
[PHP] pobierz, plaintext 

kiedy ten warunek bedzie prawdziwy?

[Vengeance]

użyj file_get_contents() a nie file()

[dr_bonzo]

W tym pliku sa slowa -- kazde w osobnej linijce, wiec

użyj file_get_contents() a nie file()

Nic mu nie pomoze.

[PHP] pobierz, plaintext 
<?php
implode("n", array_slice($wyrazy,0,750)
?>
[PHP] pobierz, plaintext 

Niepotrzebnie dodajesz "\n" -- file() ich nie ucina.

moj kod:

[PHP] pobierz, plaintext 
<?php
$times = array();
$times[] = array( '---', microtime( TRUE ) );
 
$in = 'slowa-utf8';//plik ze slowami (32 MB)
$out = 'slowa-out'; // wynik
 
$lines = file( $in );
$times[] = array( 'file', microtime( TRUE ) );
 
$slice = array_rand( $lines, 750 ); // przeciez tak mozna (IMG:http://forum.php.pl/style_emoticons/default/biggrin.gif)  zamiast shuffle i slice
$times[] = array( 'shuffle'n'slice', microtime( TRUE ) );
 
 
$outputFile = fopen( $out, 'w' );
 
foreach( $slice as $line )
{
    fwrite( $outputFile, $line );
}
fclose( $outputFile );
$times[] = array( 'write', microtime( TRUE ) );
 
 
for ( $i = 1; $i < count( $times ); $i++ )
{
    print( number_format( $times[ $i ][ 1 ] - $times[ $i - 1 ][ 1 ], 5 ) . ' / ' . $times[ $i ][ 0 ] . '<br />' );
}
 
?>
[PHP] pobierz, plaintext 

Wyniki na moim mega sprzeciochu (2xP3-500 + 512 MB + HDD ~ 25MB/s)

Kod

23.82346 / file
1.81372 / shuffle'n'slice
0.14638 / write

LOL?
a apache uzyl 60% pamieci (IMG:http://forum.php.pl/style_emoticons/default/biggrin.gif) , ActivePlayer ile masz RAMu? moze system zaczal ci swapowac za bardzo.


----
edit: jednak implode nie ma tu nic do rzeczy -- 0.723s z implode, 0.17.. z petla i fwrite.

Ten post edytował dr_bonzo 11.11.2005, 17:47:29

[ActivePlayer]

sempron 3k++ (1,8gzh) 512 ramu

zrobilem tak:
1. wlaczylem skrypt
2.poszedlem
3.przyszedlem
4. jest

ale nie mam pojecia dlaczego tak dlugo sie to robilo. moglem jakiegos timera włączyc, ale w sumie. jednorazowa operacja, wiec nie ma co analizowac. zastanawia mnie tylko... taaa (IMG:http://forum.php.pl/style_emoticons/default/sad.gif)

[PHP] pobierz, plaintext 
<?php
if($len<4 and $len>5){
		unset($wyrazy[$id]);	
	} 
?>
[PHP] pobierz, plaintext 

to juz wiem dlaczego tak dlugo (IMG:http://forum.php.pl/style_emoticons/default/sad.gif) kurde... chyba odpuszcze z tymi dlugosciami... mialo byc or w tym warunku (IMG:http://forum.php.pl/style_emoticons/default/sad.gif)

[jono]

Kiedyś stworzyłem skrypt sprawdzający pisownię. Chyba jedynym logicznym wyjściem jest podzielenie bazy słów na pliki a.txt, b.txt zawierające wyrazy które zaczynają się na daną literę. Działa szybko, a nawet dodałem do skryptu podpowiedzi jakie wyrazy można by uzyć. Jedyną wadą takiego rozwiązania jest to, że skrypt wariuje, kiedy błąd znajdzie się w pierwszej literze...