[PHP]Algorytm, funkcja zdania, słowa, zagadka Opcje

[Malinaa]

Witam,
pytanie w jaki sposób wybrać z całego tekstu fragment, w którym występuje najwięcej powtarzających się słów?

Tekst

Mądrość w najwęższym znaczeniu to umiejętność podejmowania uzasadnionych decyzji, które w dłuższej perspektywie przynoszą pozytywne rezultaty. W innym ujęciu można powiedzieć, że mądrość to umiejętność praktycznego wykorzystywania posiadanej wiedzy i doświadczenia. W tym sensie można np. mówić o mądrości nauczyciela, który wykorzystując swoją wiedzę pedagogiczną radzi sobie z kształceniem niesfornego ucznia, czy mądrości szefa, który w oparciu o posiadaną wiedzę fachową i praktyczną znajomość stosunków międzyludzkich skutecznie zarządza wieloosobowym personelem. W głębszym sensie, często stosowanym w różnych religiach, mądrość oznacza zdolność do działania nacechowanego głębokim, emocjonalnym zaangażowaniem, zwiększającego w długiej perspektywie czasowej nie tylko dobro własne, ale też dobro ogólne. W tym sensie używa się tego terminu w takich zwrotach jak np. mądrość życiowa, czy mądrość rodzicielska. W obu tych znaczeniach mądrość wymaga nie tylko samej wiedzy, lecz także szeregu predyspozycji psychicznych, ale też duchowych i etycznych...

Źródło Wikipedia

Liczba wystąpień słów:
1. mądrość - występuje 6 razy w tekście
2. sensie - 3 razy
3. mądrości - 2 razy
...
umiejętność - 2 razy

Po przeanalizowaniu tekstu interesują nas tylko fragmenty – zdania z największą liczbą wystąpień powtarzających się słów.

Z tekst powinien zostać wybrany fragment,

jako pierwsze zdanie, priorytetowe słowo mądrość (występuje 2 razy – najwięcej w jednym zdaniu) i sensie (1 raz w zdaniu).

W tym sensie używa się tego terminu w takich zwrotach jak np. mądrość życiowa, czy mądrość rodzicielska.

i dalej

W tym sensie można np. mówić o mądrości nauczyciela, który wykorzystując swoją wiedzę pedagogiczną radzi sobie z kształceniem niesfornego ucznia, czy mądrości szefa, który w oparciu o posiadaną wiedzę fachową i praktyczną znajomość stosunków międzyludzkich skutecznie zarządza wieloosobowym personelem.

Z ograniczeniem długości wybranego tekstu np. do 3 zdań, albo może łatwiej do 500 znaków.

W jaki sposób tego dokonać?

Ten post edytował Malinaa 6.12.2010, 13:44:14

[Daiquiri]

Może skorzystaj z str_word_count? Ewentualnie jak będziesz korzystał z implode() czy explode() czy ogólnie tablic to przyda się array_count_values

Ten post edytował Daiquiri 6.12.2010, 11:45:23

[Malinaa]

Funkcje zliczającą same słowa już napisałem wcześniej z wykorzystaniem array_count_values(), ale jak teraz wydobyć z tekstu tylko te zdania, w których znajdują się istotne dane - najczęściej występujące slowa i ułożyć je posortować w kolejności od zdania priorytetowego (z największą liczbą słów)?

[pablo89pl]

Moze taka prowizora coś nakieruje:

robisz sobie np explode po kropce i zapisujesz to do tablicy
indeks to numer zdania

[PHP] pobierz, plaintext 
$zdania = explode('. ',$tekst);
[PHP] pobierz, plaintext 

nastepnie mozesz sobie jakos przeleciec podaną tablicę foreach'em
dla każdego tekstu robisz np znowu explode, tym razem po spacji

[PHP] pobierz, plaintext 
$slowa = array();
foreach($zdania as $key=>$zdanie)
{ 
  $slowa[$key] = explode(' ',$zdanie);
  $scalowe_slowa = array_merge($slowa, $slowa[$key]);
}
[PHP] pobierz, plaintext 

nastepnie zliczasz wystapienia http://pl2.php.net/manual/en/function.array-count-values.php

[PHP] pobierz, plaintext 
$ile = array_count_value($scalone_slowa); 
[PHP] pobierz, plaintext 

i masz tu ilosc wystapien kazdego slowa

dostosuj sobie podane przyklady do Twoich wymagań
Pisane z palca, powinno pomóc
Powodzenia

Ten post edytował pablo89pl 6.12.2010, 12:11:32

[Malinaa]

Obecnie mam coś takiego:

[PHP] pobierz, plaintext 
<?php
 
$tekst = "Mądrość w najwęższym znaczeniu to umiejętność podejmowania uzasadnionych decyzji, które w dłuższej perspektywie przynoszą pozytywne rezultaty. W innym ujęciu można powiedzieć, że mądrość to umiejętność praktycznego wykorzystywania posiadanej wiedzy i doświadczenia. W tym sensie można np. mówić o mądrości nauczyciela, który wykorzystując swoją wiedzę pedagogiczną radzi sobie z kształceniem niesfornego ucznia, czy mądrości szefa, który w oparciu o posiadaną wiedzę fachową i praktyczną znajomość stosunków międzyludzkich skutecznie zarządza wieloosobowym personelem. W głębszym sensie, często stosowanym w różnych religiach, mądrość oznacza zdolność do działania nacechowanego głębokim, emocjonalnym zaangażowaniem, zwiększającego w długiej perspektywie czasowej nie tylko dobro własne, ale też dobro ogólne. W tym sensie używa się tego terminu w takich zwrotach jak np. mądrość życiowa, czy mądrość rodzicielska. W obu tych znaczeniach mądrość wymaga nie tylko samej wiedzy, lecz także szeregu predyspozycji psychicznych, ale też duchowych i etycznych...";
 
// Czysc
$tekst = strip_tags($tekst);
 
// Wyjatki
$szukaj = array('np.','....','...','..'); // mozna inaczej, powstaja bledy ?
$zastap = array('np','','','');
 
$tekst_wyjatki = str_replace($szukaj, $zastap, $tekst);
 
// Zdania
$zdania = explode('.', $tekst_wyjatki);
 
// Slowa
$slowa = array();
 
foreach($zdania as $key => $zdanie) {
 // Tylko slowa, usun inne znaki ?
 // $zdanie = preg_replace('/[^a-zA-Z0-9 ]/i', '', $zdanie);
 
 $slowa[$key] = explode(' ', trim($zdanie));
 
 // Minimalna dlugosc slowa ?
 // if (strlen($slowa) > 5) 
 
 // $scalone_slowa = array_merge($slowa, $slowa[$key]);
}
 
// $ile = array_count_values($slowa);  // Blad !
 
echo '<pre>';
// print_r($scalone_slowa); // cos nie tak ?
print_r($slowa);
echo '</pre>';
 
?>
[PHP] pobierz, plaintext 

nie działa.

Można ten kod dopracować i otrzymać w wyniku oczekiwane zdania?

Ten post edytował Malinaa 6.12.2010, 13:24:59

[pablo89pl]

mialeś z tego skorzystać i samemu coś wykombinować...
np:

[PHP] pobierz, plaintext 
<?php
 
$tekst = "Mądrość w najwęższym znaczeniu to umiejętność podejmowania uzasadnionych decyzji, które w dłuższej perspektywie przynoszą pozytywne rezultaty. W innym ujęciu można powiedzieć, że mądrość to umiejętność praktycznego wykorzystywania posiadanej wiedzy i doświadczenia. W tym sensie można np. mówić o mądrości nauczyciela, który wykorzystując swoją wiedzę pedagogiczną radzi sobie z kształceniem niesfornego ucznia, czy mądrości szefa, który w oparciu o posiadaną wiedzę fachową i praktyczną znajomość stosunków międzyludzkich skutecznie zarządza wieloosobowym personelem. W głębszym sensie, często stosowanym w różnych religiach, mądrość oznacza zdolność do działania nacechowanego głębokim, emocjonalnym zaangażowaniem, zwiększającego w długiej perspektywie czasowej nie tylko dobro własne, ale też dobro ogólne. W tym sensie używa się tego terminu w takich zwrotach jak np. mądrość życiowa, czy mądrość rodzicielska. W obu tych znaczeniach mądrość wymaga nie tylko samej wiedzy, lecz także szeregu predyspozycji psychicznych, ale też duchowych i etycznych..";
// Czysc
$tekst = strip_tags($tekst);
 
// Wyjatki
$szukaj = array('np.','....','...','..'); // mozna inaczej, powstaja bledy ?
$zastap = array('np','','','');
 
$tekst_wyjatki = str_replace($szukaj, $zastap, $tekst);
 
// Zdania
$zdania = explode('.', $tekst_wyjatki);
 
// Slowa
$slowa = array();
$scalone_slowa = array();
foreach($zdania as $key => $zdanie) {
 
	$slowa[$key] = explode(' ', trim($zdanie));
 
	foreach($slowa[$key] as $slowko )
	{
		if (strlen($slowko) > 5) $scalone_slowa[] = $slowko."#".$key;
	}
 
}
 
$ile = array_count_values($scalone_slowa); 
 
echo '<pre>';
ksort($ile);
print_r($ile);
echo '</pre>';
 
 
 
[PHP] pobierz, plaintext 

zwracaną masz tablice: słowo#numer_zdania => ilosc_wystapien
obrób sobie w sposób jaki tam sobie potrzebujesz

Ten post edytował pablo89pl 6.12.2010, 16:32:12

[Malinaa]

Szczerze mówiąc,
nie wiem jak z Twojego kodu wybrać tylko te potrzebne zdania,
ale z pomocą tego kodu, rozwiązałem zagadkę (IMG:style_emoticons/default/smile.gif)

Tutaj robisz coś fajnego, ja zrobiłem to na swój sposób.
Jeżeli miałbyś czas dokończyć to super.

Podsumowując dziękuje za prezent Mikołajkowy (IMG:style_emoticons/default/dry.gif)

[pablo89pl]

[PHP] pobierz, plaintext 
<?php
 
$tekst = "Mądrość w najwęższym znaczeniu to umiejętność podejmowania uzasadnionych decyzji, które w dłuższej perspektywie przynoszą pozytywne rezultaty. W innym ujęciu można powiedzieć, że mądrość to umiejętność praktycznego wykorzystywania posiadanej wiedzy i doświadczenia. W tym sensie można np. mówić o mądrości nauczyciela, który wykorzystując swoją wiedzę pedagogiczną radzi sobie z kształceniem niesfornego ucznia, czy mądrości szefa, który w oparciu o posiadaną wiedzę fachową i praktyczną znajomość stosunków międzyludzkich skutecznie zarządza wieloosobowym personelem. W głębszym sensie, często stosowanym w różnych religiach, mądrość oznacza zdolność do działania nacechowanego głębokim, emocjonalnym zaangażowaniem, zwiększającego w długiej perspektywie czasowej nie tylko dobro własne, ale też dobro ogólne. W tym sensie używa się tego terminu w takich zwrotach jak np. mądrość życiowa, czy mądrość rodzicielska. W obu tych znaczeniach mądrość wymaga nie tylko samej wiedzy, lecz także szeregu predyspozycji psychicznych, ale też duchowych i etycznych..";
// Czysc
$tekst = strip_tags($tekst);
 
// Wyjatki
$szukaj = array('np.','....','...','..',','); // mozna inaczej, powstaja bledy ?
$zastap = array('np','','','');
 
$tekst_wyjatki = str_replace($szukaj, $zastap, $tekst);
 
// Zdania
$zdania = explode('.', $tekst_wyjatki);
 
// Slowa
$slowa = array();
$scalone_slowa = array();
 
 
foreach($zdania as $key => $zdanie) {
 
	$slowa[$key] = explode(' ', trim($zdanie));
 
	foreach($slowa[$key] as $slowko )
	{
		$slowko = mb_strtolower($slowko,'UTF-8');
		if (strlen($slowko) > 5) 
		{	
			$wszystkie_slowa[] = $slowko;
			if( !in_array($key, (array) $gdzie[$slowko] ) ) $gdzie[$slowko][] = $key; // tablica z numerami kazdego zdania
		}
	}
}
 
$ile = array_count_values($wszystkie_slowa); // ilosc wystapien kazdego slowka
arsort($ile);
 
$minimalna_ilosc_wystapien = 4; // ile wystapien minimum danego slowka
$wybrane_zdania = array();
foreach($ile as $slowo => $ilosc )
{
	if( $ilosc < $minimalna_ilosc_wystapien ) break;
	$wybrane_zdania = array_merge($gdzie[$slowo], $wybrane_zdania);
}
$wybrane_zdania = array_unique($wybrane_zdania); 
echo '<pre>';
 
print_r($ile); // ktore slowko ile razy wystapilo
print_r($gdzie); // ktore slowko w ktorym zdaniu wystapilo
print_r($wybrane_zdania); // zdania ktore zawieraja slowka z iloscia w calym tekscie nie mniejsza niz $minimalna_ilosc_wystapien
 
asort($wybrane_zdania);
foreach($wybrane_zdania as $id)
{
	echo $zdania[$id].PHP_EOL;
}
echo '</pre>';
 
[PHP] pobierz, plaintext 

zmodyfikuj sobie jak uwazasz, usun co zbedne, dodaj co potrzebne (IMG:style_emoticons/default/smile.gif)
z tego co napisales chcialbys wybrac zdania z iloscia tych wybranych slow jak najwieksza
w takim razie musisz uzyc substr_count jakeis pętle na każdym zdaniu i zsumować wystąpienia tych słow w kazdym zdaniu i potem wybrac
wówczas musisz zmodyfikowac następującą pętlę:

[PHP] pobierz, plaintext 
foreach($ile as $slowo => $ilosc )
{
	if( $ilosc < $minimalna_ilosc_wystapien ) break;
	$wybrane_zdania = array_merge($gdzie[$slowo], $wybrane_zdania);
}
[PHP] pobierz, plaintext 

[Malinaa]

Chyba zakumałem Twój kod.

To jednak było za wcześnie
//$wybrane_zdania = array_unique($wybrane_zdania);

//asort($wybrane_zdania);

ponieważ nie wyświetlało wyniku w oczekiwanej kolejności,
ustaliłem więc priorytety i teraz działa na 100% (IMG:style_emoticons/default/smile.gif)

[PHP] pobierz, plaintext 
// Priorytetowe zdania - tworzenie algorytmu
$klucze = array_keys($ile); 
$slowo_one = $klucze[0]; // priorytetowe pierwsze slowo
$slowo_two = $klucze[1];
$slowo_three = $klucze[2];
 
$priorytetowe_zdania = array();
 
foreach($wybrane_zdania as $id) {
   $zdanie = $zdania[$id].PHP_EOL;
 
   // Ustalenie priorytetu - pierwsze slowo (najwieksza liczba wystapien)
   $priorytet_one = preg_match_all("/$slowo_one/i", $zdanie, $wyjscie);
   $priorytet_two = preg_match_all("/$slowo_two/i", $zdanie, $wyjscie);
   $priorytet_three = preg_match_all("/$slowo_three/i", $zdanie, $wyjscie);
 
   $priorytet_razem = $priorytet_one + $priorytet_two + $priorytet_three;
 
   $ile_razem = $priorytet_razem.'#'.$id;
 
   $priorytetowe_zdania[$ile_razem] = trim($zdanie).'. ';
}
 
// Usun dupliaty wartosci
$priorytetowe_zdania = array_unique($priorytetowe_zdania);
 
// Sortowanie
krsort($priorytetowe_zdania);
 
// Wynik dzialania
$ile_zdan = 3; // Maksymalna liczba zdan
 
foreach($priorytetowe_zdania as $id) {
  $i ++;
  if ($i <= $ile_zdan) $wynik .= $id;
}
 
echo '<p>'.$wynik.'</p>';
[PHP] pobierz, plaintext 

zawsze są jednak jakieś wyjątki,
jest jeszcze jeden problem

// Wyjatki
$szukaj = array('np.','....','...','..',','); // mozna inaczej, powstaja bledy ?
$zastap = array('np','','','');
$tekst_wyjatki = str_replace($szukaj, $zastap, $tekst);

Pomysł na wyjątki?

Coś w rodzaju jeśli więcej niż jedna kropka ciąg = ''
i dla skrótów jeśli np. długość słowa przed kropką <= 3 znaki.

Ten post edytował Malinaa 7.12.2010, 22:01:42

[Noidea]

Możesz przyjąć, że granica zdań jest tam, gdzie występuje wzorzec:

Kod

mała_litera kropka białe_znaki duża_litera

i użyć wyrażeń regularnych do rozbijania tekstu. Przykład 2 pokazuje, że rozwiązanie nie jest idealne (IMG:style_emoticons/default/smile.gif)

[PHP] pobierz, plaintext 
<pre>
<?php
 
$example1 = "Mądrość w najwęższym znaczeniu to umiejętność podejmowania uzasadnionych decyzji, które w dłuższej perspektywie przynoszą pozytywne rezultaty. W innym ujęciu można powiedzieć, że mądrość to umiejętność praktycznego wykorzystywania posiadanej wiedzy i doświadczenia. W tym sensie można np. mówić o mądrości nauczyciela, który wykorzystując swoją wiedzę pedagogiczną radzi sobie z kształceniem niesfornego ucznia, czy mądrości szefa, który w oparciu o posiadaną wiedzę fachową i praktyczną znajomość stosunków międzyludzkich skutecznie zarządza wieloosobowym personelem. W głębszym sensie, często stosowanym w różnych religiach, mądrość oznacza zdolność do działania nacechowanego głębokim, emocjonalnym zaangażowaniem, zwiększającego w długiej perspektywie czasowej nie tylko dobro własne, ale też dobro ogólne. W tym sensie używa się tego terminu w takich zwrotach jak np. mądrość życiowa, czy mądrość rodzicielska. W obu tych znaczeniach mądrość wymaga nie tylko samej wiedzy, lecz także szeregu predyspozycji psychicznych, ale też duchowych i etycznych..";
$example2 = "Skrótowce wykazują często właściwości odmienne od reszty słownictwa; wiele z nich ma na przykład akcent oksytoniczny (akcent końcowy, na ostatniej sylabie), np. AWS (Akcja Wyborcza Solidarność) [wymowa: awues], BBC (British Broadcasting Corporation) [wymowa: bibis-i].";
$example3 = "Test zdań konczących się polską literą. Jakieś zdanie. Żdanie z polską literą na początku.";
 
 
$pattern = "~(?<=\p{Ll}\.)\s+(?=\p{Lu})~u";
 
print_r( preg_split( $pattern, $example1 ) );
print_r( preg_split( $pattern, $example2 ) );
print_r( preg_split( $pattern, $example3 ) );
 
?>
</pre>
[PHP] pobierz, plaintext 

PS. Wyrażenie działa dla tekstu zakodowanego w UTF-8. Jeśli z jakiegoś powodu używasz kodowania iso/windows, to zamień \p{Ll} i \p{Lu} odpowiednio na [a-zążśźęćńół] i [A-ZĄŻŚŹĘĆŃÓŁ] i wywal modyfikator u

Ten post edytował Noidea 7.12.2010, 23:38:00

[Malinaa]

Tym sposobem mogłoby być i lepiej,
ale narazie przekłamuje.

Wyniki, zliczone słowa

// str_replace
[mądrość] => 6
[sensie] => 3
[wiedzy] => 2
[perspektywie] => 2
[wiedzę] => 2
[mądrości] => 2
[można] => 2
[który] => 2
[umiejętność] => 2

// pattern - preg_split ?
[mądrość] => 6
[można] => 2
[mądrości] => 2
[wiedzę] => 2
[perspektywie] => 2
[który] => 2
[sensie] => 2
[umiejętność] => 2

Dlaczego z użyciem pattern przekłamuje,
ponieważ bez str_replace np. wyraz 'sensie' występuje też z przecinkiem [sensie,] => 1
i wiele innych wyrazów podobnie.
Wyrażenie nie usuwa przecinka i innych znaków znajdujących się przed, za wyrazem.

Musiałoby być tutaj inne wyrażenie?

[Noidea]

Jeśli potrzebujesz tylko usunąć przecinki na końcach wyrazów, to robisz:

[PHP] pobierz, plaintext 
$slowko = trim( $slowko, "," );
[PHP] pobierz, plaintext 

ale polecam oczyścić słowa ze wszelkiego śmiecia, które znajduje się na początku/końcu (nawiasy, przecinki, cyfry, dwukropki, itp.)

[PHP] pobierz, plaintext 
// Usuwa wszystko co nie jest literą z początku i końca wyrazu
$slowko = preg_replace( "~^[^\pL]+~u", "", $slowko );
$slowko = preg_replace( "~[^\pL]+$~u", "", $slowko );
[PHP] pobierz, plaintext 

Teraz skrypt powinien spełniać twoje oczekiwania, ale nadal nie poradzi sobie ze wszystkimi przypadkami. Język polski nie jest językiem regularnym, więc nie da się go ogarnąć wyrażeniami regularnymi.

[Malinaa]

Teraz bez kombnacji jest oczekiwany wynik.
I to mi się podoba (IMG:style_emoticons/default/smile.gif)
Może nie jest idealnie, ale jest bardzo dobrze.
Dzięki