[symfony][zend][lucene] obsługa polskich znaków (utf-8) Opcje

[michalkjp]

Nie wiem czy to rozwiązanie jest szerzej znane - nie znalazłem go podczas googlowania.

Używam lucene z zenda pod symfony w sposób przedstawiony w tutorialu jobeet - dzień 17.

Niestety przy zapytaniach zawierających polskie znaki lucene się wykrzaczało. Na sieci jest kilka rozwiązań tego problemu - poczynając od zmian w kodzie lucene (coś u mnie nie działało) przez odpowiednią konfigurację lucene z poziomu zenda (nie wiedziałem jak to zintegrować z symfony...). Niestety żadne ze znalezionych rozwiązań u mnie nie działało - dlatego przyjrzałem się temu jak jest konfigurowane lucene z poziomu propelowskiego pluginu sfLucenePlugin i tam znalazłem najlepsze działające rozwiązanie.

do funkcji rejestrującej zend'a

[PHP] pobierz, plaintext 
  static public function registerZend()
  {
    if (self::$zendLoaded)
    {
      return;
    }
 
    set_include_path(sfConfig::get('sf_lib_dir').'/vendor'.PATH_SEPARATOR.get_include_path());
    require_once sfConfig::get('sf_lib_dir').'/vendor/Zend/Loader/Autoloader.php';
    Zend_Loader_Autoloader::getInstance();
    self::$zendLoaded = true;
  }
[PHP] pobierz, plaintext 

trzeba dodać Zend_Search_Lucene_Search_QueryParser::setDefaultEncoding('UTF-8');

[PHP] pobierz, plaintext 
  static public function registerZend()
  {
    if (self::$zendLoaded)
    {
      return;
    }
 
    set_include_path(sfConfig::get('sf_lib_dir').'/vendor'.PATH_SEPARATOR.get_include_path());
    require_once sfConfig::get('sf_lib_dir').'/vendor/Zend/Loader/Autoloader.php';
    Zend_Loader_Autoloader::getInstance();
    Zend_Search_Lucene_Search_QueryParser::setDefaultEncoding('UTF-8');
    self::$zendLoaded = true;
  }
[PHP] pobierz, plaintext 

Mam nadzieję, że to rozwiązanie zaoszczędzi komuś trochę grzebania i szukania - przynajmniej mi bardziej się podoba niż czary mary z ustawianiem na sztywno kodowań w lucene (IMG:style_emoticons/default/winksmiley.jpg)

[trystero]

Hej bardzo się ucieszyłem gdy znalazłem Twój post. Bo akurat też się od dłuższego czasu z tym męczę aby to zaczęło działać poprawnie.

Wprowadziłem zmiany zalecane przez Ciebie i na pierwszy rzut oka wydawało się, że wszystko jest w porządku. Tzn coś tam się w wynikach pojawiało wiec uznałem to za sukces, ponieważ wcześniej wyszukiwarka w ogóle nie zwracała żadnych wyników.

Jednak po dokładniejszej analizie zauważyłem, że Lucene przy szukaniu zaczął jednak popełniać błędy. Może podam przykład to będzie łatwiej zrozumieć jakie...

Przykład 1:
wpisuje w wyszukiwarce hasło: Żona
znajduje wszystkie rekordy które zawierają słowo ona. Zauważyłem ten błąd ponieważ miałem za dużo wyników na liście i z rzeczy które w ogóle nie miały hasła żona w indexie.

Przykład 2:
Ten jest bardziej ciekawy, wpisałem hasło: Książki
Lucene wyszukało mi oczywiście książki... ale... przy okazji znalazło hasła które nijak mają się do książek.
Doszedłem,że gdy występuje polski znaczek tak jak w tym haśle , to Lucene znajdzie
hasła które zawierają Ksi a także ki

Napisz czy też to u siebie zauważyłeś jeśli tak to czy i jak sobie z tym poradziłeś.

Pozdrawiam

Ten post edytował trystero 14.11.2010, 07:53:11