Wyrazenia Regularne, kolorowanie skladni za pomoca php Opcje

[y3ti]

Witam,

Wraz z moim znajomym piszemy skrypt odpowiedzialny za kolorowanie skladni w artykulach i forum w naszym serwisie. Jak dotad wszystko nam szlo jak po masle, ale natknelismy sie na pewien problem, z ktorym od pewnego juz czasu nie mozemy
dac sobie sami rady.

Problem polega na tym, ze jak kolorujemy slowa kluczowe (dla przykladu niech to bedzie int z C) to slowa te nam sie koloruja, ale niestety rowniez wtedy, jesli
slowo to jest lancuchem znakow. Mamy powiedzmy taki oto prosty kod napisany w C:

Kod

#include <stdio.h>

int main()
{
   printf("Hello int World \n");

   return 0;
}

i teraz powiedzmy, ze chcemy pokolorowac wszystkie int na niebiesko, wiec:

[PHP] pobierz, plaintext 
<?php 
   
   $zrodlo = join('', file('zrodlo.c'));
   $zrodlo = htmlspecialchars( $zrodlo );
 
   $zrodlo = preg_replace('/bintb/', '<span style=\"color: blue\">int</span>', $zrodlo );
 
?>
[PHP] pobierz, plaintext 

I teraz pytanie. Jak powinno wygladac wyrazenie regularne, aby nie kolorowalo tekstu w cudzyslowach?

Probowalem tak:

[PHP] pobierz, plaintext 
<?php
 
   $zrodlo = preg_replace('/([^\"]*?)bintb(.*[^\"])/', '1<span style=\"color:blue\">int</span>2', $zrodlo );
 
?>
[PHP] pobierz, plaintext 

Niestety tez nie dziala. Juz nie mam pomyslu jak mozna sobie z tym poradzic.

Bede wdzieczny za wszelkie informacje.

[DeyV]

Wydaje mi się, zę w takim przypadku najlepiej by było zobaczyć jak robią to inni.
Niestety - problem nie jest łatwy, i nie ma jednego dobrego rozwiązania.
Te które widziałem napisane w php nie zapewniają jednak 100% skteczności (jak choćby kolorowanie SQL na tym forum - które jest tylko delikatnie zmodyfikowanym orginalnym mechanizmem z IPB)

Widziałe natomiast niedawno skrypt, który kolorował kod dokłądnie tak, jak by "mi się to podobało" Niestety - jest napisany w JS... Mimo to sądzę, że przestudiowanie jesgo konstrukcji może przynieść Wam spory pożytek
http://gosu.pl/dhtml/JavascriptDecoder.html

ps. Brawo, cagrET

[cagrET]

W tym dekoderze kolorowanie skladni dziala niestety tylko na Mozilli. Na IE nie dziala poniewaz string zawierajacy znak nowej lini "\n" ktory został wygenerowany przez javascript nie działa w tagach PRE, nie mam pojęcia czemu.

Jak znajdę trochę czasu to spróbuję napisać w php kolorowanie składni dla C/SQL i może dołącze mały tutorial (niestety pewnie po angielsku). W sumie to nie jest trudne, jak się idzie na skróty tak jak ja to zrobiłem, niezbyt profejonalnie, ale spełnia swoje założenia, najważniejsze że działa ! Już słyszałem od paru osób że jedynym słusznym rozwiązaniem tego problemu jest napisanie parsera, ktory zajmie z minimum 200 KB, a napisanie go zajmie z kilka miechów, no thx

W sumie to kolorowanie tej skladni C mozna by napisac w javascript, a później mały skrypt który pobiera na stronie wszystkie elementy PRE z klasa np "clanguage" i je koloruje.

Kod

<pre class="clanguage">
#include <stdio.h>

int main()
{
  printf("Hello int World \n");

  return 0;
}
</pre>

[y3ti]

Postanowilem jeszcze raz poszukac na googlach i znalazlem kilka rozwiazan. Idealnym (no prawie) zostal projekt Geshi - skrypt w php do kolorowania skladni.

http://qbnz.com/highlighter/

Mozliwosci:

- dosc dobrze koloruje, sa drobne bledy, ale mozna je sobie odpusic
- projekt jest wciaz rozwijany
- numerowanie linii kodu
- latwa rozbudowa parsera (dodanie "nowych jezykow")
- latwo mozna modyfikowac style w kolorowaniu (te proponowane przez tworcow maja
brzydkie kolorki, ale to tylko kwestia gustu)

Jedyna wada jaka znalazlem jest to, ze nie zwraca nam lancucha z pokolorowanym tekstem, tylko odrazu wyswietla. Naszczescie mozna sie z tym uporac za pomoca
manipulacji buforem.

[DeyV]

Bardzo ciekawy projekt. Jestem pod wrażeniem. Załuje tylko, że powstał dopiero teraz (first release: 2004-07-17 05:00) ponieważ poświęciłem kiedyś sporo czasu na znalezienie czegoś takiego w php (w innych językach oczywiście były odpowiednie moduły) i niestety - nic z tego nie wyszło.

A teraz juyż chyba jest nawet odpowiedni mod dla bb, wykorzystujący ten system kolorowania. nono...

[Parti]

Już słyszałem od paru osób że jedynym słusznym rozwiązaniem tego problemu jest napisanie parsera, ktory zajmie z minimum 200 KB, a napisanie go zajmie z kilka miechów, no thx

To bardzo ciekawe. Do kolorowania składni wystarczy lekser, a nie parser. Napisanie go wcale nie zajmuje pare miesięcy. Widze, że ostatnio ten temat dość często poruszany jest na forum. Proponuje zatem na początek zainteresować się programem GNU Enscript

Może kiedyś zmusze się do napisania czegoś, bo ten problem również i mnie troche interesuje.

Teraz podam przykład prostego leksera. Nie daje żadnej gwarancji, że działa. Jest mocno uproszczony. To tylko przykład jak napisać lekser.

[PHP] pobierz, plaintext 
<?php
 
    class cToken
    {
        var $type;
        var $val;
    }
    // typy tokenow
    define('OTHER', 0);
    define('OPERATOR', 1);
    define('VARIABLE', 2);
    define('COMMENT', 3);
    define('STRING_VAL', 4);
    define('NUMBER', 5);
    define('IDEN', 6);
    define('KEYWORD', 7);
 
    // kawalek kodu php do pokolorawania
    $str = &#092;"echo 12 . \"jakis tekst i \"tekst\"\"; # komentarznecho funkcja($zmienna);\";
    $pos = 0;
    $len = strlen($str);
 
    $slowa_kluczowe = array('echo', 'class'); // itd.
 
    function gettoken(&$token)
    {
        global $pos;
        global $str;
        global $len;
        global $slowa_kluczowe;
 
        if ($pos == $len) // doszlismy do konca napisu, zwracamy zero
            return 0;
 
        switch ($str{$pos})
        {
            case &#092;" \":  // wszelkie białe znaki zostawiamy jak są
            case &#092;"t\": 
            case &#092;"r\":
            case &#092;"n\": 
                $token->type = OTHER;
                $token->val = $str{$pos++};
                return -1;
 
            case &#092;";\": // tutaj trzeba by wypisac wszystkie jedno-znakowe operatory i znaki przestankowe
            case &#092;"(\": case \")\":
            case &#092;"[\": case \"]\":
            case &#092;".\": $token->type = OPERATOR; $token->val = $str{$pos++}; return -1;
 
            // niektore znaki moga byc czescia dluzszego oeratora
            case &#092;"+\":
                $token->type = OPERATOR;
                if ($str{$pos+1} == &#092;"+\") // operator ++
                {
                    $token->val = &#092;"++\";
                    $pos += 2;
                }
                else if ($str{$pos+1} == &#092;"=\") // operator +=
                {
                    $token->val = &#092;"+=\";
                    $pos += 2;
                }
                else // jednak jest tylko plus
                {
                    $token->val = &#092;"+\";
                    $pos++;
                }
 
                return -1;
            // tutaj trzeba by rozwazyc przypadki z innymi tego typu oeratorami jak -, --, -=, *, *= itp
 
            case &#092;"$\": // zmienna
                $nazwa = &#092;"\";
                $pos++;
                while (ctype_alnum($str{$pos}) || $str{$pos} == &#092;"_\")
                {
                    $nazwa .= $str{$pos};
                    $pos++;
                }
 
                $token->type = VARIABLE;
                $token->val = '$' . $nazwa;
 
                return -1;
            
            case &#092;"#\": // komentarz
            // ten typ komentarza jest bardzo prosty do rozpatrzenia
            // najtrudniejszy jest /* */
                $koment = &#092;"\";
 
                while ($str{$pos} != &#092;"n\")
                    $koment .= $str{$pos++};
 
                $token->type = COMMENT;
                $token->val = $koment;
                
                return -1;
 
            case &#092;"\"\": // stala napisowa, podobnie dla '
                $napis = &#092;"\"\";
                $pos++;
 
                while ($str{$pos} != &#092;"\"\")
                {
                    if ($str{$pos} == &#092;"\") // wszelkie wyescapowane znaki
                    {
                        $napis .= &#092;"\";
                        $pos++;
                        $napis .= $str{$pos};
                    }
                    else
                        $napis .= $str{$pos};
 
                    $pos++;
                }
 
                $pos++;
                $token->type = STRING_VAL;
                $token->val = $napis . &#092;"\"\";
 
                return -1;
 
            default:
                if (ctype_digit($str{$pos})) // rozwaze tylko liczby calkowite
                {
                    $num = &#092;"\";
 
                    while (ctype_digit($str{$pos}))
                        $num .= $str{$pos++};
 
                    $token->type = NUMBER;
                    $token->val = $num;
 
                    return -1;
                }
                else if (ctype_alpha($str{$pos}) || $str{$pos} == &#092;"_\") // identyfikator jakis
                { // byc moze slowo kluczowe lub nazwa funkcji
                    $iden = &#092;"\";
 
                    while (ctype_alnum($str{$pos}) || $str{$pos} == &#092;"_\")
                        $iden .= $str{$pos++};
 
                    $token->val = $iden;
 
                    if (array_search($iden, $slowa_kluczowe) === false) // nie jest slowem kluczowym
                    { // malo wydajne przeszukiwanie, tutaj wlasciwie trzeba by wpakowac jakis maly auto
at skonczony
                        $token->type = IDEN;
                        return -1;                        
                    }
                    else // slowo kluczowe
                    {
                        $token->type = KEYWORD;
                        return -1;
                    }
                }
                else // bledny, nierozpoznany znak (w naszym przypadku poprostu go zwracamy)
                {
                    $token->type = OTHER;
                    $token->val = $str{$pos++};
                    return -1;
                }
        }
    }
 
    $token = new cToken;
 
    echo &#092;"<pre>\";
 
    while (($t = gettoken($token)) != 0)
    {
        switch ($token->type)
        {
            case OTHER: echo $token->val; break;
            case OPERATOR: echo &#092;"<font color=red>\" . $token->val . \"</font>\"; break;
            case VARIABLE: echo &#092;"<font color=blue>\" . $token->val . \"</font>\"; break;
            case COMMENT: echo &#092;"<font color=green>\" . $token->val . \"</font>\"; break;
            case STRING_VAL: echo &#092;"<font color=pink>\" . $token->val. \"</font>\"; break;
            case NUMBER: echo &#092;"<font color=gray>\" . $token->val . \"</font>\"; break;
            case IDEN: echo &#092;"<font color=yellow>\" . $token->val . \"</font>\"; break;
            case KEYWORD: echo &#092;"<font color=magenta>\" . $token->val . \"</font>\"; break;
            default:
                echo &#092;"hm.. jakis blad?\";
        }
    }
    
    echo &#092;"</pre>\";
 
?>
[PHP] pobierz, plaintext 

Ten post edytował Parti 20.08.2004, 13:35:16

[cagrET]

To bardzo ciekawe. Do kolorowania składni wystarczy lekser, a nie parser.

Możliwe, miałem też na myśli ten Dekoder, czyli formatowanie kodu. Niestety jestem zielony w tej dziedzinie. Btw. masz może jakieś materiały / linki do artykułów na ten temat ? (leksery, parsery).

[Parti]

Btw. masz może jakieś materiały / linki do artykułów na ten temat ? (leksery, parsery).

Polecam książke: Aho, Sethi, Ullman "Kompilatory" (jakiś czas temu wydana po Polsku) tzw. Dragon Book.

Manuale do Flexa (automatyczny generator lekserów) oraz Bisona (automatyczny generator parserów).

Jeszcze mi sie przypomniało. Na pierwszym roku informatyki na przedmiocie programowanie można poznać podstawy pisania kompilatorów. Tutaj skrypt do tego przedmiotu.

Ten post edytował Parti 20.08.2004, 15:10:58