PHP/MYSQL/Curl Kodowanie Opcje

[Reptile ReX]

Mój skrypt pobiera informacje z wpisanego w inpucie adresu.

Za pomocą curla i wyrażeń regularnych a także, get_meta_tags.

I teraz mam problem, mój serwis jest w kodowaniu UTF-8, baza danych wszędzie: utf8_unicode_ci

Przy wyciąganiu np danych z onet.pl albo interia.pl pojawiają się sławne krzaczki, albo w ogóle obcina ciąg i nie dodaje do bazy całości.

Jako że mój serwis ma być elastyczny nie mogę sobie zrobić po prostu:

[PHP] pobierz, plaintext 
$a = iconv('iso-8859-2', 'UTF8', $zmienna);
[PHP] pobierz, plaintext 

Bo wtedy strony które są w kodowaniu UTF-8 się sypią.

Próbowałem zdziałać coś funkcją mb_detect_encoding, jeżeli chodzi o UTF-8 to odczytuje kodowanie poprawnie, ale np iso-8859-2 już nie odczytuje więc problem występuje nadal.

Macie jakieś propozycje? może ja coś źle kminię (IMG:style_emoticons/default/smile.gif)

[Reptile ReX]

Nie zawsze w nagłówkach jest określone z kodowanie.

Ma ktoś jakiś inny pomysł? czy zostaje mi tylko preg_match ?

Co do zgody to jedyne dane jakie są pobierane to: Title, Keywords oraz description.
Więc raczej nie naruszam żadnych praw autorskich.

Ten post edytował Reptile ReX 20.01.2011, 13:17:42