Witam, piszę skrypt który z podanej przez użytkownika strony wyciąga tytuł, opis oraz tagi OpenGraphProtocol. Skrypt wygląda tak, że przez CURL pobierane jest źródło strony a następnie przez preg_match() pobierane są interesujące mnie dane. Wszystko ładnie gdyby nie to, że strony są w różnych kodowaniach i skrypt rzuca krzaczkami. Próbowałem napisać funkcję, która zwróci mi "naprawiony" string z polskimi literami używając głównie mb_detect_encoding() i iconv(), jednak żadne rozwiązanie nie było na tyle dobre aby rozwiązać problem do końca. Jeśli coś działało mi np przy ISO-8859-2 nie działalo np przy UTF-8 itd.

Szukałem rozwiązania i na forum.php.pl i na innych ale nie znalazłem nic co rozwiązałoby problem, a mi samemu skończyły się już pomysły.
Miał ktoś kiedyś podobny problem? Jakiś pomysł na wykonanie tego?

Liczę na Waszą pomoc .
Pozdrawiam.

Skoro umiesz wyciągnąć dane takie jak tytuł to nie możesz też odczytać kodowania strony?

Przy pobieraniu danych ze strony, ona informuje cię o kodowaniu. Zobacz czy da się ją poprawnie przetworzyć jako dokument XML. Wtedy wsio powinno iść z automatu.

Tylko, że kodowanie strony może zupełnie nie być podane w meta tagach ani nagłówku...
Męcząc się z problemem dalej napisałem coś takiego:

[PHP] pobierz, plaintext 
	function utf8fix($str)
	{		
		$ary = array('ASCII', 'UTF-8', 'ISO-8859-2', 'ISO-8859-1');
		$detect = mb_detect_encoding($str, $ary);
 
		$iconv = iconv($detect, 'UTF-8', $str);
		return $iconv;
	}
[PHP] pobierz, plaintext 

Wygląda na to, że działa z wyjątkiem niektórych stron kodowanych w UTF-8. Otóż np wklejając link do filmu z YT w tytule mam polskie znaki ale w opisie już nie. Gdy na zmienną $iconv dam utf8_decode() polskie znaki są w opisie a nie ma w tytule. Istnieje jakiś sposób, żeby (najprawdopodobniej przez preg_match) sprawdzić czy tekst ma jakiekolwiek krzaki?

Kodowanie masz podane w nagłówku Content-Type. Jeżeli go tam nie ma, powinieneś przyjąć, że treść kodowania jest przy użyciu ISO-8859-1.

Ew możesz sprawdzić zakres znaków. Jak zakres się zgadza to masz dobre kodowanie. Nie wiem, kombinuje :)

@maniana: Jaki zakres znaków?

Sprawdzenie regexpem nie pokaże że są krzaczki? Np przepuszczasz tylko a-z0-9 + znaki dodatkowe? Nie wiem czy to ma sens...

Nieco na odwrót niż zamierzałem w poprzednim poście, bo tam chciałem szukać krzaków a tu szukam polskich liter . Ale ważne, że w końcu działa.
Dla potomnych:

[PHP] pobierz, plaintext 
	function utf8fix($str)
	{		
		$ary = array('ASCII', 'UTF-8', 'ISO-8859-2', 'ISO-8859-1');
		$detect = mb_detect_encoding($str, $ary);
 
		$iconv = iconv($detect, 'UTF-8', $str);
 
		if (preg_match('/[ęóąśłżźćńĘÓĄŚŁŻŹĆŃ]/', utf8_decode($iconv)))
		{
			return utf8_decode($iconv);
		}
		else
		{
			return $iconv;
		}
	}
[PHP] pobierz, plaintext