Usuwanie pustych atrybutów html, regex Opcje

[Strelok]

Witam, problem wygląda następująco:

W poniższym kawałku HTML chciałbym złapać wszystkie puste atrybuty attr (oznaczone na czerwono):

<img src="/test-image_1.jpg" attr="test-image_1" qwe="asd" attr>
<img src="/test-image_1.jpg" attr="test-image_1" qwe="asd" attr=>
<img src="/test-image_1.jpg" attr= "test-image_1" qwe="asd" attr="">
<img src="/test-image_1.jpg" attr= "test-image_1" qwe="asd" attr=" ">
<img attr="a attr b" src="/test-imagalte_1.jpg" attr qwe="asd" />
<img src="/test- alt image_1.jpg" attr="test-image_1" attr= "" qwe="asd" >
<img src="/test-image_1.jpg" attr = " " asd=" q" attr="test-image_1" attr qwe="asd" >

Poprzez "puste" rozumiem także atrybuty attr zawierające między cudzysłowami białe znaki.
Dodatkowo ciągi attr występujące pomiędzy cudzysłowami nie powinny zostać złapane.

Wyrażenie które mam na ten moment:
/attr(?=(?:[^"]*"[^"]*")*[^"]*\Z)/gi

https://regex101.com/r/MvpdM9/1

Ten post edytował Strelok 8.03.2018, 16:32:25

[SmokAnalog]

Powiem Ci, że będzie ciężko. Wyrażenie regularne może mieć dużo pułapek i nie używałbym go do tego celu. Najlepiej to by było znaleźć bibliotekę do parsowania drzewa DOM, która potrafi znaleźć duplikaty atrybutów. Zduplikowany atrybut już nie jest prawidłowym HTML-em.

Chodzi o jednorazowe czyszczenie czy potrzebujesz skryptu, który będzie to robił wielokrotnie?

[Pyton_000]

Użyj sobie tego: https://github.com/paquettg/php-html-parser

Znajdź wsystkie `img` potem iteruj po nich sprawdzając

if(trim($item->getAttribute('attrib')) === '')

i zapisuj.

Ten post edytował Pyton_000 9.03.2018, 08:42:58

[SmokAnalog]

Pyton, ale jest jeden problem. Te biblioteki w zależności od implementacji wyłapują tylko pierwsze lub ostatnie wystąpienie danego atrybutu, bo prawidłowy HTML i ogólnie XML nie mogą mieć powtórzonych atrybutów. Dla obu przypadków, kiedy na przykład masz taki oto znacznik:

[HTML] pobierz, plaintext 
<div attr="" attr="Misie koala" attr="">Pandy też</div>
[HTML] pobierz, plaintext 

Parser w ogóle nie dowie się, że w środku jest jakaś wartość, a raczej nie chodzi autorowi o to, żeby wyrzucać wszystkie w takim przypadku, tylko te puste.

Moim zdaniem w grę wchodzi szukanie biblioteki, która pozwoli na znalezienie wszystkich atrybutów o danej nazwie (wątpliwe czy taka biblioteka istnieje), a w ostateczności mała modyfikacja dowolnego parsera DOM. Tak, wiem - brzydko, ale co zrobić.

Od biedy można użyć parsera do wyłapania elementów (selektor CSS [attr]) i potem już zabawa z wyrażeniem regularnym. Nadal brudno, ale jednak mniejsza szansa na zepsucie całego HTML-a (IMG:style_emoticons/default/biggrin.gif)

Ten post edytował SmokAnalog 9.03.2018, 12:56:43

[Pyton_000]

Nie doczytałem że tam może być więcej attr w tagu.

Masz rację. DOM w php odczytuje tylko pierwszy attr.

No to pozostaje zabawa regexp.

[trzczy]

Co w tym trudnego?

https://regex101.com/r/qZ7Slx/1

[PHP] pobierz, plaintext 
\s?\battr\s*=\s*"\s*"|\s?\battr\b\s*=(?![^=<>]*")(?!\s*=)|\s?\battr\b(?![^=<>]*")(?!\s*=)
[PHP] pobierz, plaintext 

[Pyton_000]

Nic trudnego tylko nikomu się nie chciało takiego potworka pisać (IMG:style_emoticons/default/tongue.gif)

[Strelok]

Co w tym trudnego?

https://regex101.com/r/qZ7Slx/1

[PHP] pobierz, plaintext 
\s?\battr\s*=\s*"\s*"|\s?\battr\b\s*=(?![^=<>]*")(?!\s*=)|\s?\battr\b(?![^=<>]*")(?!\s*=)
[PHP] pobierz, plaintext 

Dzięki, wygląda nieźle (IMG:style_emoticons/default/smile.gif) Jeszcze tylko lekko zmodyfikować pod kątem łapania apostrofów i double quotes i powinno być w porządku. Istnieje jeszcze taki rzadki przypadek gdy nazwa tagu będzie się pokrywać z szukanym atrybutem, np. <attr attr="">.

Ja napisałem coś takiego (nieco moich wymagań spełnia (IMG:style_emoticons/default/smile.gif) ):

[PHP] pobierz, plaintext 
attr(?:(?:\s*=\s*".*?"|\s*=\s*'.*?')|(?=(?:[^"']*["'][^"']*["'])*[^"']*\Z)[\s]*=?[\s]*?)
[PHP] pobierz, plaintext 

Hmm i jeszcze jeden przypadek kiedy "attr" jest fragmentem nazwy innego atrybutu z myślnikiem, np. <img attr="" attr-inny="">.

E:

powinienem jeszcze dodać, że danymi wejściowymi dla takiego regexa będzie właściwie tylko jeden tag html z zawartością, np.:
<img src="/test-image_1.jpg" attr= "test-image_1" qwe="asd" attr=" ">
albo
<attr src="/test-image_1.jpg" attr= "test-image_1" qwe="asd" attr=" ">
albo
<img src="/test-image_1.jpg" attr= "test-image_1" qwe="asd" attr-qwe=" ">

Ten post edytował Strelok 9.03.2018, 14:42:01

[SmokAnalog]

Co w tym trudnego?

https://regex101.com/r/qZ7Slx/1

[PHP] pobierz, plaintext 
\s?\battr\s*=\s*"\s*"|\s?\battr\b\s*=(?![^=<>]*")(?!\s*=)|\s?\battr\b(?![^=<>]*")(?!\s*=)
[PHP] pobierz, plaintext 

Tak kozaczysz, a Twoje wyrażenie polega na zwykłym stringu:

[HTML] pobierz, plaintext 
<div>attr</div>
[HTML] pobierz, plaintext 

Po prostu regexa się nie używa w takim celu i tyle, bo tworzy to niesamowicie nieczytelny i podatny na błędy kod (jak widać).

[Pyton_000]

Pytanie skąd taki śmietnik przychodzi...

[trzczy]

@SmokAnalog taaa...
@Strelok, najlepiej zapodaj string do przetestowania regexu. Wtedy jest mniej pytań ze strony układającego regex.

Ten post edytował trzczy 9.03.2018, 15:43:03

[Strelok]

@Strelok, najlepiej zapodaj string do przetestowania regexu. Wtedy jest mniej pytań ze strony układającego regex.

Dajmy na to tag o nazwie attr, gdzie szukane puste atrybuty to attr:

[PHP] pobierz, plaintext 
<attr  attr  src="/test-image_1.jpg" attr = " " asd=" q" attr="test-image_1.jpg" attr qwe="as-d q-q" x="attr asd" >
[PHP] pobierz, plaintext 

Ten post edytował Strelok 9.03.2018, 15:56:58

[trzczy]

Wersja z <attr akceptowalnym:

https://regex101.com/r/qZ7Slx/3

[SmokAnalog]

Nadal wyłapujesz luźny ciąg znaków attr niebędący atrybutem, więc Twój kod jest bezużyteczny.

[trzczy]

Postawiłem sobie za zadanie spełniać testy. Bezużyteczność to twoje urojenia.

[SmokAnalog]

No to dodaj prawidłowo te testy (IMG:style_emoticons/default/haha.gif) Co to w ogóle jest za odpowiedź (IMG:style_emoticons/default/haha.gif)

[trzczy]

Jeśli masz jakieś wymagania, to zapraszam do giełdy.

[SmokAnalog]

Nie no, super. Dodawaj złą odpowiedź bez uprzedzenia (bo nie przetestowałeś dokładnie) i chciej kasy za prawidłową. Twój kod ma podstawowy błąd, bo upierasz się jak zwykle przy wyrażeniach regularnych, mimo że nie masz w nich wprawy i nie wiesz kiedy należy ich unikać.

[trzczy]

Znajdź sobie więc fajniejszego kolegę. Ja oferuję regexy spełniające testy zadane przez pytającego.

[SmokAnalog]

Mam nadzieję, że jeśli pracujesz z klientami to wkładasz trochę więcej serca w pracę. Klient (lub osoba pytająca) nie ma obowiązku umieć utworzyć testów i kolega wyżej po prostu przeoczył jeden z najważniejszych przypadków, kiedy ciąg znaków "attr" występuje w roli węzła tekstowego. Jak się odpowiada na pytania, trzeba myśleć za osobę pytającą, a nie rzucać odpowiedzią jak papuga.

[trzczy]

Jasno stawiam sprawę: dajesz testy, znajdę regex. Reszta to twój ból.

[SmokAnalog]

Nie chcę brzmieć jak tatuś, ale przemyśl swoje zachowanie (IMG:style_emoticons/default/tongue.gif) Bo zachowujesz się jak księżniczka, co łaskę robi, że paluszkiem kiwnie. Albo pomagasz jak należy, albo wcale.

[trzczy]

Kojarzysz mi się głównie z blamażem file_get_contents. Fajnie, że już jesteś z powrotem.

[SmokAnalog]

Hę?

[trzczy]

Zniknąłeś na parę dni, jak dostałeś srogą naukę. Nie przeprosiłeś osób, które wcześniej potraktowałeś obcesowymi uwagami ad personam. Ten temat z curlem, crawlerem i file_get_contents.

[SmokAnalog]

Zniknąłem jak dostałem jakąś naukę? Nie wiem co bierzesz, ale bierz połowę. Ja zawsze na tym forum bywałem w kratkę jakbyś nie zauważył. Mówisz o moim temacie, gdzie kilka osób wypisywało kompletne idiotyzmy? Tam się czegoś nauczyłem? Aha.

[trzczy]

W mych oczach potwierdziłeś, że masz zdolności głównie kokieteryjne i przeważnie uprawiasz gadulstwo. Pożytecznej wiedzy przynosisz na forum tyle, co kot napłakał. Weźmy np. ten temat. Pomogłem Koledze tutaj dwukrotnie, a ty zero. Ale postów nastukałeś masę.

[b4rt3kk]

Zniknąłeś na parę dni, jak dostałeś srogą naukę. Nie przeprosiłeś osób, które wcześniej potraktowałeś obcesowymi uwagami ad personam. Ten temat z curlem, crawlerem i file_get_contents.

Daj link do tematu/posta.

[SmokAnalog]

Raczej mu zaszkodziłeś niż pomogłeś, bo podałeś błędne rozwiązanie.

Link do tematu: http://forum.php.pl/index.php?act=findpost&pid=1228535

[trzczy]

Moje rozwiązanie nawiązuje wprost do wymagań pytającego. A ty przypisujesz pytającemu jakieś inne intencje, mimo że on im literalnie zaprzecza. Domyślam się, że przeoczyłeś to, kiedy pytający czarno na białym napisał, że nie chodzi o teksty między tagami. Umiejętność przyznania się do błędu świadczy o klasie człowieka.

[SmokAnalog]

No i właśnie nie miały być wyłapane, a Twój wzorzec je łapie. W tym problem. Jak będzie gdzieś w tekście, to mu to wywali. To jest poważny mankament i zaproszenie do zepsucia treści.

[trzczy]

Różne są zadania w informatyce i sprowadzanie ich do kilku typowych stereotypów może przynieść szkodę. Pytający przyszedł z konkretnym problemem i uzyskał odpowiedź wedle swych potrzeb. Odpowiedź alternatywną możesz wstawić, na pewno nikt nie będzie jej krytykował, jak będzie działała.

A teraz coś czego nie lubię: powtarzać mą włąsną wypowiedź któryś raz, bo rozmówca ją wypiera. Otóż, pytający napisał, że między tagami nie ma żadnej treści. Znaczy to nic innego, jak to, że nie przewidziano <div>attr</div> ani nawet <div>kupka</div>

[SmokAnalog]

Nie rozumiem o co chodzi z tym sprowadzaniem do stereotypów. Zadanie jest jasne, tylko jak to często bywa, osoba pytająca nie uwzględnia wszystkich potencjalnych problemów w pytaniu. Taki urok zadawania pytań, że osoba odpowiadająca musi sama przemielić pytanie i spojrzeć na nie z lotu ptaka.

Jeżeli faktycznie jest sto procent pewności, że pewna sytuacja nie wystąpi, to można iść na pewne kompromisy, choć jest to już jazda na krawędzi, bo warunki wejściowe mogą się kiedyś zmienić. Nie chce mi się sprzeczać, tym bardziej że nie ma o co. Napisałem wyżej, że najlepiej byłoby poszukać parsera co nie zignoruje powtórzonych atrybutów. Takie zdanie podtrzymuję. Bez tego pozostają rozwiązania z błędami, które jednak mogą wystarczyć autorowi pytania, choć tego nie wiemy na pewno.

Nie sprzeczajmy się już. Dobranoc.

[trzczy]

Zadanie jest jasne, tylko jak to często bywa, osoba pytająca nie uwzględnia wszystkich potencjalnych problemów w pytaniu.

Problem w tym, że Ty jesteś oderwany od rzeczywistości.

Kilka razy w tym wątku pisałeś, że osoba zadająca pytanie nie uwzględnia przypadku, że słowo attr jest między tagami div.

Tymczasem mijasz się tu z prawdą, bo pytający napisał konkretnie, że nie przewiduje przypadku, że między tagami będzie cokolwiek. Jesteś odporny na fakty.

Są granice wmawiania pytającemu, że pyta on o coś innego niż mu się wydaje. I ja sporu nie skończę, dopóki nie cofniesz tego argumentu wyssanego z palca, że moja praca nie uwzględnia słowa attr między tagami.

Wykonałem poważną robotę i nie pozwolę, by ktoś podważał moje umiejętności przez wymyślanie fikcyjnych problemów.

[Pyton_000]

Możecie sobie prywatne żale wylewać gdzieś indziej?

Jest rozwiązanie problem, jest uwaga że nie wyłapuje wszystkiego. Autor sam sobie zdecyduje co z tymi informacjami zrobić.

Koniec. temat wyczerpany.

[SmokAnalog]

Trzczy - Twoja argumentacja jest cholernie amatorska. Tak robią kiepscy programiści, kiepscy lekarze, kiepscy prawnicy i w ogóle wszyscy kiepscy, że za rozwiązanie problemu uznają
usunięcie objawu wspomnianego przez "pacjenta".

- Boli mnie głowa, panie doktorze.
- Proszę wziąć lek przeciwbólowy.

Czasami takie podejście jest do zaakceptowania, jeśli chodzi o jednorazową akcję i sami sobie sprawdzimy ręcznie potem efekt, ale tutaj to jest już słabe. Owszem, autor mówi, że nie przewiduje takiej sytuacji. Ale to nie znaczy, że kod ma mu ZNISZCZYĆ treść w przypadku, gdy przez pomyłkę jednak taka sytuacja zajdzie. Czuję się jakbym mówił do ucznia na pierwszej lekcji programowania.

Wiem, że włożyłeś dużo pracy w ten wzorzec, no ale bywa i tak - czasem się mylimy w naszej pracy, jakkolwiek byśmy się nie napracowali. Przestań mnie obrażać za to, że ostrzegam osobę zadającą pytanie przed potencjalnym poważnym zagrożeniem idącym za Twoim rozwiązaniem. Twoje niechlujstwo i lenistwo nie jest godne podziwu.

Pyton - Gdyby kod "nie wyłapywał wszystkiego", to by nie było sporu. Problem polega na tym, że on wyłapuje zbyt dużo. Powiedzmy, że ta funkcjonalność została umieszczona w funkcji removeEmptyAttributes:

[PHP] pobierz, plaintext 
$before = <<<HTML
<!DOCTYPE html>
<html lang="en">
<head>
	<meta charset="utf-8">
	<title>Example</title>
</head>
<body>
	<div style="" style="color: orange;" style>
		Wow, her style is amazing!
	</div>
</body>
</html>
HTML;
 
$after = removeEmptyAttributes('style', $before);
[PHP] pobierz, plaintext 

Kod kolegi trzczy owszem, wyrzuci atrybuty, ale przy okazji wywali słowo "style" z treści i nikt tego nie zauważy. Zostanie nam to:

[HTML] pobierz, plaintext 
<!DOCTYPE html>
<html lang="en">
<head>
	<meta charset="utf-8">
	<title>Example</title>
</head>
<body>
	<div style="color: orange;">
		Wow, her is amazing!
	</div>
</body>
</html>
[HTML] pobierz, plaintext 

Ten post edytował SmokAnalog 10.03.2018, 12:12:20

[Strelok]

Dziękuję za wszelkie sugestie. Zdaję sobie sprawę z zagrożeń wynikających z problemu wyłapywania zbyt dużej ilości wystąpień i zaznaczam, że owe wyrażenie jest mi potrzebne jedynie w celach edukacyjnych.
Wstępnie posiadam inne wyrażenie, które wyłapuje tylko otwarcie tagu HTML z zawartością.

W każdym razie, miałbym prośbę - czy istnieje możliwość modyfikacji poniższego regexa w taki sposób, aby nie wyłapywał atrybutów przypadkiem zawierających szukaną nazwę. Mam na myśli atrybuty z myślnikami, tj. attr-x x-attr.

Regex o którym mowa:
https://regex101.com/r/qZ7Slx/4

Nowy ciąg:
Z myślnikami:

[HTML] pobierz, plaintext 
<img attr="" nonattr="" attr-x="" x-attr>
[HTML] pobierz, plaintext 

[viking]

Wrzuciłem do https://packagist.org/packages/electrolinux/phpquery. Bez problemu usuwa:

[PHP] pobierz, plaintext 
pq('img')->removeAttr('attr');
[PHP] pobierz, plaintext 

Kod

<img src="/test-image_1.jpg" qwe="asd">
<img src="/test-image_1.jpg" qwe="asd">
<img src="/test-image_1.jpg" qwe="asd">
<img src="/test-image_1.jpg" qwe="asd">
<img src="/test-imagalte_1.jpg" qwe="asd">
<img src="/test-%20alt%20image_1.jpg" qwe="asd">
<img src="/test-image_1.jpg" asd=" q" qwe="asd">
<img nonattr="" attr-x="" x-attr>

[SmokAnalog]

Przy okazji wywala też niepuste, a nie o to chodziło.

[viking]

Poprzez "puste" rozumiem także atrybuty attr zawierające między cudzysłowami białe znaki

Więc wszystko się zgadza. Chyba że był jakiś ogranicznik jeszcze pomiędzy waszym sporem.

[trzczy]

by nie wyłapywał atrybutów przypadkiem zawierających szukaną nazwę. Mam na myśli atrybuty z myślnikami, tj. attr-x x-attr.

Wydaje mi się, że trzeba wstawić coś innego niż \b jako koniec lub początek słowa. Mianowicie jakiś zestaw znaków niezawierający myślnika. Może coś takiego [^\w\d-]
Taka praca nad regexem to w dużej mierze sprytne wyszukiwanie testów. Jest sporo roboty.

[SmokAnalog]

Poprzez "puste" rozumiem także atrybuty attr zawierające między cudzysłowami białe znaki

Więc wszystko się zgadza. Chyba że był jakiś ogranicznik jeszcze pomiędzy waszym sporem.

Przeczytaj po prostu dokładnie pierwszy post w temacie. Odważnie zakładać, że dwie osoby sprzeczają się o problem, który można rozwiązać w tak banalny sposób jaki podałeś (IMG:style_emoticons/default/haha.gif)

[viking]

Pierwsze zdanie to właśnie był cytat z pierwszego. Bo spieracie sie bez sensu o wyrażenia regularne które wiadomo sprawią tu problem i nie pasują do zadania. Usunięcie jak leci atrybutu danego spełnia warunki. Jak trzeba przefiltrowac to też żaden problem z phpquery.

[SmokAnalog]

<img src="/test-image_1.jpg" attr="test-image_1" qwe="asd" attr>

Jak widzisz, pierwszy attr nie jest na czerwono.

[viking]

No a co za problem napisać ifa do tego?

[SmokAnalog]

Ty tak serio?

[viking]

Ale niby co? Filtrowanie to zawsze domena użytkownika. Puste znaki, spacje w nazwie - takie rzeczy robi się według potrzeb. Zaraz stwierdzi że np myślnika też nie może być i system ma sam to zgadywać? Była rozmowa że biblioteki nie usuwają dwóch tych samych atrybutów. Nie jest to prawda.

[SmokAnalog]

Nikt nie mówił, że biblioteki nie usuwają zduplikowanych atrybutów, tylko że ich nie wyłapują. Zastanów się chwilę. Jak masz wywalić tylko te puste, to w jakiś sposób musisz sprawdzić czy aby na pewno nie ma jakiegoś niepustego. I tutaj jest problem, bo crawlery wyłapują każdy atrybut danego typu tylko raz. Twoja logika zadziała tylko wtedy, gdy ten niepusty atrybut jest podany jako pierwszy (lub ostatni, pewnie są crawlery co biorą ostatni).

Zrozumiałeś teraz?