Pomoc - Szukaj - Użytkownicy - Kalendarz
Pełna wersja: Usuwanie pustych atrybutów html, regex
Forum PHP.pl > Forum > PHP
Strelok
Witam, problem wygląda następująco:

W poniższym kawałku HTML chciałbym złapać wszystkie puste atrybuty attr (oznaczone na czerwono):

<img src="/test-image_1.jpg" attr="test-image_1" qwe="asd" attr>
<img src="/test-image_1.jpg" attr="test-image_1" qwe="asd" attr=>
<img src="/test-image_1.jpg" attr= "test-image_1" qwe="asd" attr="">
<img src="/test-image_1.jpg" attr= "test-image_1" qwe="asd" attr=" ">
<img attr="a attr b" src="/test-imagalte_1.jpg" attr qwe="asd" />
<img src="/test- alt image_1.jpg" attr="test-image_1" attr= "" qwe="asd" >
<img src="/test-image_1.jpg" attr = " " asd=" q" attr="test-image_1" attr qwe="asd" >

Poprzez "puste" rozumiem także atrybuty attr zawierające między cudzysłowami białe znaki.
Dodatkowo ciągi attr występujące pomiędzy cudzysłowami nie powinny zostać złapane.

Wyrażenie które mam na ten moment:
/attr(?=(?:[^"]*"[^"]*")*[^"]*\Z)/gi

https://regex101.com/r/MvpdM9/1
SmokAnalog
Powiem Ci, że będzie ciężko. Wyrażenie regularne może mieć dużo pułapek i nie używałbym go do tego celu. Najlepiej to by było znaleźć bibliotekę do parsowania drzewa DOM, która potrafi znaleźć duplikaty atrybutów. Zduplikowany atrybut już nie jest prawidłowym HTML-em.

Chodzi o jednorazowe czyszczenie czy potrzebujesz skryptu, który będzie to robił wielokrotnie?
Pyton_000
Użyj sobie tego: https://github.com/paquettg/php-html-parser

Znajdź wsystkie `img` potem iteruj po nich sprawdzając

if(trim($item->getAttribute('attrib')) === '')

i zapisuj.
SmokAnalog
Pyton, ale jest jeden problem. Te biblioteki w zależności od implementacji wyłapują tylko pierwsze lub ostatnie wystąpienie danego atrybutu, bo prawidłowy HTML i ogólnie XML nie mogą mieć powtórzonych atrybutów. Dla obu przypadków, kiedy na przykład masz taki oto znacznik:

  1. <div attr="" attr="Misie koala" attr="">Pandy też</div>


Parser w ogóle nie dowie się, że w środku jest jakaś wartość, a raczej nie chodzi autorowi o to, żeby wyrzucać wszystkie w takim przypadku, tylko te puste.

Moim zdaniem w grę wchodzi szukanie biblioteki, która pozwoli na znalezienie wszystkich atrybutów o danej nazwie (wątpliwe czy taka biblioteka istnieje), a w ostateczności mała modyfikacja dowolnego parsera DOM. Tak, wiem - brzydko, ale co zrobić.

Od biedy można użyć parsera do wyłapania elementów (selektor CSS [attr]) i potem już zabawa z wyrażeniem regularnym. Nadal brudno, ale jednak mniejsza szansa na zepsucie całego HTML-a biggrin.gif
Pyton_000
Nie doczytałem że tam może być więcej attr w tagu.

Masz rację. DOM w php odczytuje tylko pierwszy attr.

No to pozostaje zabawa regexp.
trzczy
Co w tym trudnego?

https://regex101.com/r/qZ7Slx/1

  1. \s?\battr\s*=\s*"\s*"|\s?\battr\b\s*=(?![^=<>]*")(?!\s*=)|\s?\battr\b(?![^=<>]*")(?!\s*=)
Pyton_000
Nic trudnego tylko nikomu się nie chciało takiego potworka pisać tongue.gif
Strelok
Cytat(trzczy @ 9.03.2018, 14:01:25 ) *
Co w tym trudnego?

https://regex101.com/r/qZ7Slx/1

  1. \s?\battr\s*=\s*"\s*"|\s?\battr\b\s*=(?![^=<>]*")(?!\s*=)|\s?\battr\b(?![^=<>]*")(?!\s*=)

Dzięki, wygląda nieźle smile.gif Jeszcze tylko lekko zmodyfikować pod kątem łapania apostrofów i double quotes i powinno być w porządku. Istnieje jeszcze taki rzadki przypadek gdy nazwa tagu będzie się pokrywać z szukanym atrybutem, np. <attr attr="">.

Ja napisałem coś takiego (nieco moich wymagań spełnia smile.gif):

  1. attr(?:(?:\s*=\s*".*?"|\s*=\s*'.*?')|(?=(?:[^"']*["'][^"']*["'])*[^"']*\Z)[\s]*=?[\s]*?)


Hmm i jeszcze jeden przypadek kiedy "attr" jest fragmentem nazwy innego atrybutu z myślnikiem, np. <img attr="" attr-inny="">.

E:

powinienem jeszcze dodać, że danymi wejściowymi dla takiego regexa będzie właściwie tylko jeden tag html z zawartością, np.:
<img src="/test-image_1.jpg" attr= "test-image_1" qwe="asd" attr=" ">
albo
<attr src="/test-image_1.jpg" attr= "test-image_1" qwe="asd" attr=" ">
albo
<img src="/test-image_1.jpg" attr= "test-image_1" qwe="asd" attr-qwe=" ">
SmokAnalog
Cytat(trzczy @ 9.03.2018, 14:01:25 ) *
Co w tym trudnego?

https://regex101.com/r/qZ7Slx/1

  1. \s?\battr\s*=\s*"\s*"|\s?\battr\b\s*=(?![^=<>]*")(?!\s*=)|\s?\battr\b(?![^=<>]*")(?!\s*=)

Tak kozaczysz, a Twoje wyrażenie polega na zwykłym stringu:
  1. <div>attr</div>


Po prostu regexa się nie używa w takim celu i tyle, bo tworzy to niesamowicie nieczytelny i podatny na błędy kod (jak widać).
Pyton_000
Pytanie skąd taki śmietnik przychodzi...
trzczy
@SmokAnalog taaa...
@Strelok, najlepiej zapodaj string do przetestowania regexu. Wtedy jest mniej pytań ze strony układającego regex.
Strelok
Cytat(trzczy @ 9.03.2018, 15:40:20 ) *
@Strelok, najlepiej zapodaj string do przetestowania regexu. Wtedy jest mniej pytań ze strony układającego regex.

Dajmy na to tag o nazwie attr, gdzie szukane puste atrybuty to attr:
  1. <attr attr src="/test-image_1.jpg" attr = " " asd=" q" attr="test-image_1.jpg" attr qwe="as-d q-q" x="attr asd" >
trzczy
Wersja z <attr akceptowalnym:

https://regex101.com/r/qZ7Slx/3
SmokAnalog
Nadal wyłapujesz luźny ciąg znaków attr niebędący atrybutem, więc Twój kod jest bezużyteczny.
trzczy
Postawiłem sobie za zadanie spełniać testy. Bezużyteczność to twoje urojenia.
SmokAnalog
No to dodaj prawidłowo te testy haha.gif Co to w ogóle jest za odpowiedź haha.gif
trzczy
Jeśli masz jakieś wymagania, to zapraszam do giełdy.
SmokAnalog
Nie no, super. Dodawaj złą odpowiedź bez uprzedzenia (bo nie przetestowałeś dokładnie) i chciej kasy za prawidłową. Twój kod ma podstawowy błąd, bo upierasz się jak zwykle przy wyrażeniach regularnych, mimo że nie masz w nich wprawy i nie wiesz kiedy należy ich unikać.
trzczy
Znajdź sobie więc fajniejszego kolegę. Ja oferuję regexy spełniające testy zadane przez pytającego.
SmokAnalog
Mam nadzieję, że jeśli pracujesz z klientami to wkładasz trochę więcej serca w pracę. Klient (lub osoba pytająca) nie ma obowiązku umieć utworzyć testów i kolega wyżej po prostu przeoczył jeden z najważniejszych przypadków, kiedy ciąg znaków "attr" występuje w roli węzła tekstowego. Jak się odpowiada na pytania, trzeba myśleć za osobę pytającą, a nie rzucać odpowiedzią jak papuga.
trzczy
Jasno stawiam sprawę: dajesz testy, znajdę regex. Reszta to twój ból.
SmokAnalog
Nie chcę brzmieć jak tatuś, ale przemyśl swoje zachowanie tongue.gif Bo zachowujesz się jak księżniczka, co łaskę robi, że paluszkiem kiwnie. Albo pomagasz jak należy, albo wcale.
trzczy
Kojarzysz mi się głównie z blamażem file_get_contents. Fajnie, że już jesteś z powrotem.
SmokAnalog
Hę?
trzczy
Zniknąłeś na parę dni, jak dostałeś srogą naukę. Nie przeprosiłeś osób, które wcześniej potraktowałeś obcesowymi uwagami ad personam. Ten temat z curlem, crawlerem i file_get_contents.
SmokAnalog
Zniknąłem jak dostałem jakąś naukę? Nie wiem co bierzesz, ale bierz połowę. Ja zawsze na tym forum bywałem w kratkę jakbyś nie zauważył. Mówisz o moim temacie, gdzie kilka osób wypisywało kompletne idiotyzmy? Tam się czegoś nauczyłem? Aha.
trzczy
W mych oczach potwierdziłeś, że masz zdolności głównie kokieteryjne i przeważnie uprawiasz gadulstwo. Pożytecznej wiedzy przynosisz na forum tyle, co kot napłakał. Weźmy np. ten temat. Pomogłem Koledze tutaj dwukrotnie, a ty zero. Ale postów nastukałeś masę.
b4rt3kk
Cytat(trzczy @ 10.03.2018, 01:22:17 ) *
Zniknąłeś na parę dni, jak dostałeś srogą naukę. Nie przeprosiłeś osób, które wcześniej potraktowałeś obcesowymi uwagami ad personam. Ten temat z curlem, crawlerem i file_get_contents.


Daj link do tematu/posta.
SmokAnalog
Raczej mu zaszkodziłeś niż pomogłeś, bo podałeś błędne rozwiązanie.

Link do tematu: http://forum.php.pl/index.php?act=findpost&pid=1228535
trzczy
Moje rozwiązanie nawiązuje wprost do wymagań pytającego. A ty przypisujesz pytającemu jakieś inne intencje, mimo że on im literalnie zaprzecza. Domyślam się, że przeoczyłeś to, kiedy pytający czarno na białym napisał, że nie chodzi o teksty między tagami. Umiejętność przyznania się do błędu świadczy o klasie człowieka.
SmokAnalog
No i właśnie nie miały być wyłapane, a Twój wzorzec je łapie. W tym problem. Jak będzie gdzieś w tekście, to mu to wywali. To jest poważny mankament i zaproszenie do zepsucia treści.
trzczy
Różne są zadania w informatyce i sprowadzanie ich do kilku typowych stereotypów może przynieść szkodę. Pytający przyszedł z konkretnym problemem i uzyskał odpowiedź wedle swych potrzeb. Odpowiedź alternatywną możesz wstawić, na pewno nikt nie będzie jej krytykował, jak będzie działała.

A teraz coś czego nie lubię: powtarzać mą włąsną wypowiedź któryś raz, bo rozmówca ją wypiera. Otóż, pytający napisał, że między tagami nie ma żadnej treści. Znaczy to nic innego, jak to, że nie przewidziano <div>attr</div> ani nawet <div>kupka</div>
SmokAnalog
Nie rozumiem o co chodzi z tym sprowadzaniem do stereotypów. Zadanie jest jasne, tylko jak to często bywa, osoba pytająca nie uwzględnia wszystkich potencjalnych problemów w pytaniu. Taki urok zadawania pytań, że osoba odpowiadająca musi sama przemielić pytanie i spojrzeć na nie z lotu ptaka.

Jeżeli faktycznie jest sto procent pewności, że pewna sytuacja nie wystąpi, to można iść na pewne kompromisy, choć jest to już jazda na krawędzi, bo warunki wejściowe mogą się kiedyś zmienić. Nie chce mi się sprzeczać, tym bardziej że nie ma o co. Napisałem wyżej, że najlepiej byłoby poszukać parsera co nie zignoruje powtórzonych atrybutów. Takie zdanie podtrzymuję. Bez tego pozostają rozwiązania z błędami, które jednak mogą wystarczyć autorowi pytania, choć tego nie wiemy na pewno.

Nie sprzeczajmy się już. Dobranoc.
trzczy
Cytat(SmokAnalog @ 10.03.2018, 02:28:34 ) *
Zadanie jest jasne, tylko jak to często bywa, osoba pytająca nie uwzględnia wszystkich potencjalnych problemów w pytaniu.

Problem w tym, że Ty jesteś oderwany od rzeczywistości.

Kilka razy w tym wątku pisałeś, że osoba zadająca pytanie nie uwzględnia przypadku, że słowo attr jest między tagami div.

Tymczasem mijasz się tu z prawdą, bo pytający napisał konkretnie, że nie przewiduje przypadku, że między tagami będzie cokolwiek. Jesteś odporny na fakty.

Są granice wmawiania pytającemu, że pyta on o coś innego niż mu się wydaje. I ja sporu nie skończę, dopóki nie cofniesz tego argumentu wyssanego z palca, że moja praca nie uwzględnia słowa attr między tagami.

Wykonałem poważną robotę i nie pozwolę, by ktoś podważał moje umiejętności przez wymyślanie fikcyjnych problemów.
Pyton_000
Możecie sobie prywatne żale wylewać gdzieś indziej?

Jest rozwiązanie problem, jest uwaga że nie wyłapuje wszystkiego. Autor sam sobie zdecyduje co z tymi informacjami zrobić.

Koniec. temat wyczerpany.
SmokAnalog
Trzczy - Twoja argumentacja jest cholernie amatorska. Tak robią kiepscy programiści, kiepscy lekarze, kiepscy prawnicy i w ogóle wszyscy kiepscy, że za rozwiązanie problemu uznają
usunięcie objawu wspomnianego przez "pacjenta".

- Boli mnie głowa, panie doktorze.
- Proszę wziąć lek przeciwbólowy.

Czasami takie podejście jest do zaakceptowania, jeśli chodzi o jednorazową akcję i sami sobie sprawdzimy ręcznie potem efekt, ale tutaj to jest już słabe. Owszem, autor mówi, że nie przewiduje takiej sytuacji. Ale to nie znaczy, że kod ma mu ZNISZCZYĆ treść w przypadku, gdy przez pomyłkę jednak taka sytuacja zajdzie. Czuję się jakbym mówił do ucznia na pierwszej lekcji programowania.

Wiem, że włożyłeś dużo pracy w ten wzorzec, no ale bywa i tak - czasem się mylimy w naszej pracy, jakkolwiek byśmy się nie napracowali. Przestań mnie obrażać za to, że ostrzegam osobę zadającą pytanie przed potencjalnym poważnym zagrożeniem idącym za Twoim rozwiązaniem. Twoje niechlujstwo i lenistwo nie jest godne podziwu.

Pyton - Gdyby kod "nie wyłapywał wszystkiego", to by nie było sporu. Problem polega na tym, że on wyłapuje zbyt dużo. Powiedzmy, że ta funkcjonalność została umieszczona w funkcji removeEmptyAttributes:

  1. $before = <<<HTML
  2. <!DOCTYPE html>
  3. <html lang="en">
  4. <head>
  5. <meta charset="utf-8">
  6. <title>Example</title>
  7. </head>
  8. <body>
  9. <div style="" style="color: orange;" style>
  10. Wow, her style is amazing!
  11. </div>
  12. </body>
  13. </html>
  14. HTML;
  15.  
  16. $after = removeEmptyAttributes('style', $before);


Kod kolegi trzczy owszem, wyrzuci atrybuty, ale przy okazji wywali słowo "style" z treści i nikt tego nie zauważy. Zostanie nam to:

  1. <!DOCTYPE html>
  2. <html lang="en">
  3. <meta charset="utf-8">
  4. <title>Example</title>
  5. </head>
  6. <div style="color: orange;">
  7. Wow, her is amazing!
  8. </div>
  9. </body>
  10. </html>
Strelok
Dziękuję za wszelkie sugestie. Zdaję sobie sprawę z zagrożeń wynikających z problemu wyłapywania zbyt dużej ilości wystąpień i zaznaczam, że owe wyrażenie jest mi potrzebne jedynie w celach edukacyjnych.
Wstępnie posiadam inne wyrażenie, które wyłapuje tylko otwarcie tagu HTML z zawartością.

W każdym razie, miałbym prośbę - czy istnieje możliwość modyfikacji poniższego regexa w taki sposób, aby nie wyłapywał atrybutów przypadkiem zawierających szukaną nazwę. Mam na myśli atrybuty z myślnikami, tj. attr-x x-attr.

Regex o którym mowa:
https://regex101.com/r/qZ7Slx/4

Nowy ciąg:
Z myślnikami:
  1. <img attr="" nonattr="" attr-x="" x-attr>
viking
Wrzuciłem do https://packagist.org/packages/electrolinux/phpquery. Bez problemu usuwa:

  1. pq('img')->removeAttr('attr');


Kod
<img src="/test-image_1.jpg" qwe="asd">
<img src="/test-image_1.jpg" qwe="asd">
<img src="/test-image_1.jpg" qwe="asd">
<img src="/test-image_1.jpg" qwe="asd">
<img src="/test-imagalte_1.jpg" qwe="asd">
<img src="/test-%20alt%20image_1.jpg" qwe="asd">
<img src="/test-image_1.jpg" asd=" q" qwe="asd">
<img nonattr="" attr-x="" x-attr>
SmokAnalog
Przy okazji wywala też niepuste, a nie o to chodziło.
viking
Poprzez "puste" rozumiem także atrybuty attr zawierające między cudzysłowami białe znaki

Więc wszystko się zgadza. Chyba że był jakiś ogranicznik jeszcze pomiędzy waszym sporem.
trzczy
Cytat(Strelok @ 10.03.2018, 12:47:26 ) *
by nie wyłapywał atrybutów przypadkiem zawierających szukaną nazwę. Mam na myśli atrybuty z myślnikami, tj. attr-x x-attr.

Wydaje mi się, że trzeba wstawić coś innego niż \b jako koniec lub początek słowa. Mianowicie jakiś zestaw znaków niezawierający myślnika. Może coś takiego [^\w\d-]
Taka praca nad regexem to w dużej mierze sprytne wyszukiwanie testów. Jest sporo roboty.
SmokAnalog
Cytat(viking @ 10.03.2018, 13:57:44 ) *
Poprzez "puste" rozumiem także atrybuty attr zawierające między cudzysłowami białe znaki

Więc wszystko się zgadza. Chyba że był jakiś ogranicznik jeszcze pomiędzy waszym sporem.

Przeczytaj po prostu dokładnie pierwszy post w temacie. Odważnie zakładać, że dwie osoby sprzeczają się o problem, który można rozwiązać w tak banalny sposób jaki podałeś haha.gif
viking
Pierwsze zdanie to właśnie był cytat z pierwszego. Bo spieracie sie bez sensu o wyrażenia regularne które wiadomo sprawią tu problem i nie pasują do zadania. Usunięcie jak leci atrybutu danego spełnia warunki. Jak trzeba przefiltrowac to też żaden problem z phpquery.
SmokAnalog
Cytat(Strelok @ 8.03.2018, 16:30:07 ) *
<img src="/test-image_1.jpg" attr="test-image_1" qwe="asd" attr>

Jak widzisz, pierwszy attr nie jest na czerwono.
viking
No a co za problem napisać ifa do tego?
SmokAnalog
Ty tak serio?
viking
Ale niby co? Filtrowanie to zawsze domena użytkownika. Puste znaki, spacje w nazwie - takie rzeczy robi się według potrzeb. Zaraz stwierdzi że np myślnika też nie może być i system ma sam to zgadywać? Była rozmowa że biblioteki nie usuwają dwóch tych samych atrybutów. Nie jest to prawda.
SmokAnalog
Nikt nie mówił, że biblioteki nie usuwają zduplikowanych atrybutów, tylko że ich nie wyłapują. Zastanów się chwilę. Jak masz wywalić tylko te puste, to w jakiś sposób musisz sprawdzić czy aby na pewno nie ma jakiegoś niepustego. I tutaj jest problem, bo crawlery wyłapują każdy atrybut danego typu tylko raz. Twoja logika zadziała tylko wtedy, gdy ten niepusty atrybut jest podany jako pierwszy (lub ostatni, pewnie są crawlery co biorą ostatni).

Zrozumiałeś teraz?
To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.
Invision Power Board © 2001-2024 Invision Power Services, Inc.