Strelok
8.03.2018, 16:30:07
Witam, problem wygląda następująco:
W poniższym kawałku HTML chciałbym złapać wszystkie puste atrybuty
attr (oznaczone na czerwono):
<img src="/test-image_1.jpg" attr="test-image_1" qwe="asd"
attr>
<img src="/test-image_1.jpg" attr="test-image_1" qwe="asd"
attr=>
<img src="/test-image_1.jpg" attr= "test-image_1" qwe="asd"
attr="">
<img src="/test-image_1.jpg" attr= "test-image_1" qwe="asd"
attr=" ">
<img attr="a attr b" src="/test-imagalte_1.jpg"
attr qwe="asd" />
<img src="/test- alt image_1.jpg" attr="test-image_1"
attr= "" qwe="asd" >
<img src="/test-image_1.jpg"
attr = " " asd=" q" attr="test-image_1"
attr qwe="asd" >
Poprzez "puste" rozumiem także atrybuty attr zawierające między cudzysłowami białe znaki.
Dodatkowo ciągi attr występujące pomiędzy cudzysłowami nie powinny zostać złapane.
Wyrażenie które mam na ten moment:
/attr(?=(?:[^"]*"[^"]*")*[^"]*\Z)/gi
https://regex101.com/r/MvpdM9/1
SmokAnalog
9.03.2018, 00:28:48
Powiem Ci, że będzie ciężko. Wyrażenie regularne może mieć dużo pułapek i nie używałbym go do tego celu. Najlepiej to by było znaleźć bibliotekę do parsowania drzewa DOM, która potrafi znaleźć duplikaty atrybutów. Zduplikowany atrybut już nie jest prawidłowym HTML-em.
Chodzi o jednorazowe czyszczenie czy potrzebujesz skryptu, który będzie to robił wielokrotnie?
Pyton_000
9.03.2018, 08:42:47
Użyj sobie tego:
https://github.com/paquettg/php-html-parserZnajdź wsystkie `img` potem iteruj po nich sprawdzając
if(trim($item->getAttribute('attrib')) === '')
i zapisuj.
SmokAnalog
9.03.2018, 12:55:03
Pyton, ale jest jeden problem. Te biblioteki w zależności od implementacji wyłapują tylko pierwsze lub ostatnie wystąpienie danego atrybutu, bo prawidłowy HTML i ogólnie XML nie mogą mieć powtórzonych atrybutów. Dla obu przypadków, kiedy na przykład masz taki oto znacznik:
<div attr="" attr="Misie koala" attr="">Pandy też
</div>
Parser w ogóle nie dowie się, że w środku jest jakaś wartość, a raczej nie chodzi autorowi o to, żeby wyrzucać wszystkie w takim przypadku, tylko te puste.
Moim zdaniem w grę wchodzi szukanie biblioteki, która pozwoli na znalezienie wszystkich atrybutów o danej nazwie (wątpliwe czy taka biblioteka istnieje), a w ostateczności mała modyfikacja dowolnego parsera DOM. Tak, wiem - brzydko, ale co zrobić.
Od biedy można użyć parsera do wyłapania elementów (selektor CSS
[attr]) i potem już zabawa z wyrażeniem regularnym. Nadal brudno, ale jednak mniejsza szansa na zepsucie całego HTML-a
Pyton_000
9.03.2018, 13:29:01
Nie doczytałem że tam może być więcej attr w tagu.
Masz rację. DOM w php odczytuje tylko pierwszy attr.
No to pozostaje zabawa regexp.
trzczy
9.03.2018, 14:01:25
Co w tym trudnego?
https://regex101.com/r/qZ7Slx/1\s?\battr\s*=\s*"\s*"|\s?\battr\b\s*=(?![^=<>]*")(?!\s*=)|\s?\battr\b(?![^=<>]*")(?!\s*=)
Pyton_000
9.03.2018, 14:14:43
Nic trudnego tylko nikomu się nie chciało takiego potworka pisać
Strelok
9.03.2018, 14:27:36
Cytat(trzczy @ 9.03.2018, 14:01:25 )
Co w tym trudnego?
https://regex101.com/r/qZ7Slx/1\s?\battr\s*=\s*"\s*"|\s?\battr\b\s*=(?![^=<>]*")(?!\s*=)|\s?\battr\b(?![^=<>]*")(?!\s*=)
Dzięki, wygląda nieźle
Jeszcze tylko lekko zmodyfikować pod kątem łapania apostrofów i double quotes i powinno być w porządku. Istnieje jeszcze taki rzadki przypadek gdy nazwa tagu będzie się pokrywać z szukanym atrybutem, np. <attr attr="">.
Ja napisałem coś takiego (nieco moich wymagań spełnia
):
attr(?:(?:\s*=\s*".*?"|\s*=\s*'.*?')|(?=(?:[^"']*["'][^"']*["'])*[^"']*\Z)[\s]*=?[\s]*?)
Hmm i jeszcze jeden przypadek kiedy "attr" jest fragmentem nazwy innego atrybutu z myślnikiem, np. <img attr="" attr-inny="">.
E:
powinienem jeszcze dodać, że danymi wejściowymi dla takiego regexa będzie właściwie tylko jeden tag html z zawartością, np.:
<img src="/test-image_1.jpg" attr= "test-image_1" qwe="asd" attr=" ">
albo
<attr src="/test-image_1.jpg" attr= "test-image_1" qwe="asd" attr=" ">
albo
<img src="/test-image_1.jpg" attr= "test-image_1" qwe="asd" attr-qwe=" ">
SmokAnalog
9.03.2018, 14:53:00
Cytat(trzczy @ 9.03.2018, 14:01:25 )
Co w tym trudnego?
https://regex101.com/r/qZ7Slx/1\s?\battr\s*=\s*"\s*"|\s?\battr\b\s*=(?![^=<>]*")(?!\s*=)|\s?\battr\b(?![^=<>]*")(?!\s*=)
Tak kozaczysz, a Twoje wyrażenie polega na zwykłym stringu:
Po prostu regexa się nie używa w takim celu i tyle, bo tworzy to niesamowicie nieczytelny i podatny na błędy kod (jak widać).
Pyton_000
9.03.2018, 15:04:43
Pytanie skąd taki śmietnik przychodzi...
trzczy
9.03.2018, 15:40:20
@SmokAnalog taaa...
@Strelok, najlepiej zapodaj string do przetestowania regexu. Wtedy jest mniej pytań ze strony układającego regex.
Strelok
9.03.2018, 15:56:37
Cytat(trzczy @ 9.03.2018, 15:40:20 )
@Strelok, najlepiej zapodaj string do przetestowania regexu. Wtedy jest mniej pytań ze strony układającego regex.
Dajmy na to tag o nazwie attr, gdzie szukane puste atrybuty to attr:
<attr attr src="/test-image_1.jpg" attr = " " asd=" q" attr="test-image_1.jpg" attr qwe="as-d q-q" x="attr asd" >
trzczy
9.03.2018, 16:12:03
SmokAnalog
9.03.2018, 21:55:31
Nadal wyłapujesz luźny ciąg znaków attr niebędący atrybutem, więc Twój kod jest bezużyteczny.
trzczy
9.03.2018, 22:10:36
Postawiłem sobie za zadanie spełniać testy. Bezużyteczność to twoje urojenia.
SmokAnalog
9.03.2018, 22:20:30
No to dodaj prawidłowo te testy
Co to w ogóle jest za odpowiedź
trzczy
9.03.2018, 22:25:02
Jeśli masz jakieś wymagania, to zapraszam do giełdy.
SmokAnalog
9.03.2018, 22:26:37
Nie no, super. Dodawaj złą odpowiedź bez uprzedzenia (bo nie przetestowałeś dokładnie) i chciej kasy za prawidłową. Twój kod ma podstawowy błąd, bo upierasz się jak zwykle przy wyrażeniach regularnych, mimo że nie masz w nich wprawy i nie wiesz kiedy należy ich unikać.
trzczy
9.03.2018, 22:29:09
Znajdź sobie więc fajniejszego kolegę. Ja oferuję regexy spełniające testy zadane przez pytającego.
SmokAnalog
9.03.2018, 22:34:10
Mam nadzieję, że jeśli pracujesz z klientami to wkładasz trochę więcej serca w pracę. Klient (lub osoba pytająca) nie ma obowiązku umieć utworzyć testów i kolega wyżej po prostu przeoczył jeden z najważniejszych przypadków, kiedy ciąg znaków "attr" występuje w roli węzła tekstowego. Jak się odpowiada na pytania, trzeba myśleć za osobę pytającą, a nie rzucać odpowiedzią jak papuga.
trzczy
9.03.2018, 22:42:40
Jasno stawiam sprawę: dajesz testy, znajdę regex. Reszta to twój ból.
SmokAnalog
10.03.2018, 00:41:46
Nie chcę brzmieć jak tatuś, ale przemyśl swoje zachowanie
Bo zachowujesz się jak księżniczka, co łaskę robi, że paluszkiem kiwnie. Albo pomagasz jak należy, albo wcale.
trzczy
10.03.2018, 01:05:30
Kojarzysz mi się głównie z blamażem file_get_contents. Fajnie, że już jesteś z powrotem.
SmokAnalog
10.03.2018, 01:11:27
Hę?
trzczy
10.03.2018, 01:22:17
Zniknąłeś na parę dni, jak dostałeś srogą naukę. Nie przeprosiłeś osób, które wcześniej potraktowałeś obcesowymi uwagami ad personam. Ten temat z curlem, crawlerem i file_get_contents.
SmokAnalog
10.03.2018, 01:29:22
Zniknąłem jak dostałem jakąś naukę? Nie wiem co bierzesz, ale bierz połowę. Ja zawsze na tym forum bywałem w kratkę jakbyś nie zauważył. Mówisz o moim temacie, gdzie kilka osób wypisywało kompletne idiotyzmy? Tam się czegoś nauczyłem? Aha.
trzczy
10.03.2018, 01:33:32
W mych oczach potwierdziłeś, że masz zdolności głównie kokieteryjne i przeważnie uprawiasz gadulstwo. Pożytecznej wiedzy przynosisz na forum tyle, co kot napłakał. Weźmy np. ten temat. Pomogłem Koledze tutaj dwukrotnie, a ty zero. Ale postów nastukałeś masę.
b4rt3kk
10.03.2018, 01:35:20
Cytat(trzczy @ 10.03.2018, 01:22:17 )
Zniknąłeś na parę dni, jak dostałeś srogą naukę. Nie przeprosiłeś osób, które wcześniej potraktowałeś obcesowymi uwagami ad personam. Ten temat z curlem, crawlerem i file_get_contents.
Daj link do tematu/posta.
SmokAnalog
10.03.2018, 01:38:20
Raczej mu zaszkodziłeś niż pomogłeś, bo podałeś błędne rozwiązanie.
Link do tematu:
http://forum.php.pl/index.php?act=findpost&pid=1228535
trzczy
10.03.2018, 01:48:56
Moje rozwiązanie nawiązuje wprost do wymagań pytającego. A ty przypisujesz pytającemu jakieś inne intencje, mimo że on im literalnie zaprzecza. Domyślam się, że przeoczyłeś to, kiedy pytający czarno na białym napisał, że nie chodzi o teksty między tagami. Umiejętność przyznania się do błędu świadczy o klasie człowieka.
SmokAnalog
10.03.2018, 01:56:09
No i właśnie nie miały być wyłapane, a Twój wzorzec je łapie. W tym problem. Jak będzie gdzieś w tekście, to mu to wywali. To jest poważny mankament i zaproszenie do zepsucia treści.
trzczy
10.03.2018, 02:16:39
Różne są zadania w informatyce i sprowadzanie ich do kilku typowych stereotypów może przynieść szkodę. Pytający przyszedł z konkretnym problemem i uzyskał odpowiedź wedle swych potrzeb. Odpowiedź alternatywną możesz wstawić, na pewno nikt nie będzie jej krytykował, jak będzie działała.
A teraz coś czego nie lubię: powtarzać mą włąsną wypowiedź któryś raz, bo rozmówca ją wypiera. Otóż, pytający napisał, że między tagami nie ma żadnej treści. Znaczy to nic innego, jak to, że nie przewidziano <div>attr</div> ani nawet <div>kupka</div>
SmokAnalog
10.03.2018, 02:28:34
Nie rozumiem o co chodzi z tym sprowadzaniem do stereotypów. Zadanie jest jasne, tylko jak to często bywa, osoba pytająca nie uwzględnia wszystkich potencjalnych problemów w pytaniu. Taki urok zadawania pytań, że osoba odpowiadająca musi sama przemielić pytanie i spojrzeć na nie z lotu ptaka.
Jeżeli faktycznie jest sto procent pewności, że pewna sytuacja nie wystąpi, to można iść na pewne kompromisy, choć jest to już jazda na krawędzi, bo warunki wejściowe mogą się kiedyś zmienić. Nie chce mi się sprzeczać, tym bardziej że nie ma o co. Napisałem wyżej, że najlepiej byłoby poszukać parsera co nie zignoruje powtórzonych atrybutów. Takie zdanie podtrzymuję. Bez tego pozostają rozwiązania z błędami, które jednak mogą wystarczyć autorowi pytania, choć tego nie wiemy na pewno.
Nie sprzeczajmy się już. Dobranoc.
trzczy
10.03.2018, 05:06:56
Cytat(SmokAnalog @ 10.03.2018, 02:28:34 )
Zadanie jest jasne, tylko jak to często bywa, osoba pytająca nie uwzględnia wszystkich potencjalnych problemów w pytaniu.
Problem w tym, że Ty jesteś oderwany od rzeczywistości.
Kilka razy w tym wątku pisałeś, że osoba zadająca pytanie nie uwzględnia przypadku, że słowo attr jest między tagami div.
Tymczasem mijasz się tu z prawdą, bo pytający napisał konkretnie, że nie przewiduje przypadku, że między tagami będzie cokolwiek. Jesteś odporny na fakty.
Są granice wmawiania pytającemu, że pyta on o coś innego niż mu się wydaje. I ja sporu nie skończę, dopóki nie cofniesz tego argumentu wyssanego z palca, że moja praca nie uwzględnia słowa attr między tagami.
Wykonałem poważną robotę i nie pozwolę, by ktoś podważał moje umiejętności przez wymyślanie fikcyjnych problemów.
Pyton_000
10.03.2018, 09:42:27
Możecie sobie prywatne żale wylewać gdzieś indziej?
Jest rozwiązanie problem, jest uwaga że nie wyłapuje wszystkiego. Autor sam sobie zdecyduje co z tymi informacjami zrobić.
Koniec. temat wyczerpany.
SmokAnalog
10.03.2018, 12:05:36
Trzczy - Twoja argumentacja jest cholernie amatorska. Tak robią kiepscy programiści, kiepscy lekarze, kiepscy prawnicy i w ogóle wszyscy kiepscy, że za rozwiązanie problemu uznają
usunięcie objawu wspomnianego przez "pacjenta".
- Boli mnie głowa, panie doktorze.
- Proszę wziąć lek przeciwbólowy.
Czasami takie podejście jest do zaakceptowania, jeśli chodzi o jednorazową akcję i sami sobie sprawdzimy ręcznie potem efekt, ale tutaj to jest już słabe. Owszem, autor mówi, że nie przewiduje takiej sytuacji. Ale to nie znaczy, że kod ma mu ZNISZCZYĆ treść w przypadku, gdy przez pomyłkę jednak taka sytuacja zajdzie. Czuję się jakbym mówił do ucznia na pierwszej lekcji programowania.
Wiem, że włożyłeś dużo pracy w ten wzorzec, no ale bywa i tak - czasem się mylimy w naszej pracy, jakkolwiek byśmy się nie napracowali. Przestań mnie obrażać za to, że ostrzegam osobę zadającą pytanie przed potencjalnym poważnym zagrożeniem idącym za Twoim rozwiązaniem. Twoje niechlujstwo i lenistwo nie jest godne podziwu.
Pyton - Gdyby kod "nie wyłapywał wszystkiego", to by nie było sporu. Problem polega na tym, że on wyłapuje zbyt dużo. Powiedzmy, że ta funkcjonalność została umieszczona w funkcji removeEmptyAttributes:
$before = <<<HTML
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Example</title>
</head>
<body>
<div style="" style="color: orange;" style>
Wow, her style is amazing!
</div>
</body>
</html>
HTML;
$after = removeEmptyAttributes('style', $before);
Kod kolegi trzczy owszem, wyrzuci atrybuty, ale przy okazji wywali słowo "style" z treści i nikt tego nie zauważy. Zostanie nam to:
<!DOCTYPE html>
<div style="color: orange;"> Wow, her is amazing!
Strelok
10.03.2018, 12:47:26
Dziękuję za wszelkie sugestie. Zdaję sobie sprawę z zagrożeń wynikających z problemu wyłapywania zbyt dużej ilości wystąpień i zaznaczam, że owe wyrażenie jest mi potrzebne jedynie w celach edukacyjnych.
Wstępnie posiadam inne wyrażenie, które wyłapuje tylko otwarcie tagu HTML z zawartością.
W każdym razie, miałbym prośbę - czy istnieje możliwość modyfikacji poniższego regexa w taki sposób, aby nie wyłapywał atrybutów przypadkiem zawierających szukaną nazwę. Mam na myśli atrybuty z myślnikami, tj.
attr-x x-
attr.
Regex o którym mowa:
https://regex101.com/r/qZ7Slx/4Nowy ciąg:
Z myślnikami:
<img attr="" nonattr="" attr-x="" x-attr>
viking
10.03.2018, 13:11:58
Wrzuciłem do
https://packagist.org/packages/electrolinux/phpquery. Bez problemu usuwa:
pq('img')->removeAttr('attr');
Kod
<img src="/test-image_1.jpg" qwe="asd">
<img src="/test-image_1.jpg" qwe="asd">
<img src="/test-image_1.jpg" qwe="asd">
<img src="/test-image_1.jpg" qwe="asd">
<img src="/test-imagalte_1.jpg" qwe="asd">
<img src="/test-%20alt%20image_1.jpg" qwe="asd">
<img src="/test-image_1.jpg" asd=" q" qwe="asd">
<img nonattr="" attr-x="" x-attr>
SmokAnalog
10.03.2018, 13:42:08
Przy okazji wywala też niepuste, a nie o to chodziło.
viking
10.03.2018, 13:57:44
Poprzez "puste" rozumiem także atrybuty attr zawierające między cudzysłowami białe znaki
Więc wszystko się zgadza. Chyba że był jakiś ogranicznik jeszcze pomiędzy waszym sporem.
trzczy
10.03.2018, 13:59:22
Cytat(Strelok @ 10.03.2018, 12:47:26 )
by nie wyłapywał atrybutów przypadkiem zawierających szukaną nazwę. Mam na myśli atrybuty z myślnikami, tj. attr-x x-attr.
Wydaje mi się, że trzeba wstawić coś innego niż
\b jako koniec lub początek słowa. Mianowicie jakiś zestaw znaków niezawierający myślnika. Może coś takiego
[^\w\d-]Taka praca nad regexem to w dużej mierze sprytne wyszukiwanie testów. Jest sporo roboty.
SmokAnalog
10.03.2018, 14:16:48
Cytat(viking @ 10.03.2018, 13:57:44 )
Poprzez "puste" rozumiem także atrybuty attr zawierające między cudzysłowami białe znaki
Więc wszystko się zgadza. Chyba że był jakiś ogranicznik jeszcze pomiędzy waszym sporem.
Przeczytaj po prostu dokładnie pierwszy post w temacie. Odważnie zakładać, że dwie osoby sprzeczają się o problem, który można rozwiązać w tak banalny sposób jaki podałeś
viking
10.03.2018, 14:22:50
Pierwsze zdanie to właśnie był cytat z pierwszego. Bo spieracie sie bez sensu o wyrażenia regularne które wiadomo sprawią tu problem i nie pasują do zadania. Usunięcie jak leci atrybutu danego spełnia warunki. Jak trzeba przefiltrowac to też żaden problem z phpquery.
SmokAnalog
10.03.2018, 14:25:43
Cytat(Strelok @ 8.03.2018, 16:30:07 )
<img src="/test-image_1.jpg" attr="test-image_1" qwe="asd" attr>
Jak widzisz, pierwszy attr nie jest na czerwono.
viking
10.03.2018, 14:31:54
No a co za problem napisać ifa do tego?
SmokAnalog
10.03.2018, 14:36:33
Ty tak serio?
viking
10.03.2018, 15:09:23
Ale niby co? Filtrowanie to zawsze domena użytkownika. Puste znaki, spacje w nazwie - takie rzeczy robi się według potrzeb. Zaraz stwierdzi że np myślnika też nie może być i system ma sam to zgadywać? Była rozmowa że biblioteki nie usuwają dwóch tych samych atrybutów. Nie jest to prawda.
SmokAnalog
10.03.2018, 15:23:56
Nikt nie mówił, że biblioteki nie usuwają zduplikowanych atrybutów, tylko że ich nie wyłapują. Zastanów się chwilę. Jak masz wywalić tylko te puste, to w jakiś sposób musisz sprawdzić czy aby na pewno nie ma jakiegoś niepustego. I tutaj jest problem, bo crawlery wyłapują każdy atrybut danego typu tylko raz. Twoja logika zadziała tylko wtedy, gdy ten niepusty atrybut jest podany jako pierwszy (lub ostatni, pewnie są crawlery co biorą ostatni).
Zrozumiałeś teraz?
To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę
kliknij tutaj.