webthumbnail.org - Miniaturki stron www!, test nowej aplikacji Opcje

[cepa]

Siema,

zapraszam do testowania i korzystania z nowego projektu:

http://webthumbnail.org

Jest to generator miniaturek stron internetowych, oto co aktualnie potrafi:

- proste w uzyciu api do osadzania miniaturek na stronach
- zrzuty ekranu od 50x50 do 2048x4096 pikseli
- trzy prawdziwe przegladarki: firefox, chrome, opera
- trzy formaty danych: png, jpg, gif
- renderuje flasha i html5
- serwer jest w stanie serwować nawet 500 gotowych miniaturek na sekunde
- infrastruktura jest w pełni skalowalna

Jak to działa?
Dodajesz adres url strony, serwer wrzuca ten adres do kolejki. Z drugiej strony jest chmura robotów, które pobierają dane z kolejki i tworzą zrzuty ekranu, które później znów lądują na serwerze www.
Infrastruktura nadaje się do zastosowań produkcyjnych i dużych serwisów www, w testach osiąga 500 requestów na sekunde z jednej maszyny, a ilość robotów może zostać zwiększona w miare potrzeb.

Technologia:
- Java (api, roboty)
- PHP (frontend, backend)
- PostgreSQL (baza)
- Bash, Python, ImageMagick, itd...
- FreeBSD (główny serwer)
- Linux, OpenVZ (roboty)

Jeżeli coś nie działa to piszcie, z góry dzięki za wszelkie komentarze!

(projekt jest w fazie Beta)

Ten post edytował cepa 26.03.2012, 14:02:32

[redeemer]

Wyłacz wyświetlanie błędów (mięsny jeż (IMG:style_emoticons/default/biggrin.gif) )


Ten post edytował redeemer 26.03.2012, 14:55:09

[prowseed]

Działa super, jedyne, co mi się nie podoba, to propozycja przetłumaczenia w Chrom'ie.
Jedna z testowanych przeze mnie stron nie wyświetlała się poprawnie (małe błędy, ale ostatecznie to chyba wina przeglądarki).
Rozumiem, ze raz zlapany url jest cache'owany. Po jakim czasie to sie czysci?

[!*!]

Nie działa. Spore zainteresowanie jak już jest 500 requestów na sekundę w raptem 2 godziny (IMG:style_emoticons/default/wink.gif) Obojętnie jakiego adresu bym nie podał, pokazuje się białe tło, a w operze błąd przeglądarki.

Jaki jest cel takiego serwisu?

[cepa]

Load test lecial, no i wykrzaczyl serwer, o ile java wytrzymuje taki ruch o tyle postgres sie "skonczyl" (IMG:style_emoticons/default/smile.gif)

powinno juz wszystko wrocic do normy...

[!*!]

Niestety. Efekt ten sam.
Nie odpowiedziałeś jaki jest cel serwisu. Planujesz rozbudować to o inne systemy i przeglądarki?

[cepa]

Niestety. Efekt ten sam.
Nie odpowiedziałeś jaki jest cel serwisu. Planujesz rozbudować to o inne systemy i przeglądarki?

Moglbys wyslac mi link do tego co konkretnie nie dziala? wiedziałbym wtedy jak to poprawic (IMG:style_emoticons/default/smile.gif)

Co do celu serwisu:

Nie jest to klasyczny genialny starup ktory ma zarobic miliony, serwis powstal w celu nauczenia sie kilku rzeczy, no i ma byc uzyty w kilku nastepnych projektach. Jezeli bedzie zainteresowanie to pewnie pojawi sie opcja platna, zeby zwrocil sie koszt utrzymania serwisu a wiec serwer i maszyny z przeglądarkami.

W czym moze byc lepszy od innych:

1) wynajęcie usługi dla swojego projektu
- przeglądarki działają "w chmurze", można wynająć kilka robotów, dzięki temu można szybko zintegrować usługę ze swoim projektem i mieć pewność ze zrzuty będą wykonane w ciągu maks kilkudziesięciu sekund, bo tyle trwa załadowanie strony

2) ficzery i efekty
- skalowanie, obracanie, znaki wodne, wlasny loader, itp... da sie (IMG:style_emoticons/default/smile.gif)

3) geolokalizacja
- robot może zostać skonfigurowany do łączenia się z "danego kraju" poprzez proxy, odpada wtedy problem geoblockow itp

4) wsparcie flasha i silverlighta
- roboty są w javie, można to postawić na windowsie i uruchamiać strony wymagające windowsa jak chociażby te które korzystają z silverlighta, czyli chociażby wszędzie tam gdzie jest streaming i drm

5) miniaturki innych mediów
- robot może robić cokolwiek w tym miniaturki zwykłych plików graficznych czy mediów jak filmy itp

6) testy przeglądarek
- da rade odpalać przeglądarki w konkretnych wersjach coś w stylu browserlab

7) skalowalność
- po dopracowaniu, ryzyko tego, że aplikacja się zapcha będzie dość niskie

8) wrappery
- lada dzień pojawi się pierwsza klasa do używania api z poziomu php

Jak będzie zainteresowanie to projekt się rozwinie, jak nie to będzie używany głownie w celach "wewnętrznych" (IMG:style_emoticons/default/smile.gif)

[!*!]

Teraz działa dobrze, widocznie wcześniej nie wytrzymywało zainteresowania.

Jednak, generowany jest tylko zrzut ekranu danej strony, a nie cała strona, więc porównanie do browserlab jest lekkim nadużyciem ;)
Rozumiem jaka jest idea tego projektu, jednak mam wrażenie że zrobiłeś za duży rozrzut:

- miniaturki strony, to zakładam że chcesz zrobić coś na zasadzie... speed page w operze np. dla panelu administracyjnego? Wtedy zwykły screen były dobry, a nawet pokusiłbym się o zrobienie go po stronie użytkownika (canvas) jeśliby nie istniał i dopiero później przesłałbym go na serwer.

- jeśli jednak ma być to dla web developerów, to sam screen nie wystarczy, ponieważ musi być pokazana cała strona chociażby do prezentacji i/lub obadania czy link w stopce jest idealnie 2px w lewo ;) w tej opcji jednak nie widzę sensu, ponieważ nie ma najważniejszego w tego typu narzędziach, rozbicia na systemy operacyjne, bo o ile nie każdy web developer posiada macos x, ale z pewnością każdy posiada fx,o i ch ;)

Niemniej dobra robota.

Ten post edytował !*! 27.03.2012, 08:39:05

[cepa]

to jest pierwsza beta, jezeli bedzie zainteresowaniem to pewnie sie rozwinie, a w ktorym kierunku to zalezy od uzytkownikow, tak czy siak oprogramowanie jest dosc elastyczne wiec mozna to dostosowac pod wiele projektow (IMG:style_emoticons/default/smile.gif)

[slammer]

Link: http://webthumbnail.org//index/status?widt...http://php.net/

Kod

Warning: file_get_contents(http://localhost:8080/?width=500&height=500&format=png&browser=dupa&url=http%3A%2F%2Fphp.net%2F&action=get-status): failed to open stream: HTTP request failed! HTTP/1.1 500 Unsupported browser 'dupa'! in /usr/home/snap/snap-webfront/app/controllers/IndexController.php on line 25

w złym temacie wrzuciłem wcześniej (IMG:style_emoticons/default/brzydal.gif)

[cepa]

bugfix: nie wyswietla juz paska translatora w chrome (IMG:style_emoticons/default/tongue.gif)

[mls]

Na Safari miniaturka po wygenerowaniu przeładowuje się co chwilę (znika, pojawia, znika, pojawia...)
Ponadto nie generują się zrzuty z domen typu IDN (np. aptekidyżurne.pl)

[prowseed]

Wpisuje nie istniejacy adres url, np http://o.p
Pojawia sie na dole gif ajax-loader.gif
Pozniej wpisuje poprawny adres, np onet.pl
Miniaturka sie wyswietla, jednak nad nia caly czas krazy ajax-loader, nie znika.
Taka tam stylistyczna niedorobka : )

[cepa]

kolejne poprawki doszly, glownie bezpieczenstwa, lada dzien beda nowe ficzery na produkcji (IMG:style_emoticons/default/smile.gif)

[Matkas]

Podoba mi się,
świetnie by było jakbyś dodał przeglądarki IE począwszy od 6.0

[Posio]

Bardzo mi się podoba, właśnie robię miniaturki do mojego przyszłego portfolio (IMG:style_emoticons/default/smile.gif)

[Speedy]

Fajne. Jedynie w operze wywaliło mi jakiś błąd na screenie: http://api.webthumbnail.org/?width=512&...=http://onet.pl

[cepa]

https://github.com/cepa/webthumbnail

pojawił się wrapper w php, prosta klasa, która umożliwia robienie zrzutów ekranów z poziomu php, kod nie korzysta z zewnętrznych bibliotek, jedyne wymagania to zainstalowany moduł curl.

przykład użycia:

[PHP] pobierz, plaintext 
$thumb = new Webthumbnail("http://forum.php.pl");
$thumb
    ->setWidth(512)
    ->setHeight(512)
    ->captureToFile($path);
[PHP] pobierz, plaintext 

i mamy zapisany obrazek do pliku (IMG:style_emoticons/default/smile.gif)

zachęcam do testowania, z góry dzięki za wszelki feedback.

Ten post edytował cepa 20.04.2012, 22:10:31

[vieri_pl]

Mam nadzieje, że dasz jakieś w miarę normalne stawki i rozreklamujesz skrypcik po katalogach stron, jak np. seokatalogi.pl, możesz dać ogłoszenie tam lub na forum PiO.

Fajnie jak serwis się utrzyma bo wiem z doświadczenia, że dość szybko ruch jest nie do utrzymania (IMG:style_emoticons/default/smile.gif)

[d3ut3r]

Wszystko fajnie działa, zastanawia mnie jednak sprawa api, czy nie lepiej zamiast robić sleep(2) zrobić to w inny sposób, np dodać parametr callback url i żeby to twój system wysyłał info o skończeniu pod ten link ?. Głównie chodzi o czas wykonywania skryptu teraz może i takich kolejek nie ma, ale jak trafi się moja miniaturka jako 100 w kolejce i będę musiał poczekać dość sporo czasu to Mi się skrypt wysypie.