 Robot czytający ze stron |
| Robot czytający ze stron |
 28.02.2016, 08:15:56
Post
#1
|
|
 Grupa: Zarejestrowani Postów: 160 Pomógł: 27 Dołączył: 22.09.2008 Skąd: Tarnów Ostrzeżenie: (0%) 
 |
Cześć,
Czy pisząc robota masowo czytającego ze stron powinienem zwrócić na coś szczególnie uwagę? Chodzi mi np. o ilość requestów na minutę itp, aby strony nie blokowały mi adresu ip (aby nikt nie pomyślał że próbuję atakować stronę itp). -------------------- |
 |
 
|
 |
|
28.02.2016, 13:34:19
Post
#2
|
|
|
Grupa: Zarejestrowani Postów: 556 Pomógł: 40 Dołączył: 20.07.2012 Skąd: Warszawa Ostrzeżenie: (0%)
|
widzisz -> przez to że walczę z tym na co dzień podawanie info jak go dobrze napisać było by strzałem w stopę, jednak nie jest to wiedza tajemna i wystarczy chwilę pomyśleć by nie był blokowany przynajmniej na początku
|
|
|
|
|
28.02.2016, 14:01:20
Post
#3
|
|
 Grupa: Moderatorzy Postów: 4 069 Pomógł: 497 Dołączył: 11.05.2007 Skąd: Warszawa |
Takie coś jest legalne?
|
|
|
|
|
28.02.2016, 14:20:27
Post
#4
|
|
|
Grupa: Zarejestrowani Postów: 556 Pomógł: 40 Dołączył: 20.07.2012 Skąd: Warszawa Ostrzeżenie: (0%)
|
legalne -> np roboty wyszukiwarek działają w ten sposób
|
|
|
|
|
28.02.2016, 15:45:31
Post
#5
|
|
 Grupa: Zarejestrowani Postów: 114 Pomógł: 25 Dołączył: 22.11.2015 Ostrzeżenie: (0%)
|
-------------------- Słaba znajomość (ale się staram): HTML5, CSS3, JavaScript, SQL, Access
|
|
|
|
|
28.02.2016, 17:42:36
Post
#6
|
|
|
Grupa: Zarejestrowani Postów: 556 Pomógł: 40 Dołączył: 20.07.2012 Skąd: Warszawa Ostrzeżenie: (0%)
|
Cytat Wydaje się, że podstawową sprawą jest rozróżnienie samej czynności crawlowania (automatycznego przeszukiwania treści stron internetowych, indeksowania jej i pobierania) od ewentualnego późniejszego wykorzystywania pozyskanych w ten sposób treści. i to jest kluczowa kwestia własnie -> do czego posłużą dane pobrane dane, czy pobieranie będzie korzystne dla wydawcy strony etc. dodam jeszcze że natarczywe roboty powodują czasami niemałe obciążenie serwera więc lepiej takie poinformować że strona o podanym adresie nie istnieje 
|
|
|
|
 |
|
Wersja Lo-Fi | Aktualny czas: 14.08.2025 - 04:41 |
