Pobieranie kilku źródeł strony na raz. Opcje

[franz87]

Witam,
Mam pytanie, potrzebuje zrobić program, który pobiera wiele źródeł strony na raz - kilka tysięcy (np po 100 albo 1000 źródeł na raz).
Ponieważ licząc, że jedna strona (ok. 30-40KB) pobiarała by się dzisiętne sekundy, to przy dużej ilości, byłby to spory czas.
Tu pytanie, czy pobieranie kilku źródeł na raz jest możliwe?
Nie wiem, czy otwieranie stron działa w podobie do wielodostępności w OS, czy może jest możliwość równoległego pobierania stron?
Jeśli tak to jaką funkcją się posłużyć?

[everth]

A ja dalej się zastanawiam jak on udźwignie te 1000 połączeń na 10Mbit/s. Przecież już nawet torrenty się krztuszą na czymś takim przy połączeniach UDP. Chyba że to światłowód. Pomijając fakt że bez maskowania bombardując takimi żądaniami serwer sam prosi się o problemy.

Co do usług do których nie masz dostępu - dlaczego zakładasz że skoro ty nie masz to nikt nie ma? Duża firma dogadując się z dużą firmą może dostać więcej niż szary Kowalski czy jakaś firma garażowa.

I jeszcze jedno - jak chcesz napisać robota to nie rób tego sam. Są fajne roboty sieciowe napisane np. w Java które wykonają twoje zadanie ze znacznie lepszym rezultatem.

[franz87]

Pomijając fakt że bez maskowania bombardując takimi żądaniami serwer sam prosi się o problemy.

Dlatego zrezygnuję z tego pomysłu. Początkowo myślałem, że taka ilość pobieranych danych raz na dzień nie będzie obciążeniem dla tak rozwiniętych i dużych serwerów. Widocznie było to błędne myślenie i dobrze, że ktoś mi o tym powiedział (IMG:style_emoticons/default/smile.gif)
Głównie chodziło mi o to, by mieć podgląd do jednej rzeczy w aukcjach.
Oferowane programy komercyjne (jak chociażby ten przytoczony niżej) jest dla moich potrzeb zbyt "wygórowany".
Oczywiście jest świetnym narzędziem, jeżeli ktoś potrzebuje wielu opcji, które oferuje.
Teraz zostanie mi chyba tylko skorzystać, z tych oferowanych na rynku.

Co do usług do których nie masz dostępu - dlaczego zakładasz że skoro ty nie masz to nikt nie ma? Duża firma dogadując się z dużą firmą może dostać więcej niż szary Kowalski czy jakaś firma garażowa.

AK74 – Jak to się stało, że Manubia jako w zasadzie jedyny serwis opierający się o analizę danych z Allegro nie został jeszcze przez Allegro ubity? Płacicie im, masz dobre kontakty? O co chodzi?

KL – Mało kto wie, że Allegro oferuje proste statystyki u siebie w systemie, jednak są one bardzo proste i dość toporne w użytkowaniu. Dla bardziej zaawansowanych sprzedawców nie oferuje zbyt wiele. Naiwnością było by twierdzić, że kiedyś w końcu nie zostaną zmodernizowane i rozbudowane. Jednak przez ostatnie 2 lata to właśnie Manubia w prosty sposób sprzyja tym bardziej zaawansowanym sprzedawcom na Allegro. A tym samym przyczynialiśmy się tak troszkę, troszkę do rozwoju Allegro – dlatego po co nas zamykać? (IMG:style_emoticons/default/smile.gif) Podpowiadamy sprzedawcą jak rozpocząć biznes lub w jakim kierunku go rozwijać.