Forum PHP.pl

Chciałbym zrobić ranking użytkowników z serwisu wrzuta.pl (kto ile plików dodał, jakie) i mam problem, muszę pobrać listę wszystkich użytkowników - ma ktoś pomysł jak to można zrobić?
Ranking ten służyłby późniejszemu zaznaczaniu użytkowników, którzy nielegalnie rozprowadzają moje piosenki w tym serwisie - jak wiadomo zgłaszanie wszystkich piosenek pojedynczo mija się z celem.
Dodam, ze mój zespół traci przez wrzutę i inne serwisy tego typu bardzo dużo, pewnie nie tylko ja mam z tym problem - pisałem do wrzuty w tej sprawie, jednak oni nie chcą kasować wszystkich plików z nazwą mojego zespołu w tytule ponieważ nie leży to w ich kompetencjach.
Dziękuję serdecznie za okazaną pomoc - oczywiście mile widziane są także rozwiązania w innych językach programowania.

Nie mam konta na wrzucie ale nie widzę opcji listowania wszystkich użytkowników serwisu.
Może poprosisz google o pomoc?
Wpisz w google coś takiego (dla przykładu nirvana):
nirvana site:wrzuta.pl

Następnie odczytaj ile stron zostało znalezionych, później jeden po drugim wyłap z wyników google i wrzuć do siebie do tablicy, następnie możesz zrobić automatyczne raportowanie przez np. curl

Właśnie tak próbowałem, niestety google blokuje przed curlem (i file_get_contents) pokazuje tylko kilka stron wyników,
zespół który reprezentuję jest dość popularny - dodatkowo taki program służyłby nie tylko mi. Najlepiej jakby na bieżąco aktualizował listę użytkowników - dodam, że próbowałem parsować serwis wrzuta.pl - ale on bardzo szybko blokuje ip (gdy parsuje się wyniki wyszukiwania), co jest zresztą zrozumiałe z ich polityką - powstaje wiele wyszukiwarek "opartych na wrzucie". Pewnie trzeba stworzyć jakiś system (bota?) który przeszukiwałby kolejne strony serwisu i zapisywał unikalnych użytkowników do tablicy (skrypt sprawdzający zawartość katalogu użytkownika już mam).

No dokładnie, musiałbyś mieć bota który chodzi po stronie i zapisuje użytkowników unikalnych.

Próbowałem coś takiego napisać, ale już rozkładam ręce - są użytkownicy do których praktycznie nikt nie linkuje. Próbowałem też korzystać z istniejących technologii wykorzystywanych min. przez serwis filestube.com - sphinx search engine, ale wydaje mi sie to strasznie skomplikowane. Zainstalowałem tez sphider search php - ale działa on bardzo wolno i szuka nieco "bezsensownie w kółko".
Jak twoim zdaniem najoptymalniej byłoby stworzyć bota - ja próbowałem "latać" po linkach do podobnych utworów, ale po pierwsze w końcu taki bot się zapętla, a po drugie to strasznie nieoptymalne.
Może jesteś na tyle biegły aby w jakiś sposób wylistować (xml?) tę listę, bo nie wierzę, żę nie ma takiej opcji, chociażby dla google bota.

Zawsze można spróbować znaleźć artykuł na pozwanie ich do sądu :]
Myślę, że to dałoby się jakoś zrobić.

To tak przemyślałem temat...

Tworzysz sobie bazę danych w moim przypadku o nazwie: wrzuta
A w niej tabelę: users

[SQL] pobierz, plaintext 
CREATE TABLE `users` (
  `id` int(10) UNSIGNED NOT NULL AUTO_INCREMENT,
  `name` varchar(255) NOT NULL,
  `status` tinyint(1) NOT NULL,
  PRIMARY KEY  (`id`),
  UNIQUE KEY `name` (`name`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin2 AUTO_INCREMENT=1 ;
[SQL] pobierz, plaintext 

Plik php wygląda tak:

[PHP] pobierz, plaintext 
<?php
 
	$con = mysql_connect('localhostt', 'user', 'pass');
	mysql_select_db('wrzuta', $con);
 
	function save($array) {
		foreach ($array as $row) {
			mysql_query('INSERT INTO `users` VALUES(null, "'.$row.'", 0)');
		}
		return true;
	}
 
	function getUsers($url) {
		$site = file_get_contents($url);
 
		$site = str_replace('http://www.wrzuta.pl/', '#', $site);
		$site = str_replace('http://c.wrzuta.pl/', '#', $site);
		$site = preg_replace('#http://c[0-9]+\.wrzuta\.pl/#', '#', $site);
		preg_match_all('#http://[^\.]+.wrzuta.pl/#is', $site, $matches);
 
		$users = array_unique($matches[0]);
 
		return $users;		
	}
 
	$select = mysql_query('SELECT `id`, `name` FROM `users` WHERE `status` = 0 LIMIT 20');
 
	if (mysql_num_rows($select) > 0) {
		while ($data = mysql_fetch_assoc($select)) {
			if (!save(getUsers($data['name']))) {
				break;
			}else{
				mysql_query('UPDATE `users` SET `status` = 1 WHERE `id` = '.$data['id']);
			}
		}
	}else{
		save(getUsers('http://www.wrzuta.pl/'));
	}
 
 
 
?>
[PHP] pobierz, plaintext 

Obok pliku php tworzysz sobie plik bat (zakładam że jesteś na windowsie)
W moim przypadku wygląda on tak:

Może się zmienić ścieżka do php (możesz nie mieć dodanego w zmiennych środowiskowych) i nazwa pliku.

Teraz idąc dalej stworzyłem kod, który wykonuje to zadanie troszkę szybciej

[PHP] pobierz, plaintext 
<?php
 
ini_set("memory_limit", "32M");
 
	$con = mysql_connect('localhost', 'user', 'pass');
	mysql_select_db('wrzuta', $con);
 
	function save($array) {
		foreach ($array as $row) {
			mysql_query('INSERT INTO `testy` VALUES(null, "'.$row.'", 0)');
		}
		return true;
	}
 
	function getUsers($arr) {
		$ch = array();
		$m_h = curl_multi_init();
		$sites = array();
		$users = array();
 
		foreach ($arr as $key => $val) {
			$ch[$key] = curl_init($val);
			curl_setopt($ch[$key], CURLOPT_RETURNTRANSFER, true);
			curl_multi_add_handle($m_h, $ch[$key]);
		}
		$running=null;
		do{
			curl_multi_exec($m_h,$running);
		}while($running > 0);
 
		foreach ($ch as $key => $val) {
			$sites[$key] = curl_multi_getcontent($val);
			curl_multi_remove_handle($m_h, $val);
		}
 
		curl_multi_close($m_h);
 
		foreach ($sites as $key => $val) {
			mysql_query('UPDATE `testy` SET `status` = 1 WHERE `id` = '.$key);
			$val = str_replace('http://www.wrzuta.pl/', '#', $val);
			$val = str_replace('http://c.wrzuta.pl/', '#', $val);
			$val = preg_replace('#http://c[0-9]+\.wrzuta\.pl/#', '#', $val);
			preg_match_all('#http://[^\.]+.wrzuta.pl/#is', $val, $matches);
			$users = array_merge($users, $matches[0]);
		}
 
		$users = array_unique($users);
		save($users);
	}
 
 
 
	$select = mysql_query('SELECT `id`, `name` FROM `testy` WHERE `status` = 0 LIMIT 80');
 
	if (mysql_num_rows($select) > 0) {
		$users = array();
		while ($data = mysql_fetch_assoc($select)) {
			$users[$data['id']] = $data['name'];
		}
		getUsers($users);
	}else{
		getUsers(array('http://www.wrzuta.pl/'));
	}
 
 
 
 
?>
[PHP] pobierz, plaintext 

Ten post edytował fifi209 25.03.2010, 00:25:40