Parsowanie strony - lista Opcje

[sebax3x]

Chciałbym zrobić ranking użytkowników z serwisu wrzuta.pl (kto ile plików dodał, jakie) i mam problem, muszę pobrać listę wszystkich użytkowników - ma ktoś pomysł jak to można zrobić?
Ranking ten służyłby późniejszemu zaznaczaniu użytkowników, którzy nielegalnie rozprowadzają moje piosenki w tym serwisie - jak wiadomo zgłaszanie wszystkich piosenek pojedynczo mija się z celem.
Dodam, ze mój zespół traci przez wrzutę i inne serwisy tego typu bardzo dużo, pewnie nie tylko ja mam z tym problem - pisałem do wrzuty w tej sprawie, jednak oni nie chcą kasować wszystkich plików z nazwą mojego zespołu w tytule ponieważ nie leży to w ich kompetencjach.
Dziękuję serdecznie za okazaną pomoc - oczywiście mile widziane są także rozwiązania w innych językach programowania.

[Fifi209]

To tak przemyślałem temat... (IMG:style_emoticons/default/smile.gif)

Tworzysz sobie bazę danych w moim przypadku o nazwie: wrzuta
A w niej tabelę: users

[SQL] pobierz, plaintext 
CREATE TABLE `users` (
  `id` int(10) UNSIGNED NOT NULL AUTO_INCREMENT,
  `name` varchar(255) NOT NULL,
  `status` tinyint(1) NOT NULL,
  PRIMARY KEY  (`id`),
  UNIQUE KEY `name` (`name`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin2 AUTO_INCREMENT=1 ;
[SQL] pobierz, plaintext 

Plik php wygląda tak:

[PHP] pobierz, plaintext 
<?php
 
	$con = mysql_connect('localhostt', 'user', 'pass');
	mysql_select_db('wrzuta', $con);
 
	function save($array) {
		foreach ($array as $row) {
			mysql_query('INSERT INTO `users` VALUES(null, "'.$row.'", 0)');
		}
		return true;
	}
 
	function getUsers($url) {
		$site = file_get_contents($url);
 
		$site = str_replace('http://www.wrzuta.pl/', '#', $site);
		$site = str_replace('http://c.wrzuta.pl/', '#', $site);
		$site = preg_replace('#http://c[0-9]+\.wrzuta\.pl/#', '#', $site);
		preg_match_all('#http://[^\.]+.wrzuta.pl/#is', $site, $matches);
 
		$users = array_unique($matches[0]);
 
		return $users;		
	}
 
	$select = mysql_query('SELECT `id`, `name` FROM `users` WHERE `status` = 0 LIMIT 20');
 
	if (mysql_num_rows($select) > 0) {
		while ($data = mysql_fetch_assoc($select)) {
			if (!save(getUsers($data['name']))) {
				break;
			}else{
				mysql_query('UPDATE `users` SET `status` = 1 WHERE `id` = '.$data['id']);
			}
		}
	}else{
		save(getUsers('http://www.wrzuta.pl/'));
	}
 
 
 
?>
[PHP] pobierz, plaintext 

Obok pliku php tworzysz sobie plik bat (zakładam że jesteś na windowsie)
W moim przypadku wygląda on tak:

Kod

@ECHO OFF
:start
php wrzuta.php
goto start

Może się zmienić ścieżka do php (możesz nie mieć dodanego w zmiennych środowiskowych) i nazwa pliku.

Teraz idąc dalej stworzyłem kod, który wykonuje to zadanie troszkę szybciej

[PHP] pobierz, plaintext 
<?php
 
ini_set("memory_limit", "32M");
 
	$con = mysql_connect('localhost', 'user', 'pass');
	mysql_select_db('wrzuta', $con);
 
	function save($array) {
		foreach ($array as $row) {
			mysql_query('INSERT INTO `testy` VALUES(null, "'.$row.'", 0)');
		}
		return true;
	}
 
	function getUsers($arr) {
		$ch = array();
		$m_h = curl_multi_init();
		$sites = array();
		$users = array();
 
		foreach ($arr as $key => $val) {
			$ch[$key] = curl_init($val);
			curl_setopt($ch[$key], CURLOPT_RETURNTRANSFER, true);
			curl_multi_add_handle($m_h, $ch[$key]);
		}
		$running=null;
		do{
			curl_multi_exec($m_h,$running);
		}while($running > 0);
 
		foreach ($ch as $key => $val) {
			$sites[$key] = curl_multi_getcontent($val);
			curl_multi_remove_handle($m_h, $val);
		}
 
		curl_multi_close($m_h);
 
		foreach ($sites as $key => $val) {
			mysql_query('UPDATE `testy` SET `status` = 1 WHERE `id` = '.$key);
			$val = str_replace('http://www.wrzuta.pl/', '#', $val);
			$val = str_replace('http://c.wrzuta.pl/', '#', $val);
			$val = preg_replace('#http://c[0-9]+\.wrzuta\.pl/#', '#', $val);
			preg_match_all('#http://[^\.]+.wrzuta.pl/#is', $val, $matches);
			$users = array_merge($users, $matches[0]);
		}
 
		$users = array_unique($users);
		save($users);
	}
 
 
 
	$select = mysql_query('SELECT `id`, `name` FROM `testy` WHERE `status` = 0 LIMIT 80');
 
	if (mysql_num_rows($select) > 0) {
		$users = array();
		while ($data = mysql_fetch_assoc($select)) {
			$users[$data['id']] = $data['name'];
		}
		getUsers($users);
	}else{
		getUsers(array('http://www.wrzuta.pl/'));
	}
 
 
 
 
?>
[PHP] pobierz, plaintext 

Ten post edytował fifi209 25.03.2010, 00:25:40