Newsy z kanalów RSS, Podkradanie treści newsów :) Opcje

[Nightstalker]

Cześć! Nigdy nie robiłem nic przy RSS, a tu nagle wyskakuje takie zlecenie... Musze napisać skrypt który będzie wyświetlać na stronie treść newsa z jakiegoś kanału RSS ( np. z onetu ) Dajcie mi jakieś namiary na tutoriale czy artykuły o tym zagadnieniu... W RSS jestem kompletnie zielony! (IMG:http://forum.php.pl/style_emoticons/default/mad.gif) :|

[dr_bonzo]

Przeciez google istnieje!
http://www.google.com/search?hs=UWH&hl=en&...ass&btnG=Search
http://www.google.com/search?client=opera&...=utf-8&oe=utf-8

[Nightstalker]

Dobra, bez nerwów, po prostu rozpytuje wszędzie zeby dowiedziec sie jak najwięcej! No i zalezy mi na czasie. Może ktoś coś takiego pisał i uda mi sie kontakt z takim kimś nawiązać, po to ten post ! Mam do każdego PW pisać czy jak ? (IMG:http://forum.php.pl/style_emoticons/default/tongue.gif)

Zresztą... Nie ważne, bo wiem juz jak to zrobić.

Poprawka : dalej nic nie wiem... Poczytałem co suie dalo o rss i udało mi się napisać prosty czytnik, ale... W kanałach RSS nie przesyła się treści newsa, tylko link, tytul i jakies tam krótkie info (IMG:http://forum.php.pl/style_emoticons/default/exclamation.gif) ! A mnie potrzebna właśnie ta treść ;/ Temat dalej otwarty...
MOże dało by się jakoś przejść na strone z linka i po tagach html'a z tej strony jakoś wyciać ten text ? No nie wiem... Nie mam pomysłów jak to zrobić...

Ten post edytował Nightstalker 20.04.2006, 19:01:39

[Bastion]

jesli kanal rss nie udostepnia newsa w calosci to nici z tego wiecej nie uzyaksz, mozesz sprobowac pobrac skryptem strone i wydzielic newsa ze strony, ale wad takiego rozwiazania jest od groma

[Nightstalker]

Dobra... Cały wieczór się męczyłem, ale wreszcie działa ! Czytam sobie linki z kanalu RSS przy pomocy wyrazen regularnych. Potem sobie sciągam zawartosc tego co w linku i kroje przy pomocy wyrazen regularnych a nastepnie zapisuje sobie do bazy. Potem odczytuje z bazy gotowe newsy. Zapis do bazy robi sie co jakis czas i troch etrwa, ale dzieki temu same newsy na stronei laduja sie blyskawicznie juz z bazy... Trzeba jescze dodac tytul itp, ale to po prostu z RSS wyciagne... Calosc idzie mniej wiecej tak ( jakby komus bylo to potrzebne ) :

[PHP] pobierz, plaintext 
<?php
$readFile = file_get_contents( 'http://wiadomosci.onet.pl/10%2ckategoria.rss' );
 
$preg = "#<guid isPermaLink=\"false\">(.*?)</guid>#is";
 
$o = preg_match_all( $preg, $readFile, $out );
 
foreach ( $out[ 1 ] as $w )
{
	$arrContent = file_get_contents( $w );
	$preg = "#<DIV class=a2b style=\"margin-bottom:10px\">(.*?)<BR class=a2 clear=all>#is";
	$o = preg_match_all( $preg, $arrContent, $out );
 
   $news = $out[0][0];
   $news=stripslashes($news);
   $news=strip_tags($news);
  $news=str_replace("'","",$news);
   $zapytanie = "INSERT INTO newsy
 
	  VALUES (0, '$news')";
 
	  if(@mysql_query ($zapytanie)) {
 
	  print '<p>ok</p>';
 
	  } else {
 
	  print "<p>Nie ok ponieważ:<b>" . mysql_error() . "</b></p>";
 
	  }
 
 
}
?>
[PHP] pobierz, plaintext 

WIem ze kod jest napsiany bardzo niedbale ale jestem juz zmęczony i nie chce mi sie narazie tego poprawiac. NA serwerze skorzystam z crona i zawsze o 3 w nocy np bedzie uruchamial skrypt zeby podkrasc troche newsow z jakiejs strony.

Ps. We wszystkim pomogl mi strife z tego forum ;] Thx (IMG:http://forum.php.pl/style_emoticons/default/exclamation.gif) !

Ten post edytował Nightstalker 20.04.2006, 23:49:28

[free]

wkleilem ten kod i wyskakuje
"Nie ok ponieważ:No database selected"
w kodzie jest odnsnik do bazy danych @mysql_query ($zapytanie)
domyslam sie ze baze trzeba jeszcze zainicjowac. To ma byc moja baza ?
O cochodzi w tym ?

[LBO]

mysql_connect" title="Zobacz w manualu php" target="_manual

Musisz stworzyć jeszcze z MySQL tabelę o newsy takiej samej strukturze jaką ma Nightstalker (zapytaj go, może ci ją udostepni).

[free]

Tak jak przypuszczalem trzeba dodac jeszcze kontakt z baza poprzez mysql_connect.

czy ten skrypt obsluguje kanaly RSS takze z innych serwisow ?

NA serwerze skorzystam z crona

Jak sie korzysta z krona ?

[nospor]

Jak sie korzysta z krona ?

A jak sie korzysta z wyszukiwarki i google?
http://www.google.com/search?hs=h1D&hl=pl&...ukaj&lr=lang_pl
oraz skorzystaj z wyszukiwarki forum

[Nightstalker]

No dzisiaj dopracowalem troche skrypt :

Struktura tabeli w bazie ( u mnie nazwa bazy to newsy_rss ) :

[SQL] pobierz, plaintext 
CREATE TABLE `newsy` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `txt` text NOT NULL,
  PRIMARY KEY  (`id`)
) TYPE=MyISAM AUTO_INCREMENT=0;
[SQL] pobierz, plaintext 

Plik rss.php :

[PHP] pobierz, plaintext 
<?php
 
/*
+-------------------------------------------------------
| Zlodziej newsow
+-------------------------------------------------------
| version: 1.1
+-------------------------------------------------------
| author: nightstalker / www.php.xfree.pl
+-------------------------------------------------------
*/ 
 
class system { // przekleilem sobie z mojego cms'a - lenistwo (IMG:http://forum.php.pl/style_emoticons/default/tongue.gif) 
 
function db_connect ( $host, $user, $pass ) {
 
	  if ($dbc = @mysql_connect ( $host, $user, $pass ) ) {
 
	  } else {
 
	  die ('<p>Nie można połaczyć się z bazą danych poniweaż<b>' . mysql_error() .'</b></p>');
 
	  }
 
}
 
function db_select ( $database ) {
 
	  if (!@mysql_select_db ( $database )) {
 
	  die ('<p>Nie można wybrać bazy danych ponieważ:<b>' . mysql_error() . '</b></p>');
 
	  }
		 
}
 
}
 
system::db_connect ('localhost','root','krasnal'); // wiadomo co 
system::db_select( 'newsy_rss' ); // nazwa bazy danych
 
 
$akcja=$_GET['akcja'];
 
switch($akcja) {
 
	case  'czytaj':
 
	{
 
	$readFile = file_get_contents( 'http://wiadomosci.onet.pl/2,kategoria.rss' ); // sciagamy zawartosc kanalu
 
	$preg = "#<guid isPermaLink=\"false\">(.*?)</guid>#is"; // definiujemy wyrazenie regularne dla linku do strony z newsem
 
	$o = preg_match_all( $preg, $readFile, $out ); // wycinamy linki
 
	foreach ( $out[ 1 ] as $w ) // przejscie petli po wszsytkich linkach
 
	{
 
	$arrContent = file_get_contents( $w ); // sciagamy zawartosc strony z newsem
	 
	/* 
	 *  Teraz definiujemy wyrazenie regularne dla newsa, to najtrudniejsza czesc, 
	 *  bo na roznych stronach roznie sie newsy zapisuje... 
	 *  Najlepiej jak strona jest w 100% zgodna z xhtml, bo wtedy latwo zdefiniowac wyrazenie i wszystko odczytac
	 */ 
	 
	$preg = "#<DIV class=a2b style=\"margin-bottom:10px\">(.*?)<BR class=a2 clear=all>#is"; // to bedzie dzialac tylko na onecie
 
	$o = preg_match_all( $preg, $arrContent, $out ); // znowu wycinka
 
	// teraz wypada wyczyscic tresc newsa z znakow ktore maga zepsuc zapytanie sql
 
	$news = $out[0][0]; 
	$news=stripslashes($news);
	$news=strip_tags($news);
	$news=str_replace("'","",$news);
 
	// banalne zapytanie ktore zapobiega zapisywaniu tych samych newsow
 
	$zapytanie = "SELECT * FROM newsy WHERE txt='$news'";
 
	@mysql_query ($zapytanie);
 
	if (mysql_affected_rows() > 0) {
	print '<p>W bazie jest juz taki news.. pomijam...</p>';  // jak news juz jest to nie zapisujemy go drugi raz...
	} else {
 
	// jak go jeszcze nie ma to zapisujemy
 
	$zapytanie = "INSERT INTO newsy VALUES (0, '$news')";
 
	if(@mysql_query ($zapytanie)) {
 
	print '<p>Tresc newsa zostala zapisana do bazy...</p>'; // to sie wyswietli jak wszystko bedzie ok 
 
	} else {
 
	print "<p>Nie mozna zapisac newsa do bazy ponieważ:<b>" . mysql_error() . "</b></p>"; // a to jak ni ebedize ok :)
 
	}
 
	}
 
	}
 
	print '<p><a href="'.$_SERVER['PHP_SELF'].'?akcja=pokaz">Pokaz newsy</a></p>';
 
	break;
	}
 
	case  'pokaz':
 
	{
 
	// tu chyba nie trzeba nic opisywac... wypisujemy wszystko z tabeli newsy
 
	$zapytanie = "SELECT * FROM newsy ORDER BY id ASC";
 
	if ($r = mysql_query ($zapytanie)){
   
	while ($news = mysql_fetch_array ($r)) {
 
	print '<p>'.$news['txt'].'</p>';
 
	}
 
	} else {
 
	  print '<p>Nie mozna odczytac informacji o komentarzach ponieważ:<b>' .mysql_error() . '</b></p>';
 
	  }
 
	break;
	}
 
	default:
 
	print '<p><a href="'.$_SERVER['PHP_SELF'].'?akcja=czytaj">Odczytaj newsy z onetu i zapisz do bazy</a></p>';
	print '<p><a href="'.$_SERVER['PHP_SELF'].'?akcja=pokaz">Pokaz newsy z bazy</a></p>';
 
	}
 
?>
[PHP] pobierz, plaintext 

Najgorsze jest to ze na niektorych stronach jest straszny balagan i ciężko wyciąć treść newsa z kodu... najlepiej jak strona będzie w czystym xhtml to wtedy odczytamy wszystko, tresc, tytul, autora - bez problemów (IMG:http://forum.php.pl/style_emoticons/default/smile.gif) No ale w związku z tym ze większość ludzi olewa standardy ( tak jak i ja do niedawna, o czym swiadczy moja nie zaktualizowana do xhtml strona domowa (IMG:http://forum.php.pl/style_emoticons/default/tongue.gif) ) jest jak jest i trzeba się męczyć... No mam nadzieje że komus sie przyda to co napisałem... Jeszcze raz dzięki dla Strife'a, bo mi duzo wyjasnil (IMG:http://forum.php.pl/style_emoticons/default/winksmiley.jpg)

[Athlan]

Osobiście robie tak:

[PHP] pobierz, plaintext 
<?php
$query = "SELECT * FROM news WHERE active='1' ORDER BY id DESC LIMIT 0, $limit_news";
$do = mysql_query($query);
while($seq = mysql_fetch_array($do)) {
echo'
   <item>
	<title>'.$seq['title'].'</title>
	<pubDate>'.$seq['add_author'].'</pubDate>
	<description><![CDATA['.$seq['note_short'].' '.$seq['note_long'].']]></description>
	<author>'.$seq['add_date'].'</author>
   </item>
';
}
 
?>
[PHP] pobierz, plaintext 

przykład z mojego kanału http://freerun.nowiny.pl/rss.php - działa (IMG:http://forum.php.pl/style_emoticons/default/smile.gif)

Poza tym, nie musisz robić nowej bazy na newsy z RSS, możesz je pobrać z tabeli głównej newsów wg swoich warunków, np. dodać rząd RSS int(1) i gdy 1 to wyświetla w RSS, a gdy 0 nie (IMG:http://forum.php.pl/style_emoticons/default/smile.gif) Zapytanko: SELECT * FROM news WHERE active='1' AND rss='1' ORDER BY id DESC LIMIT 0, $limit_news

W powyższym przykładzie zmienna active to aktywacja newsa przez admina. Proste (IMG:http://forum.php.pl/style_emoticons/default/smile.gif)

[Hacker]

Kod

  <item>
    <title>'.$seq['title'].'</title>
    <pubDate>'.$seq['add_author'].'</pubDate>
    <description><![CDATA['.$seq['note_short'].' '.$seq['note_long'].']]></description>
    <author>'.$seq['add_date'].'</author>
   </item>

A nie

Kod

  <item>
    <title>'.$seq['title'].'</title>
    <pubDate>'.$seq['add_date'].'</pubDate>
    <description><![CDATA['.$seq['note_short'].' '.$seq['note_long'].']]></description>
    <author>'.$seq['add_author'].'</author>
   </item>

(IMG:http://forum.php.pl/style_emoticons/default/questionmark.gif)
Jak tak to popraw też na swojej stronie

Ten post edytował Hacker 21.04.2006, 17:39:51

[Athlan]

Hacker dzieki... nie wiedzialem dlaczego sypie mi się autor (IMG:http://forum.php.pl/style_emoticons/default/tongue.gif)

Ten post edytował Athlan 21.04.2006, 17:57:54

[Nightstalker]

Osobiście robie tak:

[PHP] pobierz, plaintext 
<?php
$query = "SELECT * FROM news WHERE active='1' ORDER BY id DESC LIMIT 0, $limit_news";
$do = mysql_query($query);
while($seq = mysql_fetch_array($do)) {
echo'
   <item>
	<title>'.$seq['title'].'</title>
	<pubDate>'.$seq['add_author'].'</pubDate>
	<description><![CDATA['.$seq['note_short'].' '.$seq['note_long'].']]></description>
	<author>'.$seq['add_date'].'</author>
   </item>
';
}
 
?>
[PHP] pobierz, plaintext 

przykład z mojego kanału http://freerun.nowiny.pl/rss.php - działa (IMG:http://forum.php.pl/style_emoticons/default/smile.gif)

Poza tym, nie musisz robić nowej bazy na newsy z RSS, możesz je pobrać z tabeli głównej newsów wg swoich warunków, np. dodać rząd RSS int(1) i gdy 1 to wyświetla w RSS, a gdy 0 nie (IMG:http://forum.php.pl/style_emoticons/default/smile.gif) Zapytanko: SELECT * FROM news WHERE active='1' AND rss='1' ORDER BY id DESC LIMIT 0, $limit_news

W powyższym przykładzie zmienna active to aktywacja newsa przez admina. Proste (IMG:http://forum.php.pl/style_emoticons/default/smile.gif)

No tak Athlan, ale nie zrozumiałes tematu... W kanałach RSS nie przesyła się zwykle całej treści wiadomosci. Czasem treść jest ( tak jak w Twoim kanale), ale nie zawsze, a w przypadku tych stron z których ja chce podkradac newsy w RSS przesyła się tylko tytuł i link do newsa. Mój skrypt wchodzi na strone z linka sciąga zawartość i wycina sobie tylko treść. Troche długo trwa taka operacja, dlatego wyciągam newsy raz na jakiś czas i przechowuje wszystko w bazie, a nie robie tego "na żywo". Jeszcze raz zaznaczam - problem był w wyciągnięciu treści newsa ze strony do której prowadzi link w RSS, a nie z samego kanału. Tyle (IMG:http://forum.php.pl/style_emoticons/default/winksmiley.jpg)