Model kolejkowania zadań w cron Opcje

[amii]

Piszę system webowy w którym użytkownicy będą się rejestrować i dodawać pewne zadania takie jak np:
- dodawanie artykułów do blogów typu WordPress (ich lista znajduje się w bazie)
- sprawdzanie zaindeksowania artykułów
- pingowanie artykułów
System będzie również wykonywał zadania niezależne typu:
- sprawdzanie poprawności funkcjonowania blogów zdefiniowanych w bazie
- wyszukiwanie i rejestracja w nowych blogach

Plik cron.php będzie odpalany co 1 minutę. Wygląda on tak:
Minus tego systemu jest taki, że wykonuje dużo operacji na bazie. Jeśli użytkownik zdefiniuje dodawanie artykułu do 3000 blogów do bazy dodawane jest 3000 rekordów, przy liczbie użytkowników > 100 mogą się w bazie tworzyć astronomiczne liczby rekordów (które są na bieżąco usuwane).
Czy to nie będzie zbyt obciążało bazy ?

[PHP] pobierz, plaintext 
include_once('functions.php');
define('LICZNIK', 5);   //ile zadań pobranych z bazy obslugujemy w ciagu minuty
$tablica = array();
 
$czas = date('H:i:s');
$czas1 = explode(':', $czas);
 
connect_to_db();
 
 
if ($czas1[0] >= 1 && $czas1 <= 22)  {         //wykonujemy funkcje uzytkownikow
 
  $sql = "SELECT TOP "LICZNIK" * FROM task";      //pobieramy pierwsze 5 zadan (tyle zadan wykonujemy co 1 minute)
  $result = mysql_query($sql) or die('Blad w zapytaniu: '.$sql.' o tresci: '. mysql_error());
 
  while($row = mysql_fetch_array($result))  {
 
       switch($row['functions']) {
 
       case 'postuj':      //jesli dodajemy do bloga
 
       $sql = "SELECT  
               b.id as identyfikator,
               b.licznik as licznik, 
               b.licznik_ping as licznik_ping, 
               b.last_blog as last_blog, 
               c.tytul as tytul, 
               c.artykul as artykul, 
               c.tagi as tagi, 
               c.publikuj as publikuj 
               FROM users 
               LEFT JOIN settings_art c ON c.user_id=b.id 
               WHERE c.publikuj='active'";  //pobieramy aktywny artykul
 
       $result = mysql_query($sql) or die('Blad w zapytaniu '.$sql.' o tresci'. mysql_error());
 
       $result_func = call_user_func('postuj', $row['licznik'], $row['tytul'], $row['artykul'], $row['tagi'], $row['identyfikator']);
 
       if ($result_func) {   //jesli zadanie skompletowane to je usuwamy
       $sql = "DELETE * FROM task WHERE id=$row['id']";
       $result = mysql_query($sql) or die('Blad w zapytaniu '.$sql.' o tresci'. mysql_error());
       }
       break;
 
       case 'ping':  //inne funkcje które mogą definiować użytkownicy
       break;
 
       case 'index':
       break;
 
       default:
       break;
       }
  }    
 
 
}
 
else {    //dwie godziny na dobe poswiecamy na funkcje systemowe czyli sprawdzanie i weryfikacje blogow, adresow proxy itp.
}
[PHP] pobierz, plaintext 

Struktura tabeli sql kazdy użytkownik może tworzyć dowolną ilość artykułów

[SQL] pobierz, plaintext 
CREATE TABLE `task` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `user_id` int(11) NOT NULL DEFAULT '0',
  `functions` varchar(80) NOT NULL DEFAULT '',
  PRIMARY KEY  (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=0 ;
 
 
 
CREATE TABLE `users` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `login` varchar(80) NOT NULL DEFAULT '',
  `pass` varchar(80) NOT NULL DEFAULT '',
  `email` varchar(120) NOT NULL DEFAULT '',
  `data` datetime NOT NULL DEFAULT '0000-00-00 00:00:00',
  `licznik` int(11) NOT NULL DEFAULT '0',
  `licznik_ping` int(11) NOT NULL DEFAULT '0',
  `last_blog` varchar(80) NOT NULL DEFAULT ''
  PRIMARY KEY  (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=0 ;
 
 
 
CREATE TABLE `settings_art` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `user_id` int(11) NOT NULL DEFAULT '0',
  `tytul` varchar(30) NOT NULL DEFAULT '',
  `artykul` text NOT NULL,
  `tagi` varchar(100) NOT NULL DEFAULT '',
  `publikuj` varchar(10) NOT NULL DEFAULT '',
  PRIMARY KEY  (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=11 ;
[SQL] pobierz, plaintext 

Ten post edytował amii 21.04.2011, 10:21:33

[pmir13]

Jak dokładnie będzie to obciążać system to musisz sprawdzić, ciężko jest zgadywać. Zapewne nie od razu będzie 100 użytkowników i 3000 blogów, na bieżąco monitoruj czas wykonywania skryptu, w razie potrzeby reaguj. Najwięcej czasu pewnie będą zabierać inserty, upewnij się że wykonujesz je grupowo, tzn w jednym zapytaniu dużo różnych rekordów. Możesz też zainteresować się zapytaniem typu LOAD DATA INFILE, wcześniej przygotowując listę rekordów do dodania w pliku tekstowym (SELECT INTO OUTFILE). Sama struktura bazy wygląda dobrze, w skrypcie masz drobne błędy - w linii 13 cudzysłów kończy string, w linii 31 brakuje b, w definicji tabel w linii 18 brakuje przecinka.

[amii]

Po dodaniu artykułu do bloga chce od razu wstawić link z artykułem do bazy. Odbywa się to w ten przedstawiony poniżej sposób (mam wrażenie, ze jest zupełnie nieoptymalny w dodatku nie zawsze działa poprawnie).
Czy da się to jakoś lepiej rozwiązać ? Czyli jak dodać do bazy link do właśnie umieszczonego artykułu na blogu WordPress ?

[PHP] pobierz, plaintext 
$www = urlencode($tytul);   //pobieramy tytuł właśnie dodanego artykułu z bazy do wyszukania w wyszukiwarce WP
  $pobierz = $row['url'].'?s='.$www;  //konstruujemy odpowiedniego linka z zapytaniem do wyszukiwarki WP szukamy tytułu naszego artykułu 
  $pobierz = file_get_contents($pobierz);  //pobieramy zwróconą stronę jako ciąg znaków
  preg_match($pattern, $pobierz, $matches);  //filtrujemy wyniki niestety filtrowanie nie zawsze działa bo WP zwraca wyniki w różnych formatach
 
  if (isset($matches[0]) && !empty($matches[0])) {   //sprawdzamy czy znalazł
     preg_match($pat, $matches[0], $wynik);
     $ilosc = $wynik[1]
     $zapytanie = "INSERT INTO dodane(id, uid, url, tick) VALUES(NULL, $identyfikator, '$ilosc', 0)";   //wrzucamy do bazy
     $zapytaj = mysql_query($zapytanie) or die('Bład w zapytaniu : ' .$zapytanie. 'o tresci: ' . mysql_error());
     }
  }
[PHP] pobierz, plaintext 

[sajrus]

może zamiast preg_match użyj parse_url chociaż nie wiem czy to pomoże

[pmir13]

Nie za dużo wiemy o tym co chcesz osiągnąć. Kto te artykuły dodaje? Jacyś ludzie jako użytkownicy ręcznie bez użycia twojego skryptu? Użytkownicy przy pomocy twojego skryptu? Sam skrypt biorąc użytkownika z jakiegoś pliku lub innego źródła?