Przeszukiwanie kilku baz danych jednocześnie Opcje

[willy]

Witam,

Zastanawiam się w jaki sposób można rozwiązać następujący problem.
Strona wyszukuje informacji w 10 niezależnych bazach danych o dużych rozmiarach (powiedzmy kilkadziesiąt tysięcy rekordów do przeszukania). Każda na osobnym serwerze. Zwrócenie wyniku każdej z nich trwa powiedzmy 3~5sek.
Jak łatwo policzyć łącznie się z każdą bazą po kolei, wysłanie zapytania, odczytanie wyniku oraz wyświetlanie go na ekranie użytkownika zajmie 30~50 sek.
W jaki sposób wysłać zapytanie do każdej z baz danych, tak żeby wszystkie serwery MySQL wykonywały swoją pracę jednocześnie, a nie po kolei?
Najlepiej by było, gdyby wyniki były wyświetlane zgodnie z kolejnością ich nadchodzenia (czyli serwer który odpowie najszybciej wyświetlany na górze strony)
Czy da się to zrobić z wykorzystaniem czystego PHP, czy trzeba "zaprząc" do pracy inne języki programowania?

Pozdrawiam
-willy-

[thek]

Do tego trzeba nawiązać asynchroniczne połączenia z bazami. A to wymusza zastosowanie AJAX i w tę stronę bym ciągnął, bo to wydaje mi się najbardziej sensowne z wszystkich możliwych podejść.

[Mchl]

Do tego trzeba nawiązać asynchroniczne połączenia z bazami. A to wymusza zastosowanie AJAX i w tę stronę bym ciągnął, bo to wydaje mi się najbardziej sensowne z wszystkich możliwych podejść.

Nie wymusza. Można przecież wywoływać skrypty potomne ze skryptu głównego (co nie znaczy, że tak będzie prościej czy lepiej (IMG:style_emoticons/default/winksmiley.jpg) )

I jest jeszcze coś takiego:
http://www.php.net/manual/en/mysqli.reap-async-query.php

szukam chętnego, który to rozgryzie (IMG:style_emoticons/default/winksmiley.jpg)

[edit]

Ha... czyli od wersji 5.3 PHP można wykonywać zapytania asynchroniczne przy pomocy mysqli_query z flagą MYSQLI_ASYNC

Ten post edytował Mchl 15.12.2009, 08:46:39

[thek]

Zauważ, że nawet w tej funkcji mysqli masz połączenie z jedną bazą, To, że wykonuje się asynchronicznie nie oznacza, że połączenia do kilku baz będą takie same. Musiałoby być jako mysql_link nie konkretna wartość, ale tablica, by działało na kilku możliwych i dodatkowo przy każdym zapytaniu musiałbyś ustawiać jaką bazę by obsługiwało w danym wypadku (IMG:style_emoticons/default/smile.gif) Oczywiście podanie tylko 1 bazy mogło by być wywoływaniem mysqli_query w sposób typowy, bez dodatkowego parametru (IMG:style_emoticons/default/smile.gif)

Możliwość z wywoływaniem skryptów potomnych jest, ale zauważ, że późniejsze "zsynchronizowanie wyników" przez nie zwróconych to mógłby być horror nie do przejścia dla większości. W AJAXie jest to jednak możliwe przy sensownie złożonej funkcji w Success bazującej na DOM (IMG:style_emoticons/default/smile.gif)

[Mchl]

Popełniłem taki test:

[PHP] pobierz, plaintext 
<?php
 
$mysqli1 = new mysqli('localhost','root','','test');
$mysqli2 = new mysqli('localhost','root','','test');
$mysqli3 = new mysqli('localhost','root','','test');
$mysqli4 = new mysqli('localhost','root','','test');
 
 
$query = "SELECT SQL_NO_CACHE COUNT(*) AS cnt FROM t9";
 
$tStart = microtime(true);
$result1 = $mysqli1->query($query);
$result2 = $mysqli2->query($query);
 
$row1 = $result1->fetch_assoc();
$row2 = $result2->fetch_assoc();
$tEnd = microtime(true);
 
$tElapsed = $tEnd - $tStart;
 
echo '----------------------------'.PHP_EOL;
echo 'Zapytania po kolei'.PHP_EOL;
echo 'Wynik 1. zapytania: '.$row1['cnt'].PHP_EOL;
echo 'Wynik 2. zapytania: '.$row2['cnt'].PHP_EOL;
echo 'Łączny czas: '.$tElapsed.PHP_EOL;
echo '----------------------------'.PHP_EOL;
 
$row1 = $row2 = $row3 = $row4 = null;
 
 
$tStart = microtime(true);
$mysqli1->query($query,MYSQLI_ASYNC);
$mysqli2->query($query,MYSQLI_ASYNC);
 
$connArray = array($mysqli1,$mysqli2);
$processed = 0;
do {
    $links = $errors = $reject = array();
    foreach ($connArray as $link) {
        $links[] = $errors[] = $reject[] = $link;
    }
    if (!mysqli_poll($links, $errors, $reject, 1)) {
        continue;
    }
    foreach ($links as $link) {
        if ($result = $link->reap_async_query()) {
 
            if($link === $mysqli1) {
                $row1 = $result->fetch_assoc();
            } else
            if($link === $mysqli2) {
                $row2 = $result->fetch_assoc();
            }
            mysqli_free_result($result);
            $processed++;
        }
    }
} while ($processed < count($connArray));
 
$tEnd = microtime(true);
$tElapsed = $tEnd - $tStart;
 
echo '----------------------------'.PHP_EOL;
echo 'Zapytania asynchroniczne'.PHP_EOL;
echo 'Wynik 1. zapytania: '.$row1['cnt'].PHP_EOL;
echo 'Wynik 2. zapytania: '.$row2['cnt'].PHP_EOL;
echo 'Łączny czas: '.$tElapsed.PHP_EOL;
echo '----------------------------'.PHP_EOL;
[PHP] pobierz, plaintext 

Wyniki

[tt]
----------------------------
Zapytania po kolei
Wynik 1. zapytania: 10032000
Wynik 2. zapytania: 10032000
Łączny czas: 7.5110111236572
----------------------------
----------------------------
Zapytania asynchroniczne
Wynik 1. zapytania: 10032000
Wynik 2. zapytania: 10032000
Łączny czas: 3.6900150775909
----------------------------
[/tt]

Tak więc albo gdzieś popełniłem błąd metodologiczny, albo to całkiem dobra metoda. Chętnie sprawdziłbym więcej równoległych zapytań, ale mam u siebie tylko dwa rdzenie (IMG:style_emoticons/default/tongue.gif)

[willy]

Dzięki za podpowiedzi.

Znalazłem przykład prezentujący dokładnie to o co mi chodzi. Jeśli możecie zerknąć na działanie strony www.findchips.com i podpowiedzieć mi w jak sposób zrealizowane jest wyszukiwanie w tym przypadku będę wdzięczny. Wyszukać można np "lm741"

Pozdrawiam
-willy-

[Mchl]

Obstawiam, że okresowo ściągają dane od dystrybutorów i całe przeszukiwanie jest na ich własnym serwerze.

[willy]

Nie wydaje mi się.
Raz, że powielanie baz danych nie ma sensu
Dwa, każda z tych baz jest olbrzymia.
Trzy, dane zmieniają się zbyt szybko.

... a przecież wystarczy, że dystrybutor udostępni adres bazy danych, nazwę użytkownika (tą samą którą dostaje użytkownik korzystający z wyszukiwarki na stronie) oraz hasło i sprecyzuje zapytanie zwracające wymagane dane zgodnie ze strukturą swojej bazy.

Czy takie rozwiązanie nie ma sensu?

-willy-

[Mchl]

Nie jest to wykluczone. Możliwości jest wiele. Mogli się dogadać z dystrybutorami, że:
udostępnią do wyszukiwania API
udostępnią dane do zalogowania się do bazy danych
udostępnią logi binarne do replikacji

Albo bardziej prozaicznie, mogą wykorzystywać curl do odpytywania wyszukiwarek na stronach dystrybutorów i wyświetlania tych danych u siebie.