PHP distribuído e paralelo: multithread, stream sockets e docker

Apresentada no Women Dev Summit, 2017
http://womendevsummit.com

A ideia é fazer uma explicação suscinta sobre o que realmente é um sistema distribuído com processamento paralelo, dar um exemplo de aplicação e fazer uma demonstração com php + docker.

Transcript

1. PHP Distribuído e Paralelo Multithread + Stream Sockets
2. Who am I? Engenheira de Software @ Birdie Evangelista @ PHPWomen Entusiasta de Segurança da Informação Vocalista de Heavy Metal
3. Eu tenho um load balancer, então meu sistema é distribuído. NÃO.
4. SERVIDOR APLICAÇÃO SERVIDOR APLICAÇÃO SERVIDOR APLICAÇÃO LOAD BALANCER Distribuir acessos não é distribuir processamento
5. SERVIDOR SERVIDOR SERVIDOR APLICAÇÃO O processamento da tarefa é distribuído em paralelo entre máquinas diferentes Solicita tarefa X X parte 1 X parte 2 X parte 3
6. ARQUIVO Exemplo ARQUIVO PT. 1 ARQUIVO PT. 2 ARQUIVO PT. 3 MÁQUINA 1 MÁQUINA 2 MÁQUINA 3 ARQUIVO PT. 1 ARQUIVO PT. 2 ARQUIVO PT. 3
7. Processamento paralelo e distribuído com PHP? Multithread? Distribuído e Paralelo? Pthreads Pthreads + stream sockets
8. Pthreads PHP compilado com ZTS (Thread Safety) V3 100% compatível com PHP 7 V2: PHP 5
9. Pthreads OFICIALMENTE COMPATÍVEL COM PHP 7.2+ E SÓ
10. Pthreads class SimpleThreadExample extends \Thread { /** @var int */ private $workerId = 0; public function __construct($id) { $this->workerId = $id; } public function run() { echo "Thread " . $this->workerId . " começou a executar.\n"; sleep(rand(0, 3)); echo "Thread " . $this->workerId . " parou de executar.\n"; } }
11. Pthreads $workerPool = []; foreach (range(0, 10) as $id) { $workerPool[$id] = new SimpleThreadExample($id); $workerPool[$id]->start(); } foreach (range(0, 10) as $id) { $workerPool[$id]->join(); }
12. Pthreads Thread 0 começou a executar. Thread 1 começou a executar. Thread 2 começou a executar. Thread 0 parou de executar. Thread 3 começou a executar. Thread 1 parou de executar. Thread 4 começou a executar. Thread 2 parou de executar. Thread 3 parou de executar. Thread 4 parou de executar.
13. Stream Sockets SOCKETS: MECANISMO DE COMUNICAÇÃO ENTRE PROCESSOS - EM MODELO CLIENTE/SERVIDOR => 1P + PORTA. EX.: 127.0.0.1:80 STREAM SOCKETS: $server = stream_socket_server(”tcp://192.168.33.99”, $errorNum, $errorMsg); while ($conn = stream_socket_accept($server)) { //código} $client = stream_socket_client("tcp://$this->workerHost", $errorNum, $errorMsg, 10); fclose($client); - fgets(), fclose(), fread(), ETC…
14. Distribuindo o Processamento NO EXEMPLO DO ARQUIVO, UM XML: - UM SCRIPT DE SCRAPPING QUE RECEBE O PEDAÇO DE XML class Scrapper { //código public function run() { $server = stream_socket_server("tcp://$this->socket", $errorNum, $errorMsg); while ($conn = stream_socket_accept($server)) { // código de scrapping } fclose($server); } } $scrapper= new Scrapper($argv); $scrapper >run();
15. Distribuindo o Processamento - O SENDER, RESPONSÁVEL POR ENVIAR OS PEDAÇOS AOS SCRAPPERS class Sender extends \Thread { //código public function run() { $client = stream_socket_client("tcp://$this->scrapperHost", $errorNum, $errorMsg, 10); //código foreach ($this->scrappersAddress as $scrapper) { //código $this->result = stream_get_contents($client); } fclose($client); } }
16. Distribuindo o Processamento - O CLIENT QUE FAZ A REQUISIÇÃO class Client { //código private function sendFilePiecesToWorkers($xml) { //código foreach ($this->scrappersAddress as $scrapper) { $this->senderPool[$scrapper] = new Sender($scrapper, $xml); $this->senderPool[$ scrapper]->start(); } foreach ($this->senderPool as $sender) { $sender->join(); echo "Encerrando thread...\n"; array_push($results, $sender->result); } } }
17. Sobre computação distribuída
18. Open-source software for volunteer computing https://boinc.berkeley.edu/
21. Obrigada! GitHub: github.com/dianaarnos Twitter / Instagram: @dianaarnos Facebook: fb.com/dianaarnos