Elasticsearch - Turbinando sua aplicação PHP

Utilizando Elasticsearch em suas aplicações PHP

Transcript

1. Breno Oliveira @brenoholiveira breno26@gmail.com B R E N O O L I V E I R A Tech Leader at Moip ElasticSearch Turbinando sua aplicação PHP
3. + 86k de contas vendendo
4. + 100K de pedidos por dia
7. VENDAS AUMENTAM VENDEDOR QUER SABER
9. Ordenação FullText Search Paginação Agregação Filtros
10. REALTIME
11. E O SEU SERVER DEPOIS DE VÁRIOS F5 …
14. NOSSA VONTADE É DE …
15. SEU CLIENTA VAI…
16. PHP + MySQL PHP + postgresql PHP + nosql PHP + ????
17. CASO DE USO
18. +
19. 502 200 304
20. +
21. Aplicação MOIP Base de Dados Master
22. Single Term SELECT * FROM pedidos p INNER JOIN cliente ON p.cliente_id = c.id WHERE p.descricao LIKE "%superman%"
23. multi Term SELECT * FROM pedidos p INNER JOIN cliente ON p.cliente_id = c.id WHERE p.descricao LIKE "%superman%" OR p.descricao LIKE "%batman%"
24. ORDER ARRGH!!!! SELECT * FROM pedidos p INNER JOIN cliente ON p.cliente_id = c.id WHERE p.descricao LIKE "%superman%" OR p.descricao LIKE "%batman%" ORDER BY ??
25. PROBLEMAS • Difícil manter • Muitos JOINS • Lento
26. .Primeiro REFACTOR
27. MICRO SERVIÇO + BANCO denormalizado
28. APLICAÇÃO MOIP Base de Dados Master REPORTS API Base de Dados denormalizada
29. MELHORIAS • Micro serviço • Concorrência no banco de dados • No more JOINS • Full-Text Search • Melhorias de desempenho
30. PROBLEMAS • Periodos longos • Filtros • Lentidão
31. .SEgundo REFACTOR
32. MICRO SERVIÇO + Banco colunar
33. APLICAÇÃO MOIP Base de Dados Master REPORTS API
34. MELHORIAS • Consultas significantemente mais rápidas
35. PROBLEMAS • BULK INSERTs Too Slow
36. .terceiro REFACTOR
37. MICRO SERVIÇO + Elasticseach
38. APLICAÇÃO MOIP Base de Dados Master REPORTS API Elasticsearch
39. MELHORIAS • Bulk INSERT • Desempenho • Aggregations • Scalable • Redundancy
40. .Atualmente
42. Last Black Friday
46. .não é banco da dados
47. .nem nosql I T ' ’ N O T K E Y- VA L U E S T O R A G E
48. .Escalável
49. .Alta resiliencia
50. .restful api
51. .orientado a documentos
52. .full-text search
53. .free schema
54. .Eventualmente consistente
55. .apache lucene
57. .Conceitos básicos Elasticsearch
58. MySQL Elasticsearch Database Index Table Type Column Field Schema Mapping Partition Shard
59. curl -XPUT http://localhost:9200/tips/tip/1 -d '{"tip": "Using Elasticsearch in Production", "tags": ["protip","success"]} ' Endpoint Index Type Document ID Document { "_index": "tips", "_type": "tip", "_id": "1", "_version": 1, "created": true } Response
60. $ curl http://localhost:9200/tips/tip/1?pretty { "_index": "tips", "_type": "tip", "_id": "1", "_version": 1, "found": true, "_source": { "tip": "Using Elasticsearch in Production", "tags": [ "protip", "success" ] } }
62. VAGRANT
63. $ git clone git@github.com:brenooliveira/elastic-php-demo.git $ cd elastic-php-demo $ vagrant up —provision $ vagrant ssh vagrant@default:~/$
64. vagrant@default:$ curl http://localhost:9200 { "status" : 200, "name" : "Corruptor", "cluster_name" : "elasticsearch", "version" : { "number" : "1.5.2", "build_hash" : "62ff9868b4c8a0c45860bebb259e21980778ab1c", "build_timestamp" : "2015-04-27T09:21:06Z", "build_snapshot" : false, "lucene_version" : "4.10.4" }, "tagline" : "You Know, for Search" }
65. { "require": { "elasticsearch/elasticsearch": "~2.0@beta" } } composer.json $ curl -s http://getcomposer.org/installer | php $ php composer.phar install --no-dev
66. <?php require 'vendor/autoload.php'; $client = Elasticsearch\ClientBuilder::create() ->build(); $params = array(); $params['index'] = 'tips'; $params['type'] = 'tip'; $params['id'] = '1'; $result = $client->get($params) ?> <pre> <?= print_r($result); ?> </pre> exemplo1.php
67. Array ( [_index] => tips [_type] => tip [_id] => 1 [_version] => 1 [found] => 1 [_source] => Array ( [tip] => Using Elasticsearch in Production [tags] => Array ( [0] => protip [1] => success ) ) )
68. exemplo2.php <?php require 'vendor/autoload.php'; $client = Elasticsearch\ClientBuilder::create() ->build(); $params = [ 'index' => 'tips', 'type' => 'tip', 'id' => '2', 'body' => [ 'tip' => 'Using Marvel to get metrics from Elasticsearch', 'tags' => ['protip', 'metrics'] ] ]; // Documento indexado em tips/tip/2 $response = $client->index($params); ?> <pre> <?= print_r($response) ?> </pre>
69. exemplo3.php <?php require 'vendor/autoload.php'; $client = Elasticsearch\ClientBuilder::create() ->build(); for($i = 0; $i < 100; $i++) { $params['body'][] = [ 'index' => [ '_index' => 'jobs', '_type' => 'job', ] ]; $params['body'][] = [ 'title' => 'Job position '. $i, 'email' => 'email-'. $i . '@gmail.com' ]; } $responses = $client->bulk($params); ?>
70. exemplo4.php <?php require 'vendor/autoload.php'; $client = Elasticsearch\ClientBuilder::create()->build(); $json = '{ "query" : { "match" : { "tags" : "protip" } } }'; $params = [ 'index'=> 'tips', 'type' => 'tip', 'body' => $json ]; $responses = $client->search($params); ?> <pre> <?= print_r($responses) ?> </pre>
71. exemplo5.php <?php require 'vendor/autoload.php'; $client = Elasticsearch\ClientBuilder::create()->build(); $params = [ 'index' => 'tips', 'type' => 'tip', 'id' => '3', 'body' => [ 'tip' => 'Wrong insert', 'tags' => ['missing', 'error', 'no_logs'] ] ]; $response_insert = $client->index($params); $params = [ 'index' => 'tips', 'type' => 'tip', 'id' => '3' ]; $responde_delete = $client->delete($params); ?>
72. exemplo6.php <?php require 'vendor/autoload.php'; $client = Elasticsearch\ClientBuilder::create()->build(); $params = [ 'index' => 'tips', 'type' => 'tip', 'id' => '4', 'body' => [ 'tip' => 'Loren Ipsum', 'tags' => ['lorem'] ] ]; $response_insert = $client->index($params); $params = [ 'index' => 'tips', 'type' => 'tip', 'id' => '4', 'body' => [ 'doc' => [ 'text' => 'lipsum generator' ] ] ]; $response_update = $client->update($params); $params = [ 'index' => 'tips', 'type' => 'tip', 'id' => '4' ]; $response_search = $client->get($params); ?>
73. exemplo7.php <?php require 'vendor/autoload.php'; $client = Elasticsearch\ClientBuilder::create()->build(); $json = '{ "my-suggestion" : { "text" : "Elastiscearch", "term" : { "field" : "tip" } } }'; $params = [ 'index' => 'tips', 'body' => $json ]; $response = $client->suggest($params); ?>
74. exemplo8.php <?php require 'vendor/autoload.php'; $client = Elasticsearch\ClientBuilder::create()->build(); $json = '{ "query" : { "more_like_this" : { "like_text" : "In production", "min_term_freq" : 1, "min_doc_freq" : 1 } } }'; $params = [ 'index' => 'tips', 'type' => 'tip', 'body' => $json ]; $response = $client->search($params); ?>
75. .Vamos falar de arquitetura
76. .Como devo sincronizar mysql & Elasticsearch
77. E-commerce app Base de Dados Elasticsearch Cadastrar novo produto
78. E-commerce app Base de Dados Elasticsearch rabbitmq Publish Message php worker Consume Message & Sync Cadastrar novo produto
79. .Lessons learned
80. Utilize mais mappings
81. Em produção use alias