Node.js e elasticsearch

Talk do capítulo de javascript na concrete solutions. Abordando como se trabalha com javascript e elasticsearch

Transcript

2. ElasticSearch com Node.js Kirmayr Tomaz
3. Sobre mim Kirmayr Tomaz • De Manaus/AM • Bacharel em Sistemas de Informação - UFAM • Organizador do Femug-AM • Mentor no Traning Center @kirmayrtomaz tomaz.kirmayr@gmail.com
4. Sobre mim Kirmayr Tomaz • De Manaus/AM • Bacharel em Sistemas de Informação - UFAM • Organizador do Femug-AM • Mentor no Traning Center @kirmayrtomaz tomaz.kirmayr@gmail.com
5. O que é o elasticsearch ? • Desenvolvido por Shay Banon • Uma camada acima do Apache Lucene • Feito em Java • Orientado a Documento • Full-Text Search
6. O que é o elasticsearch ? • API REST • JSON • Open Source • Real Time • Distribuído • Escalavel • Analytics • Big Data
7. SQL resolve?
9. NoSql resolve?
10. elasticSearch RDS
14. Por que utilizar ? - Conhecer aprofundadamente algoritmos de busca em texto geram uma complexidade alta para o projeto - Nós como consultores precisamos oferecer soluções rápidas e escaláveis - Projeto Open Source - Saas - AWS possui um serviço próprio do elasticSearch
15. Casos de Sucesso
16. Casos de sucesso - Github • Como satisfazer a busca dos 4 milhões de usuários da GitHub • Indexa 8 milhões de repositórios com mais de 2 bilhões https://www.elastic.co/use-cases/github "A busca é o núcleo do GitHub", diz Tim Pease, engenheiro de operações da GitHub. "Se você acessa o GitHub.com/search, pode pesquisar por meio de repositórios, usuários, problemas, solicitações de envio e código-fonte".
17. Casos de sucesso - Tinder • Quais pessoas um usuário deslize diretamente • Quais pessoas irão deslizar diretamente para esse usuári • quando houver uma correspondência de deslocamento mútuo. https://www.elastic.co/elasticon/conf/2017/sf/tinder -using-the-elastic-stack-to-make-connections-arou nd-the-world
18. Casos de sucesso - Tinder • Quais pessoas um usuário deslize diretamente • Quais pessoas irão deslizar diretamente para esse usuári • quando houver uma correspondência de deslocamento mútuo. https://www.elastic.co/elasticon/conf/2017/sf/tinder -using-the-elastic-stack-to-make-connections-arou nd-the-world
19. Casos de sucesso - Tinder • Ajuda a identificar problemas potenciais cedo, • Permite-lhes saber quais os recursos do jogo que estão funcionando melhor (ou não o melhor ...) • Melhora todo o "tempo de percepção" https://www.elastic.co/elasticon/conf/2017/sf/buildi ng-a-near-real-time-pipeline-for-all-things-blizzard
20. Conceitos
21. Index invertido const fato = ["cada","minuto","mais","um","framework","javascript","foi","lançado"] const verdade = ["javascript","é","maior","que","java"] const naoAcredita =["java","não","é","lento"]
22. Indexe invertido • Pesquisando a palava javascript • Pesquisando a palavra java • Pesquisando a palava javascript e java [ { "string":"javascript", "documents": ['fato','verdade'] },{ "string":"java", "documents": ['naoAcredita','verdade'] },{ "string":"minutos", "documents": ['fato'] } //... ]
23. Taxonomia
24. Tokenização Standart POST user_agents/_analyze { "analyzer": "standard", "text": "joao mario" }
25. Tokenização LowerCase POST _analyze { "tokenizer": "lowercase", "text": "João Mário" }
26. Tokenização WhiteSpace POST _analyze { "tokenizer": "whitespace", "text": "João Mário" }
27. Tokenização UAX_URL_EMAIL POST _analyze { "tokenizer": "uax_url_email", "text": "kirmayr.costa@concrete.com.br cachorro teste" }
28. Tokenização Ngram POST _analyze { "tokenizer": "ngram", "text": "Concrete Solutions" }
29. Tokenização edge_ngram POST _analyze { "tokenizer": "edge_ngram", "text": "Concrete Solutions" }
30. Index yield searchClient.indices.create({ index: 'fixed_incomes', body: { 'settings': { 'analysis': { 'analyzer': { 'partialAnalyzer': { 'type': 'custom', 'tokenizer': 'ngram_tokenizer', 'filter': [ 'asciifolding', 'lowercase' ] }, 'searchAnalyzer': { 'type': 'custom', 'tokenizer': 'standard', 'filter': [ 'asciifolding', 'lowercase' ] }
31. 'mappings': { 'blog': { 'properties': { 'emitter': { 'fielddata': true, 'type': 'text', 'analyzer': 'partialAnalyzer', 'search_analyzer': 'searchAnalyzer' }, ....
32. Index , 'mappings': { 'blog': { 'properties' : { 'indexAndRate' : { 'properties' : { 'percentIndexValue' : { 'type': 'half_float' }, 'percentIndexMaxValue' : { 'type': 'half_float' } } } } } }
33. Index const pessoaBulk = [{ index: { _index: 'pessoa', _type: 'blog', _id: pessoa.id } }, { id: pessoa.id, name: pessoa.name, rateFunding: pessoa.rateFunding, liquidity: pessoa.liquidity }] yield searchClient.bulk({ Body: pessoaBulk })
34. Busca GET /_search { "query": { "bool": { "must": [ { "match": { "title": "Search" }}, { "match": { "content": "Elasticsearch" }} ], "filter": [ { "term": { "status": "published" }}, { "range": { "publish_date": { "gte": "2015-01-01" }}} ] } } } https://www.elastic.co/guide/en/elasticsearch/reference/current/query-filter-context.html
35. Busca GET /_search { "query": { "bool": { "must": [ { "match": { "title": "Search" }}, { "match": { "content": "Elasticsearch" }} ], "filter": [ { "term": { "status": "published" }}, { "range": { "publish_date": { "gte": "2015-01-01" }}} ] } }, "highlight": { "fields": { "title": {} } } https://www.elastic.co/guide/en/elasticsearch/reference/current/query-filter-context.html
36. Busca GET /_search { "query": { "bool": { "from": 0. "size": {}, "limit": {}, "_source": [ "id", "name", "idade" ], "must": [ { "match": { "title": "Search" }}, { "match": { "content": "Elasticsearch" }} ], "filter": [ { "term": { "status": "published" }}, ] } } https://www.elastic.co/guide/en/elasticsearch/reference/current/query-filter-context.html
37. Experiência no dia-a-dia
38. Obrigado
39. Referência Indixe invertido - http://www.facom.ufu.br/~miani/site/teaching_files/ori/T%C3%B3pico%208%20-%20%C3%8 Dndice%20invertido.pdf Elasticsearch - https://www.infoq.com/br/presentations/utilize-todo-o-poder-do-wlasticsearch https://www.ibm.com/developerworks/br/java/library/os-apache-lucenesearch/index.html https://www.sitepoint.com/search-engine-node-elasticsearch/ https://www.compose.com/articles/getting-started-with-elasticsearch-and-node/ http://blog.caelum.com.br/buscas-eficientes-com-elasticsearch/ https://github.com/appbaseio/dejavu
40. Centro Av. Presidente Wilson, 231 - 29º andar (21) 2240-2030 Cidade Monções Av. Nações Unidas, 11.541 - 3º andar (11) 4119-0449 Savassi Av. Getúlio Vargas, 671 Sala 800 - 8º andar (31) 3360-8900 www.concrete.com.br