No content

ElasticSearch com Node.js Kirmayr Tomaz 

Sobre mim Kirmayr Tomaz ● De Manaus/AM ● Bacharel em Sistemas de Informação - UFAM ● Organizador do Femug-AM ● Mentor no Traning Center @kirmayrtomaz [email protected] 

Sobre mim Kirmayr Tomaz ● De Manaus/AM ● Bacharel em Sistemas de Informação - UFAM ● Organizador do Femug-AM ● Mentor no Traning Center @kirmayrtomaz [email protected] 

O que é o elasticsearch ? ● Desenvolvido por Shay Banon ● Uma camada acima do Apache Lucene ● Feito em Java ● Orientado a Documento ● Full-Text Search 

O que é o elasticsearch ? ● API REST ● JSON ● Open Source ● Real Time ● Distribuído ● Escalavel ● Analytics ● Big Data 

SQL resolve? 

No content

NoSql resolve? 

elasticSearch RDS 

No content

No content

No content

Por que utilizar ? - Conhecer aprofundadamente algoritmos de busca em texto geram uma complexidade alta para o projeto - Nós como consultores precisamos oferecer soluções rápidas e escaláveis - Projeto Open Source - Saas - AWS possui um serviço próprio do elasticSearch 

Casos de Sucesso 

Casos de sucesso - Github ● Como satisfazer a busca dos 4 milhões de usuários da GitHub ● Indexa 8 milhões de repositórios com mais de 2 bilhões https://www.elastic.co/use-cases/github "A busca é o núcleo do GitHub", diz Tim Pease, engenheiro de operações da GitHub. "Se você acessa o GitHub.com/search, pode pesquisar por meio de repositórios, usuários, problemas, solicitações de envio e código-fonte". 

Casos de sucesso - Tinder ● Quais pessoas um usuário deslize diretamente ● Quais pessoas irão deslizar diretamente para esse usuári ● quando houver uma correspondência de deslocamento mútuo. https://www.elastic.co/elasticon/conf/2017/sf/tinder -using-the-elastic-stack-to-make-connections-arou nd-the-world 

Casos de sucesso - Tinder ● Quais pessoas um usuário deslize diretamente ● Quais pessoas irão deslizar diretamente para esse usuári ● quando houver uma correspondência de deslocamento mútuo. https://www.elastic.co/elasticon/conf/2017/sf/tinder -using-the-elastic-stack-to-make-connections-arou nd-the-world 

Casos de sucesso - Tinder ● Ajuda a identificar problemas potenciais cedo, ● Permite-lhes saber quais os recursos do jogo que estão funcionando melhor (ou não o melhor ...) ● Melhora todo o "tempo de percepção" https://www.elastic.co/elasticon/conf/2017/sf/buildi ng-a-near-real-time-pipeline-for-all-things-blizzard 

Conceitos 

Index invertido const fato = ["cada","minuto","mais","um","framework","javascript","foi","lançado"] const verdade = ["javascript","é","maior","que","java"] const naoAcredita =["java","não","é","lento"] 

Indexe invertido ● Pesquisando a palava javascript ● Pesquisando a palavra java ● Pesquisando a palava javascript e java [ { "string":"javascript", "documents": ['fato','verdade'] },{ "string":"java", "documents": ['naoAcredita','verdade'] },{ "string":"minutos", "documents": ['fato'] } //... ] 

Taxonomia 

Tokenização Standart POST user_agents/_analyze { "analyzer": "standard", "text": "joao mario" } 

Tokenização LowerCase POST _analyze { "tokenizer": "lowercase", "text": "João Mário" } 

Tokenização WhiteSpace POST _analyze { "tokenizer": "whitespace", "text": "João Mário" } 

Tokenização UAX_URL_EMAIL POST _analyze { "tokenizer": "uax_url_email", "text": "[email protected] cachorro teste" } 

Tokenização Ngram POST _analyze { "tokenizer": "ngram", "text": "Concrete Solutions" } 

Tokenização edge_ngram POST _analyze { "tokenizer": "edge_ngram", "text": "Concrete Solutions" } 

Index yield searchClient.indices.create({ index: 'fixed_incomes', body: { 'settings': { 'analysis': { 'analyzer': { 'partialAnalyzer': { 'type': 'custom', 'tokenizer': 'ngram_tokenizer', 'filter': [ 'asciifolding', 'lowercase' ] }, 'searchAnalyzer': { 'type': 'custom', 'tokenizer': 'standard', 'filter': [ 'asciifolding', 'lowercase' ] } 

'mappings': { 'blog': { 'properties': { 'emitter': { 'fielddata': true, 'type': 'text', 'analyzer': 'partialAnalyzer', 'search_analyzer': 'searchAnalyzer' }, .... 

Index , 'mappings': { 'blog': { 'properties' : { 'indexAndRate' : { 'properties' : { 'percentIndexValue' : { 'type': 'half_float' }, 'percentIndexMaxValue' : { 'type': 'half_float' } } } } } } 

Index const pessoaBulk = [{ index: { _index: 'pessoa', _type: 'blog', _id: pessoa.id } }, { id: pessoa.id, name: pessoa.name, rateFunding: pessoa.rateFunding, liquidity: pessoa.liquidity }] yield searchClient.bulk({ Body: pessoaBulk }) 

Busca GET /_search { "query": { "bool": { "must": [ { "match": { "title": "Search" }}, { "match": { "content": "Elasticsearch" }} ], "filter": [ { "term": { "status": "published" }}, { "range": { "publish_date": { "gte": "2015-01-01" }}} ] } } } https://www.elastic.co/guide/en/elasticsearch/reference/current/query-filter-context.html 

Busca GET /_search { "query": { "bool": { "must": [ { "match": { "title": "Search" }}, { "match": { "content": "Elasticsearch" }} ], "filter": [ { "term": { "status": "published" }}, { "range": { "publish_date": { "gte": "2015-01-01" }}} ] } }, "highlight": { "fields": { "title": {} } } https://www.elastic.co/guide/en/elasticsearch/reference/current/query-filter-context.html 

Busca GET /_search { "query": { "bool": { "from": 0. "size": {}, "limit": {}, "_source": [ "id", "name", "idade" ], "must": [ { "match": { "title": "Search" }}, { "match": { "content": "Elasticsearch" }} ], "filter": [ { "term": { "status": "published" }}, ] } } https://www.elastic.co/guide/en/elasticsearch/reference/current/query-filter-context.html 

Experiência no dia-a-dia 

Obrigado 

Referência Indixe invertido - http://www.facom.ufu.br/~miani/site/teaching_files/ori/T%C3%B3pico%208%20-%20%C3%8 Dndice%20invertido.pdf Elasticsearch - https://www.infoq.com/br/presentations/utilize-todo-o-poder-do-wlasticsearch https://www.ibm.com/developerworks/br/java/library/os-apache-lucenesearch/index.html https://www.sitepoint.com/search-engine-node-elasticsearch/ https://www.compose.com/articles/getting-started-with-elasticsearch-and-node/ http://blog.caelum.com.br/buscas-eficientes-com-elasticsearch/ https://github.com/appbaseio/dejavu 

Centro Av. Presidente Wilson, 231 - 29º andar (21) 2240-2030 Cidade Monções Av. Nações Unidas, 11.541 - 3º andar (11) 4119-0449 Savassi Av. Getúlio Vargas, 671 Sala 800 - 8º andar (31) 3360-8900 www.concrete.com.br