ElasticSearch - Tornando suas buscas textuais mais poderosas @Thiago Gonzaga

Transcript

1. Elasticsearch Tornando suas buscas textuais mais poderosas Thiago Gonzaga Aurea Software @thiguetta
2. Quién soy jo? • Bacharel em ciência da computação pela UNESP • Desenvolvedor desde 2004, em Java desde 2007 • Evangelista Java, palestrante e entusiasta de tecnologias livres e Open Source. • Coordenador de Eventos do Grupo de Usuários Java. • Engenheiro de Software na Aurea
3. Agenda • Por que buscas textuais • O que é elasticsearch? • O que não é o elasticsearch? • Como funciona? • Mapeamento (Schema) • Indexação • Analise de dados com Kibana • Boas Práticas
4. Por que buscas textuais?
5. Como fazer uma busca textual?
6. SELECT * FROM Produtos p WHERE p.nome LIKE %:query%
7. mas e se eu precisar de mais campos????
8. SELECT * FROM Produtos p WHERE p.nome LIKE %:query % OR %:query% p.descricao LIKE %:query%
9. SELECT * FROM Produtos p WHERE p.nome LIKE %:query % OR %:query% p.descricao LIKE %:query% OR p.palavras_chave LIKE %:query%
10. SELECT * FROM Produtos p WHERE p.nome LIKE %:query % OR %:query% p.descricao LIKE %:query% OR p.palavras_chave LIKE %:query% OR p.categoria LIKE %:query%
11. O maior problema de banco de dados é indexação de strings e busca em strings
12. O que é o elasticsearch? • Full text search engine • Baseado no Apache Lucene • RESTful • Schemaless • Open source • Escalavel • Trabalha com grande quantidade de dados • Faz busca textual, filtros, agregações, estatísticas (média, máximo, mínimo, desvio padrão, etc)
13. O que não é o elasticsearch? • Banco de dados • Não confiável para armazenamento persistente • Não garante a integridade dos indices • É necessário ter um “river" para alimentar os dados
14. Como funciona? Cluster Node1 Node2 Node3 Shard1 Shard3 Shard3 Shard2 Shard3 Shard1
15. Como funciona? index type document reference(id) parameters
16. Mapeamento (Schema) • Baseado em Documento (JSON-Like) • Pode ser criado dinamicamente • Pode-se oferecer um hint (manualmente)
17. Indexação • Utiliza o padrão do Apache Lucene • Indice Invertido
18. Indexação
19. Mãos na massa
20. Kibana • Plataforma flexível de analise • Analise em tempo real • Dashboard com varias opções de customização
21. Próximos Passos • https://www.elastic.co/products/elasticsearch • https://www.elastic.co/products/kibana • Crie um shield usando a API de sua linguagem de preferencia (não deixe a API do elasticsearch diretamente exposta)
22. APIs Disponíveis • Java API • JavaScript API • Groovy API • .NET API • PHP API • Perl API • Python API • Ruby API
23. Perguntas?
24. Convite • Encontros mensais • Encontro Java Noroeste - 26/07 as 19h Unesp • Android • Big Data • Hackerspace • GWT • http://javanoroeste-slack.herokuapp.com
25. Obrigado Thiago Gonzaga @thiguetta thi_gonzaga@yahoo.com.br