Arquivei - Como democratizar os dados de sua empresa

Transcript

1. Dados para todos - como democratizar os dados em sua empresa Gleicon Moraes TECNOLOGIA & INOVAÇÃO
2. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Quem ? • Gleicon Moraes • CTO @ Arquivei - https://www.arquivei.com.br • https://gleicon.substack.com • https://ctofieldguide.com • https://github.com/gleicon https://bit.ly/m/gleicon
3. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes A importância de democratizar dados • Toda empresa depende de dados: de clientes e de sua operação • Todo mundo é capaz de consultar dados (conta corrente, balanço, carrinhos parados, tendências de venda, comparação de preços, margem) • Dados padronizados e comparáveis com o mercado são usados para guiar e definir o sucesso de sua empresa, receber investimento e prestar contas • Dados pessoais (PII) são importantes e não devem ser negligenciados • Produtos dependentes de dados ficam complexos rapidamente • Silos são caros
4. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Todo mundo pode ser Cientista de Dados (quando tem tempo), mas gasta a maior parte do tempo como Engenheiro de Dados. Analista de Dados/BI Engenheiro de Dados Cientista de Dados
5. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Todo mundo pode ser Cientista de Dados (quando tem tempo), mas gasta a maior parte do tempo como Engenheiro de Dados. • Criar planilhas • Processar Arquivos de dados • Consultar APIs • Consultar Bancos de dados • Extrair informações de Sites e Emails (Notas, contratos, relatórios)
6. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Todo mundo pode ser Cientista de Dados (quando tem tempo), mas gasta a maior parte do tempo como Engenheiro de Dados. Infraestrutura Armazenamento de objetos Banco de dados Job Schedulers CPU GPU Frameworks Filas de mensagem Armazenamento de arquivos Visualização Plataforma Analytics Plataforma IA Apps
7. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Evolução
8. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Linha do tempo de manipulação de dados Emails de relatórios, arquivos de texto
9. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Linha do tempo de manipulação de dados Emails de relatórios, arquivos de texto Planilhas, tempo para atualizá-las, drives compartilhados
10. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Linha do tempo de manipulação de dados Emails de relatórios, arquivos de texto Planilhas, tempo para atualizá-las, drives compartilhados Cópia do banco de dados, SQL, mais planilhas
11. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Linha do tempo de manipulação de dados Emails de relatórios, arquivos de texto Planilhas, tempo para atualizá-las, drives compartilhados Cópia do banco de dados, SQL, mais planilhas Mais planilhas, ofertas de cloud, times de dados
12. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Linha do tempo de manipulação de dados Emails de relatórios, arquivos de texto Planilhas, tempo para atualizá-las, drives compartilhados Cópia do banco de dados, SQL, mais planilhas Mais planilhas, ofertas de cloud, times de dados Plataformas especializadas, Produtos de dados
13. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Operação Emails de relatórios, arquivos de texto Planilhas, tempo para atualizá-las, drives compartilhados Plataformas especializadas, Produtos de dados Mais planilhas, ofertas de cloud, times de dados Cópia do banco de dados, SQL, mais planilhas Inteligência
14. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Operação Emails de relatórios, arquivos de texto Planilhas, tempo para atualizá-las, drives compartilhados Plataformas de Analytics, Produtos de dados Mais planilhas, ofertas de cloud, times de dados Cópia do banco de dados, SQL, mais planilhas, mais drives Inteligência Plataformas Especializadas, LLM, Chat GPT, IA
15. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Fazer plataforma "em casa" • Perda de foco no negócio • Equipes complexas, investimentos em escala • Protótipos com alto custo • Preparação eterna para a próxima onda • Time to Market - Seus concorrentes já fazem: contabilidade, ERP, notas, recomendação, carrinho parado, busca, bots contextualizados Plataformas de Analytics, Produtos de dados Usar plataformas especializadas Plataformas Especializadas, LLM, Chat GPT, Bard, IA
16. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Plataforma e Produtos de dados: Arquivei
17. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes A Arquivei • Plataforma especializada de dados para Documentos Fiscais • Documentos fiscais (NFe, NFSe, CTe, etc), Analytics, Automação, Conexão com ERP e plataformas de vendas. • Mais de 3 bilhões de documentos fiscais armazenados • Mais de 120 mil empresas atendidas (21% das empresas do Brasil) • R$ 4 trilhões em notas transacionadas em 2022 (400% YoY 2022) • R$ 200 bilhões em pagamentos entre clientes da Arquivei • https://www.arquivei.com.br
18. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Arquitetura
19. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes O que fazer com os dados armazenados na plataforma Arquivei ? • Criar rankings de fornecedores baseados em parâmetros (~500) da nota • Comparar preços de mercadorias por região ou filial • Definir SLA de entrega por fornecedor, por mercadoria • Cumprir auditorias e obrigações acessórias # • Integração com fontes de dados • Governança e controle de acesso
20. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Produtos de dados
21. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes O que vem depois da plataforma ?
22. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Até as coisas mais simples hoje, já pareceram mágica um dia (1979)
23. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Só que evoluíram rápido (1985)
24. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes - Prompts podem ser complexos - Custo, Lock-in - Entender Limites de Prompts - Armazenar Embeddings localmente - Chatbots são uma boa porta de entrada, mas são apenas a superfície - Cuidado com alucinações Large Language Models - Aprendizados
25. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Large Language Models - Alucinações
26. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Large Language Models - Arquitetura Básica Vector DB Pergunta documentos relevantes Embeddings API Prompt com contexto LLM Provider Resposta Documentos Embeddings API
27. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Large Language Models - Referências • https://blog.langchain.dev/langchain-x-supabase/ • https://www.langchain.com/ • https://supabase.com/ • Meu guia de estudos: https://bit.ly/llmstudyguide
28. TECNOLOGIA & INOVAÇÃO Dados para todos Gleicon Moraes Obrigado !