A Tale on XML Parsing

Uma historia de como a Duffel conseguiu melhorar a performance da busca: 10x mais rapida, 10x menos memoria.

Transcript

1. Ulisses Almeida A Tale on XML Parsing
2. • Londres/Reino Unido • @ulissesalmeida • (Desenvolvedor Web Elixir) Engenheiro de Software na Duffel ✈ Ulisses Almeida
4. https://www.humblebundle.com/books/elixir-programming-pragmatic-programmers-books
5. Como melhoramos em 10x o processamento de XML com Elixir
6. 💉 ELIXIR ON STEROIDS!!! 󰙤 📜 A tale on XML Parsing 🤴 👸 BIIIIRRRLLL !!!! ELIXIR TA SAINDO DA JAULA!!! BIIIIRRRLLL !!!! BORA BEAM !!!! ELIXIR DESCENDENTE !!!!
7. Uma história de como saímos de uma situação assim:
10. Para uma situação assim:
16. Como funciona a busca na Duffel?
17. O Primeiro Grande Cliente A primeira investigação Quando cheguei Hoje Grande Cliente
18. JURO QUE JÁ ESTAVA ASSIM QUANDO EU CHEGUEI
20. Escalável, mas não barato
21. Vale a pena assistir! https://www.youtube.com/watch?v=ZMgUTPcHeo4
22. A Primeira Investigação A primeira investigação Quando cheguei Hoje
23. A investigação Nenhuma era mais rápida que Saxy Muito complexo e custoso Muito custoso para mudar Bibliotecas Abordagem Rust
24. Circulando o problema A primeira investigação Quando cheguei Hoje Grande Cliente Circulando
25. Resolvendo problemas! Ninguém quer ver e nem processar milhares de ofertas Validações com Ecto é realmente necessário para consumir API? Fazer o parsing mais cedo que pudermos Filtros Remover processamento HTTP Streaming
26. Resolvendo problemas! Ninguém quer ver milhares de ofertas Validações com Ecto é realmente necessário para consumir API? Fazer o parsing mais cedo que pudermos Filtros Remover processamento HTTP Streaming
27. O debug maldito!
28. O debug maldito! 1 GB de memória!!!
29. O debug maldito! # pseudo code metadata |> Map.put(:response_xml, xml) |> Jason.encode!(pretty: tue)
33. Agora vai! A primeira investigação Quando cheguei Hoje Grande Cliente Circulando Agora vai!
34. O Plano 2 semanas para examinar o problema 2 semanas para criar protótipos de baixa fidelidade 4 semanas para integrar uma companhia aérea Investigar Protótipos Produção
35. 1. A nova investigação
36. Xmerl Features XPath! Manipular e gerar XMLs
37. SweetXML e Xpath duration_in_minutes: transform_by( ~x"./FlightDetail/FlightDuration/Value/text()"s, &to_minutes/1 ), https://github.com/kbrw/sweet_xml
38. 2. Investigando protótipos para construir Saxy tem SimpleForm Eliminar o DOM intermediário O futuro do XML? em outra palestra talvez Mini-DOM Sax to Structs VTD-XML
39. Benchmarks
40. Nova proposta: DataSchema + SimpleForm field: {:duration_in_minutes, {["FlightSegment", "FlightDetail", "FlightDuration", "Value"], :text}, MinutesType}, https://github.com/Adzz/data_schema
41. Nova proposta: Saxy SimpleForm
42. Nova proposta: Saxy SimpleForm
43. 3. Produção! A companhia aérea mais usada Feature flag com Unleash Código velho novo vivendo juntos por um tempo Impacto Gradual Débito
44. E o resultado…
46. No pretty json SimpleForm 5x moar volume
47. Novo kit de solução XML
48. • Implementação para todas integrações com companhia aéreas • Materiais e documentação do novo kit de solução • Treinamento e divulgação interna na empresa • Remover código antigo durante a grande jornada de migração Com o sucesso, grande responsabilidades
49. Em uma dimensão alternativa… A primeira versão da Duffel API Hoje
50. Does Saxy work with XPath? Saxy in its core is a SAX parser, therefore Saxy does not, and likely will not, offer any XPath functionality. SweetXml is a wonderful library to work with XPath. However, :xmerl, the library used by SweetXml, is not always memory efficient and speedy. You can combine the best of both sides with Saxmerl, which is a Saxy extension converting XML documents into SweetXml compatible format. Please check that library out for more information. !
51. However, :xmerl, the library used by SweetXml, is not always memory efficient and speedy.
53. • Documentação ambígua • As pessoas em geral estão acostumadas com XPath • SimpleForm do Saxy não tem um uso fácil Complicado You can combine the best of both sides with Saxmerl, which is a Saxy extension converting XML documents into SweetXml compatible format Memory efficiency and better performance - Several benchmarks show that Saxmerl usually uses 4x less memory than :xmerl or SweetXml, and is usually 70–90% faster. Note that benchmarking XML parsers is difficult and highly depends on the complexity of the documents being parsed.
54. Lições aprendidas e o futuro A primeira investigação Quando cheguei Hoje Grande Cliente Circulando Agora vai!
55. • Confie, mas verifique ◦ Verifique 10 vezes mais principalmente quando a única opção boa é mudar de linguagem • Ame o problema, investigue a fundo! ◦ Não desista cedo, por mais complicado que pareça! ◦ Instrumentação! Dados! Métricas! • Não se prenda a soluções ◦ XPath era legal, mas fazíamos pouco uso da ferramenta • Mudanças grandes demoram ◦ Fazer missões paralelas, ganhar experiência, conquistar confiança • Pessoas diferentes, abordagens diferentes Lições aprendidas
56. Futuro • Usaremos Rust? ◦ Até agora não temos previsão, mas pode ser que um dia sim. Vai valer a pena? Não sei XD • DataSchema + SimpleForm? ◦ Provavelmente lançaremos o kit de maneira open source. Mas sem previsão
57. Às vezes você precisa escalar a colina para ver a montanha Clarice Lispector
58. 08 e 09 de setembro Ulisses Almeida| @ulissesalmeida