Arquitetura multi-layer para Query Understanding: Conciliando resiliência, escalabilidade e Machine Learning

Nesta palestra, apresento uma arquitetura multi-layer para query understanding, onde o desafio foi equilibrar legados robustos com performance em tempo real e integrações de Machine Learning. O desenho incluiu uso de cache inteligente, fallback entre camadas e pipelines near-realtime para enriquecer consultas com features complexas.

Transcript

1. Arquitetura multi-layer para Query Understanding Jéssica Bonson | Senior Staff Engineer @ MERCADO LIVRE Conciliando resiliência, escalabilidade e Machine Learning
2. OLÁ! Eu sou Jéssica Bonson (@jpbonson) Senior Staff Engineer @ MercadoLivre | Search 2 • Graduação/Mestrado em Ciências da Computação na UFSC • 14+ anos de experiência em techstacks e projetos diversos • Foco em desenvolvimento backend e Machine Learning
3. https://news.mercadolivre.com/pt/o-melhor-do-brasil-2025
4. Search no MercadoLivre ˜500k RPM no momento de pico, só no Brasil ˜280ms response time
5. • Etapas que transformam a informação que o usuário proveu para a busca em um conjunto de resultados relevantes. O que é uma busca? Search = Retrieval + Ranking
6. • Etapas que transformam a informação que o usuário proveu para a busca em um conjunto de resultados relevantes. O que é uma busca? Search = Query Understanding + Retrieval + Ranking
7. • Busca clássica: Query Processing ◦ stemming, stopwords, sinônimos, normalização… • Busca moderna: Query Understanding ◦ intent classification ◦ entity recognition ◦ query rewriting ◦ personalização ◦ … O que é Query Understanding?
8. • Tínhamos apenas Query Processing no MercadoLivre, não Query Understanding! • Sistema baseado em ETLs e heurísticas, sem usar informações contextuais ou de semântica. Problema
9. • Temos que melhor a qualidade da nossa busca, mas mantendo: ◦ Rígido tempo de resposta (<30 ms para p99) ◦ Resiliência e Escalabilidade • …mas a maioria da soluções de Machine Learning não atende esses requisitos. Desafios
10. Arquitetura v1 • Contras: ◦ Carrega tudo em memória… • Prós: ◦ Carrega tudo em memória! Search Engine Query Processing ETLs S3 BigQuery Glossário Fluxo Online | Fluxo Batch
11. Arquitetura v2 Search Engine Query Processing ETLs S3 Query Understanding (API) Redis (L1) KVS (L2) BigQuery (source of truth) com timeout Glossário Fluxo Online | Fluxo Batch | Fluxo NRT (Near Real-Time) not found Job Query Understanding (ML)
12. • Timeout + Caching + Async => 18ms de p99! • Combinação de abordagens ◦ Query #1 retorna somente metadados de Query Processing ◦ Queries #2+ são enriquecidas com metadados de Query Understanding ◦ Se ocorrer falha ou timeout, garante os metadados básicos. Resultados & Lessons Learned
13. • Separação entre layers de API e ML para Query Understanding valeu a pena? • Uso de LLMs self-served e finetuned para permitir baixo custo e response time. Futuro & Debates
14. ¡Muchas gracias! Mercado Livre | Jéssica Bonson @jpbonson https://speakerdeck.com/jpbonson
15. Anexos