Construindo um Sistema de Recomendações na GCP

Esta talk mostra como construir um sistema de recomendações de ponta a ponta na Google Cloud Platform, utilizando como componentes principais: Dataproc, Cloud SQL, Cloud Functions e AppEngine.

O código que acompanha esta apresentação pode ser encontrado em: https://github.com/danicat/rex

Transcript

1. Construindo um Sistema de Recomendações na GCP Daniela Petruzalek Consultant @ ThoughtWorks Google Developer Expert daniela.petruzalek@gmail.com November 17th, 2018
4. O fenômeno da cauda longa Amazon: 36,7% (2008) $1,9 bi USD Amazon: 63,3%(2008) $3,4 bi USD Mais de 100 mil livros vendidos
5. Arquitetura para Sistemas de Recomendação - Serviços: - Apresentação - Backend - Algoritmos - Banco de Dados / Data Lake - Scheduler Recommendation System => RecSys => “REX”
6. Visão Macro Algoritmos de Recomendação API de Recomendação Fonte de Documentos Dados de Consumo Resultados de Algoritmos
7. Algoritmo: Filtragem Colaborativa •Processo: • Identificar usuários similares • Recomendar itens que usuários similares gostam Filmes Usuários User x Item Matrix | Utility Matrix | Rating Matrix
8. Outros Algoritmos • Filtragem colaborativa item-item • Similaridade item-item (medidas de distância: cosseno, Pearson, etc) • Top: itens mais acessados • Random • Constante / lista manual
9. Fontes de Dados: MovieLens - https://movielens.org - https://grouplens.org/datasets/movielens/ - Características: - 20M de ratings - 27k filmes - 138k usuários - ML Youtube
10. Arquitetura: Sistema de Recomendações v1 Front End App Engine Scripts Storage ALS Dataproc recommend Cloud Function rexdb Cloud SQL
11. Cloud Storage Filesystem na Google Cloud Armazenamento em Buckets - Namespace único Endereço começa com gs://, exemplo: - gs://danicat/ml Paga por GB
12. Cloud SQL Banco de dados relacional na GCP Dois sabores: MySQL e PostgreSQL Paga por CPU e Storage É possível desligar a instância (paga só por storage)
13. Cloud Dataproc Apache Spark na GCP Provisiona cluster na GCE - Mínimo 3 máquinas (1 master + 2 workers) Paga por máquina + storage Cria um cluster novo em aprox. 2 minutos
14. Cloud Functions Oferta de código serverless Suporta Node.js 6 e 8 (beta) Python Go (alpha) Paga por chamada de função
15. App Engine Standard Outra oferta serverless Aplicação gerenciada pela GCP: scale up / scale down Suporta: nodejs, Go, python, java, ...
16. Arquitetura: Sistema de Recomendações v1 Front End App Engine Scripts Storage ALS Dataproc recommend Cloud Function rexdb Cloud SQL
17. Ephemeral Dataproc Cluster Criar um cluster para cada job Executar o job Destruir o cluster após o job se encerrar Resolve problemas de conflito de configuração, concorrência, etc
18. Cloud Composer Versão gerenciada do Apache Airflow Mínimo de 3 nós Cobrado por hora (!!!) Considerar Cloud Scheduler (beta)
19. Arquitetura: Sistema de Recomendações v2 Front End App Engine Scripts Storage ALS Dataproc recommend Cloud Function rexdb Cloud SQL Scheduler Composer
20. Próximos Passos Adicionar novos algoritmos Camada de testes AB Captura de eventos do front Diminuir acoplamento (processamento por eventos ao invés de síncrono)
21. Arquitetura: Sistema de Recomendações v3 Front End App Engine Scripts Storage ALS Dataproc recommend Cloud Function rexdb Cloud SQL Scheduler Composer Cache Memorystore Inv. Cache Pub/Sub Views Pub/Sub
22. Conclusões A nuvem permite a construção de um sistema de recomendação de forma evolutiva. Utilizando os componentes certos pode ser possível fazê-lo de forma muito econômica.
23. https://github.com/danicat/rex =^_^= =^_^= Twitter: @danicat83 daniela.petruzalek@gmail.com Dúvidas?