Sistemas de Recomendação com Google Dataproc

Esta palestra introduz o tema Sistemas de Recomendação e depois explora uma possível arquitetura e implementação utilizando ferramentas da Google Cloud Platform, com ênfase no Dataproc, a oferta Apache Spark do Google.

Transcript

1. Sistemas de Recomendação com Dataproc Daniela Petruzalek Senior Software Engineer @ Globo.com daniela.petruzalek@gmail.com 9 de Dezembro de 2017
2. O espaço de prateleira é limitado
3. Mas a internet...
5. O fenômeno da cauda longa Amazon: 36,7% (2008) $1,9 bi USD Amazon: 63,3%(2008) $3,4 bi USD Mais de 100 mil livros vendidos
6. Casos de Sucesso
7. Arquitetura de um Sistema de Recomendação Resultados de Algoritmos API de Recomendação Algoritmos de Recomendação Fonte de Documentos Dados de Consumo
8. Scheduler Arquitetura de um Sistema de Recomendação Resultados de Algoritmos API de Recomendação Algoritmos de Recomendação Fonte de Documentos Dados de Consumo
9. Apache Spark • Framework para processar Big Data • Processamento em memória (RDDs) • Baseado em grafos de execução • É possível programar um processo distribuido da mesma forma que um processo local
10. Componentes e Plataformas
11. Modelo de Execução
12. Ecossistema de Big Data
13. É um Pokémon ou uma tecnologia de Big Data? https://pixelastic.github.io/pokemonorbigdata/
14. = +
15. https://medium.com/google-cloud/recommendation-systems-with-spark-on-google-dataproc-bbb276c0dafd
16. Sistema de Recomendação na GCP CloudSQL (recs) Compute Engine Dataproc Cloud SQL (movies) Cloud SQL (ratings)
17. Algoritmo: Filtragem Colaborativa • Processo: • Identificar usuários similares • Recomendar itens que usuários similares gostam Filmes Usuários User x Item Matrix | Utility Matrix | Rating Matrix
18. Dataset: Movie Lens http://files.grouplens.org/datasets/movielens/ml-latest.zip
19. Passo 1: Criar Projeto na Cloud
20. Passo 1: Criar Projeto na Cloud
21. Passo 2: Criar o Modelo de Dados -- create_db.sql CREATE DATABASE TEST; -- create_movies.sql CREATE TABLE MOVIES( id varchar(255), title varchar(255), genre varchar(255), PRIMARY KEY (id)); -- create_ratings.sql CREATE TABLE RATINGS( userId varchar(255), movieId varchar(255), rating float, PRIMARY KEY (userId, movieId), FOREIGN KEY (movieId) REFERENCES MOVIES(id)); -- create_recommendations.sql CREATE TABLE RECOMMENDATIONS( userId varchar(255), movieId varchar(255), prediction float, PRIMARY KEY (userId, movieId), FOREIGN KEY (userId,movieId) REFERENCES RATINGS(userId,movieId));
22. Passo 3: Subir Arquivos Para a Cloud $ gcloud config set project recsys-187600 $ gsutil mb gs://recsys-tutorial $ gsutil cp *.sql gs://recsys-tutorial $ gsutil cp movies.csv ratings.csv gs://recsys-tutorial
23. Passo 4: Configurar o Cloud SQL
24. Passo 4: Configurar o Cloud SQL
25. Passo 4: Configurar o Cloud SQL
26. Passo 4: Configurar o Cloud SQL
27. Passo 4: Configurar o Cloud SQL
28. Passo 5: Configurar o Dataproc
29. Passo 5: Configurar o Dataproc
30. Passo 6: Algoritmo # engine.py # Configurações do job conf = SparkConf().setAppName('Movie Recommender') \ .set('spark.driver.memory', '6G') \ .set('spark.executor.memory', '4G') \ .set('spark.python.worker.memory', '4G') sc = SparkContext(conf=conf) sqlContext = SQLContext(sc) # Acesso ao Cloud SQL jdbcDriver = 'com.mysql.jdbc.Driver’ jdbcUrl = 'jdbc:mysql://%s:3306/%s?user=%s&password=%s' % ( CLOUDSQL_INSTANCE_IP, CLOUDSQL_DB_NAME, CLOUDSQL_USER, CLOUDSQL_PWD)
31. Passo 6: Algoritmo # Load via JDBC dfRates = sqlContext.read.format('jdbc') \ .option('useSSL', False) \ .option("url", jdbcUrl) \ .option("dbtable", TABLE_RATINGS) \ .option("driver", 'com.mysql.jdbc.Driver') \ .load() # BugFix ratesRDD = dfRates.rdd cleanRDD = ratesRDD.filter(lambda row : row[0] != "userId") # Treino do modelo com ALS model = ALS.train( cleanRDD.rdd.map(lambda r: (int(r[0]), int(r[1]), r[2])).cache(), rank=rank, seed=seed, iterations=iterations, lambda_=regularization_parameter)
32. Passo 6: Algoritmo # Gera 10 recomendações para cada usuário predictions = model.recommendProductsForUsers(10) \ .flatMap(lambda pair: pair[1]) \ .map(lambda rating: (rating.user, rating.product, rating.rating)) schema = StructType([ StructField("userId", StringType(), True), StructField("movieId", StringType(), True), StructField("prediction", FloatType(), True)]) dfToSave = sqlContext.createDataFrame(predictions, schema) # Salva no Cloud SQL dfToSave.write.jdbc(url=jdbcUrl, table=TABLE_RECOMMENDATIONS, mode='overwrite')
33. Passo 7: Executar o job $ gsutil cp engine.py gs://recsys-tutorial
34. Passo 7: Executar o job
35. Passo 8: Validar os resultados
36. Passo 8: Validar os resultados
37. Conclusões • Sistema de recomendações simples de implementar • A infraestrutura da GCP abstrai muito a complexidade da arquitetura de Big Data • Faltam algumas features para ser production ready: • Suporte a outros algoritmos (ensemble) • Scheduler • Testes A/B • Ingestão de dados reais • API para consumo
38. Obrigada! daniela.petruzalek@gmail.com https://linkedin.com/in/petruzalek https://twitter.com/danicat83 https://github.com/danicat