Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Big Data na Globo.com
Search
Big Data Week São Paulo
November 23, 2015
Technology
0
92
Big Data na Globo.com
Renan Oliveira
Data Engineer @Globo.com
Big Data Week São Paulo
November 23, 2015
Tweet
Share
More Decks by Big Data Week São Paulo
See All by Big Data Week São Paulo
Abertura Oficial: Big Data Week ao redor do mundo
bdwsaopaulo
0
54
Informativo: Tableau
bdwsaopaulo
0
73
Do DW ao Big Data: A melhoria da Tomada de Decisão
bdwsaopaulo
0
91
Big data expandindo a fronteiras das analises preditividas
bdwsaopaulo
0
69
Estatística: a gramática de Data Science
bdwsaopaulo
0
53
Pteracuda – Monitoramento em grande escala de E-Commerces globais
bdwsaopaulo
0
50
O que é web semântica e como ela difere da web que conhecemos atualmente?
bdwsaopaulo
0
42
Computação na escala da web com ferramentas open source
bdwsaopaulo
0
88
Arquiteturas e Data Science em Publicidade Digital
bdwsaopaulo
0
73
Other Decks in Technology
See All in Technology
require(ESM)とECMAScript仕様
uhyo
4
980
コードや知識を組み込む / Incorporate Code and knowledge
ks91
PRO
0
150
.NET Profiler in 2024.
kkamegawa
2
1.5k
IaCジェネレーターとBedrockで詳細設計書を生成してみた
tsukasa_ishimaru
4
890
地理空間データ可視化・解析・活用ソリューション Pacific Spatial Solutions (PSS)
pacificspatialsolutions
0
330
DMM.com アルファ室採用案内資料
hsugita
1
230
障害対応をちょっとずつよくしていくための 演習の作りかた
heleeen
1
1.7k
Babylon.js JAPAN活動紹介 (2024/4)
limes2018
1
120
Gradle Build Scanを使ってビルドのことを知ろう potatotips #87
tomorrowkey
2
160
成長をサポートするピープルマネジメントのやり方
sioncojp
9
1.2k
非同期推論システムによるコスト削減と信頼性向上
koki_nishihara
1
360
一生覚えておきたい「システム開発=コミュニケーション」〜初めての実務案件振り返りLT〜
maimyyym
2
320
Featured
See All Featured
Pencils Down: Stop Designing & Start Developing
hursman
117
11k
Building a Scalable Design System with Sketch
lauravandoore
457
32k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
323
20k
Building Effective Engineering Teams - LeadDev
addyosmani
31
1.9k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
501
140k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
51k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
123
39k
Stop Working from a Prison Cell
hatefulcrawdad
267
19k
Being A Developer After 40
akosma
66
580k
How GitHub Uses GitHub to Build GitHub
holman
468
290k
The Cult of Friendly URLs
andyhume
74
5.7k
Teambox: Starting and Learning
jrom
128
8.4k
Transcript
Big Data na globo.com Como estamos revolucionando com dados o
maior portal do Brasil @renan_oliveira
Como aprendemos os interesses dos usuários dado a sua navegação
Números • 3 bilhões de eventos diários • 50 milhões
de usuários únicos por mês • +100 mil novos conteúdos por mês
None
Páginas personalizadas são mais atrativas para os usuários
Social News
0 4 8 12 16 1 2 3 4 5
6 7 8 9 14.72 15.81 10.06 7.55 5.59 4.05 4.28 5.37 13.07 3.04 3.06 3.01 2.93 2.92 3 2.85 3.02 3.13 All Visits Social News Users Métricas
None
None
Veracidade Variedade Valor Velocidade Volume
None
• Lambda: Streaming + Batch • APIs com tempo de
resposta em ms • Ferramentas de analise de dados • Map Reduce está morto :) Arquitetura
None
Frentes de ação • Recomendação • Conhecimento sobre o usuário
• Plataforma de dados
None
None
13.2% feed editorial Maior diversidade feed recomendado 100% *matérias que
foram para o feed
*Dados extraídos em novembro de 2015
*Dados extraídos em novembro de 2015
Algoritmos • Collaborative Filtering • Content-Based • ALS
None
None
None
None
Spreading Activation
*Quando usuário leu alguma matéria sobre seu time teste off-line
com 3.5M de usuários da base 82% de acerto 95% de acerto nas 3 primeiras posições Qual o seu time?
teste com 500M de impressões +48.1% +48.4% com spreading activation
de conversão Resultado do teste A/B *Dados extraídos em novembro de 2015
Data Culture
• Métricas por todo lado • Cálculo de engajamento •
Business Intelligence Saindo da fronteira da área
• Métricas das Aplicações • Exploration and Visualization • Data
Discovery Data…
• Métricas das Aplicações • Exploration and Visualization • Data
Discovery Data… Grafana
• Métricas das Aplicações • Exploration and Visualization • Data
Discovery Data… Grafana Jupyter
• Métricas das Aplicações • Exploration and Visualization • Data
Discovery Data… Grafana Jupyter
None
Obrigado renanoliveira.net