Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data Gateway Talk vol.4 スポンサートーク2
Search
recochoku
November 21, 2019
Technology
1
380
Data Gateway Talk vol.4 スポンサートーク2
2019年11月21日 Data Gateway Talk vol.4 スポンサートークにてお話したスライドです。レコチョクのデータ基盤についてです。
recochoku
November 21, 2019
Tweet
Share
More Decks by recochoku
See All by recochoku
RecoChoku tech night -AWS re:Invent 2019 参加報告会- 田村(航)
labo
0
340
RecoChoku tech night -AWS re:Invent 2019 参加報告会- 山根
labo
0
410
Data Gateway Talk vol.4 スポンサートーク1
labo
0
520
Data Gateway Talk vol.4 若手LT
labo
0
390
RecoChoku tech night #09 -reinvent2018報告会-
labo
1
1.5k
RecoChoku tech night #09 -reinvent2018報告会- オープニング
labo
1
480
Other Decks in Technology
See All in Technology
「使い方教えて」「事例教えて」じゃもう遅い! Microsoft 365 Copilot を触り倒そう!
taichinakamura
0
280
関係性が駆動するアジャイル──GPTに人格を与えたら、対話を通してふりかえりを習慣化できた話
mhlyc
0
140
Simplifying Cloud Native app testing across environments with Dapr and Microcks
salaboy
0
130
【Kaigi on Rails 事後勉強会LT】MeはどうしてGirlsに? 私とRubyを繋いだRail(s)
joyfrommasara
0
220
20201008_ファインディ_品質意識を育てる役目は人かAIか___2_.pdf
findy_eventslides
2
590
Access-what? why and how, A11Y for All - Nordic.js 2025
gdomiciano
1
130
AI時代だからこそ考える、僕らが本当につくりたいスクラムチーム / A Scrum Team we really want to create in this AI era
takaking22
7
4k
Modern_Data_Stack最新動向クイズ_買収_AI_激動の2025年_.pdf
sagara
0
240
LLMアプリの地上戦開発計画と運用実践 / 2025.10.15 GPU UNITE 2025
smiyawaki0820
1
130
Optuna DashboardにおけるPLaMo2連携機能の紹介 / PFN LLM セミナー
pfn
PRO
2
940
大規模サーバーレスAPIの堅牢性・信頼性設計 〜AWSのベストプラクティスから始まる現実的制約との向き合い方〜
maimyyym
6
3.9k
多様な事業ドメインのクリエイターへ 価値を届けるための営みについて
massyuu
1
500
Featured
See All Featured
Optimising Largest Contentful Paint
csswizardry
37
3.4k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Building Applications with DynamoDB
mza
96
6.7k
KATA
mclloyd
32
15k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
9
590
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.5k
How to Ace a Technical Interview
jacobian
280
24k
Into the Great Unknown - MozCon
thekraken
40
2.1k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Gamification - CAS2011
davidbonilla
81
5.5k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Transcript
© RecoChoku Co.,Ltd. Proprietary and Confidential 株式会社レコチョク 事業システム部 エンタープライズディストリビューショングループ データドリブンチーム
佐藤 俊之 2019/11/25 データ分析基盤紹介 サクッと 2019年11月21日(木) Data Gateway Talk vol.4
© RecoChoku Co.,Ltd. Proprietary and Confidential 自己紹介 2 2019/11/25 佐藤
俊之 (Toshiyuki Sato) データ分析基盤管理者 - データベースエンジニア - BIスペシャリスト - CRM、レコメンデーションなどデータ関連システム担当 好きなAWSサービス - Redshift - S3 好きなアーティスト - スピッツ - ELLEGARDEN
© RecoChoku Co.,Ltd. Proprietary and Confidential レコチョクサービスとデータ 3 2019/11/25 ①音楽配信サービス
従量課金制 定額課金制 ②音楽体験サービス 会員属性情報 課金ログ アクセスログ お気に入りアーティスト情報 再生ログ プレイリスト アプリ操作ログ 視聴ログ アーティストフォロー情報 お気に入り動画 ③楽曲管理システム 楽曲情報 アーティスト情報 ジャンル情報 楽曲配信情報
© RecoChoku Co.,Ltd. Proprietary and Confidential データ分析基盤 4 2019/11/25 各フロントサービスデータ
バックエンドシステムデータ BIツール アドホック分析 定型レポート出力 アクセスログ 再生ログ アプリ操作ログ 楽曲情報 商品情報 アーティスト情報 課金実績 会員データ PUSHトークン情報 お気に入りアーティスト情報 プレイリスト 視聴ログ CRM用データ出力 Amazon Redshift Amazon Kinesis Data Streams Amazon S3 レコメンド PUSH配信 twitter配信 機械学習 メール配信 Amazon Kinesis Data Streams Amazon EMR Amazon Personalize データ加工
© RecoChoku Co.,Ltd. Proprietary and Confidential データ分析基盤の役割 1. データ収集 –
レコチョク全サービスの分析用データを一元管理 – S3ファイル連携、RDS直接連携など連携方法を共通化 – Kinesisからユーザの行動データ(アプリ操作ログ、課金実績など)をほぼリアルタイムで収集 2. データ加工 – CRM PUSH/メール配信、効果測定、レコメンデーション、BI用などの加工データを作成 – 機械学習でユーザ毎に活動時間を分析し、CRM配信に利用 3. データ活用 – 販売促進 : パーソナライズ、レコメンド、 CRM配信 – 分析 : 効果測定、KPI分析、分析データの提供、リアルタイム分析 – 報告 : 日次/週次/月次レポート、アドホック分析 – 予測 : 売上予測、退会抑止 5 2019/11/25
© RecoChoku Co.,Ltd. Proprietary and Confidential レコチョク データ分析基盤あるあるのご紹介 • 新規サービスが増えるのでデータがどんどん増えていく
• 夜間バッチがどんどん増えていく、日次処理の終了が遅くなって いく、レポート出力が遅れてくる • いつも夜中にアラートが発生する • スロークエリが突然発生する、他の処理も巻き込まれる • 月初は月次処理で負荷が高い、安心できない • 連携データのデータフォーマットが突然変更されて、アラート発生 • 突然大量のデータが連携される 6 2019/11/25
© RecoChoku Co.,Ltd. Proprietary and Confidential データ分析基盤あるあるのつづき • データが連携されない、連絡がない •
連携データにタブや改行が混じっている • サービスによってカラム名が統一されていない • 障害影響のデータ調査依頼が突然くる • データ分析依頼の要件がざっくりすぎる、追加の依頼が五月雨式にくる • データ修正依頼がある、再集計もあわせて発生 7 2019/11/25 対応 → ジョブコントローラーを開発し、連携遅延データの取込は自動スキップ → Redshiftの機能を使って、不正データは自動で取込除外 → 監視を強化し、クリティカルなアラート以外は朝10時にまとめてアラート通知 → いろいろ対応を実施した結果、現在は夜間のアラートは発生していない
© RecoChoku Co.,Ltd. Proprietary and Confidential 現在と今後 現在は • データ分析基盤の運用はサービス追加以外はほとんどない
• 定常的な運用はすべて自動化済み • DOMO(BIツール≠データプラットフォーム)を有効活用 – データおよびデータ加工処理をDOMO内のRedshiftへ移行し負荷を分散 – データの民主化を実現 – レポート運用自動化 今後はデータ分析、データ活用に注力していく 8 2019/11/25
© RecoChoku Co.,Ltd. Proprietary and Confidential 宣伝 エンジニア採用サイト 9 2019/11/25
エンジニアブログ公開中 https://recruit.recochoku.jp/ https://techblog.recochoku.jp/ 音楽ニュースサイト レコログ https://recochoku.jp/ch/recolog/
© RecoChoku Co.,Ltd. Proprietary and Confidential ありがとうございました 10 2019/11/25