Tweet
Tweet

Slide 1

Slide 1 text

スケーラブルなデータ収集と活用の舞台裏 ~ Web講演会を例に ~ 2020-07-09 コロナ時代の医療業界を支援するエムスリーのプロダクト開発の舞台裏

Slide 2

Slide 2 text

自己紹介 鳥山 誠 (Toriyama Makoto) 入社: 2020年1月 趣味: 音楽 前職: 人材系企業 - 社内Webシステムを作ったり (Angular, Scala) - クエリパイプラインを構築したり (Redshift, Digdag) 所属: Unit1 - 製薬企業向けPF

Slide 3

Slide 3 text

製薬企業向けプラットフォーム - MR君 (2000~) - Web講演会 (2011~) エムスリー創業期からのサービス群 m3.com上で医師へ薬剤などの情報提供 × 製薬企業のマーケティング支援

Slide 4

Slide 4 text

Web講演会 m3.com上で行うオンラインの講演会 (最近アプリも出ました =>) - 例: - 製薬会社、医療機器メーカー主催の医師向け講演会 - 看護師、薬剤師向けの薬剤、機器の説明会 => 正にいま「医療関係者の情報収集」に貢献しうるサービス

Slide 5

Slide 5 text

（当社IR資料より抜粋）

Slide 6

Slide 6 text

そんな勢いで増える「データ」をどう扱っているのか？

Slide 7

Slide 7 text

「データ」を扱う どう集めているのか？ => 収集 どう使っているのか？ => 活用

Slide 8

Slide 8 text

どう集めているのか？ => 収集 どう使っているのか？ => 活用 …の２つに焦点を当ててお話しします 「データ」を扱う

Slide 9

Slide 9 text

データの”収集”

Slide 10

Slide 10 text

Web講演会サーバはOn Premise + AWS (移行中)、ログ送信先はGCP (最近全面移行した) Webビーコン方式のアクセス解析ツールを自前実装 ＋ 視聴予約・視聴 （RDBトランザクション） 視聴ログ送信（一定時間ごとビーコン送信） Web講演会の視聴データの話

Slide 11

Slide 11 text

- Cloud Runがオートスケールしリクエストをさばく - ログをPub/Subにエクスポート、BigQueryに連携 GCP構成図

Slide 12

Slide 12 text

- ログデータは先述の仕組み (+α) でリアルタイムに連携 - DBのデータは、Digdag+EmbulkでBigQueryに連携 - => BigQuery上で双方を組み合わせた分析が可能 BigQueryはデータ基盤の中心

Slide 13

Slide 13 text

データの”活用”

Slide 14

Slide 14 text

データ活用と言っても...

Slide 15

Slide 15 text

今日はあえてこちら

Slide 16

Slide 16 text

データ分析観点はサービスの成長とともに変わっている 過去: MR君（= 医師向けメッセージ） => 配信数と既読率を追う。以上！ 現在: - 講演会の視聴率はどうだったか？ - 講演会に至るまでのアクセス動線は？ - メッセージ添付の動画・コンテンツまで見てもらえているか？ - 医師からのフィードバック・アンケート回答内容はあるか？ => 分析要件が複雑化・多様化 「データ分析」って集計するだけでは？

Slide 17

Slide 17 text

- オンプレの分析用Oracleに、諸々のチームが諸々の技術で ETL - Java製ツールで非Engでもデータ抽出できる - => 便利だが、増えるデータに対応できない && データ定義が管理しきれない ... かつてのデータ分析基盤 「データは出たけどこれ正しいんだっけ？」 PdM

Slide 18

Slide 18 text

- BigQueryに集まったデータを BIツールで分析 - 利用を促進するため、各種データマートを構築（進行中） クラウドでやりましょう

Slide 19

Slide 19 text

- Oracleデータ + ログデータ + Salesforceデータを材料に、データマートに統合 - 昨日までの実績がすぐに可視化される世界 => 意思決定を支援 活用事例1: プロダクトマネージャ向けダッシュボード

Slide 20

Slide 20 text

- GCPのData Catalogによるメタデータ管理を行っている - descriptionを丁寧に書く => デプロイしたら即テーブル定義を確認できる 活用事例1: プロダクトマネージャ向けダッシュボード

Slide 21

Slide 21 text

- メンテナンス困難になっていた CSV付きレポートメール (Shell製) - BQ上でデータマートを構築し、データマートから出力 (同時にPythonにした) - 大規模配信のレポートが安定して出力できるように 活用事例2: クライアント向けレポート (100~200通/日 程度)

Slide 22

Slide 22 text

構成図

Slide 23

Slide 23 text

- 全サービスのKPIがすぐ追える世界 - ETL基盤をいい感じにクラウド化する - データ基盤そのものをクライアントと共有して、更なる価値提供 - etc... この先やりたいこと

Slide 24

Slide 24 text

まとめ - データ基盤は「収集」と「活用」両方のスケーラビリティが大事 - エムスリー、歴史のあるサービスも頑張っています - まだまだやれることがたくさんあります！！