Upgrade to Pro — share decks privately, control downloads, hide ads and more …

スケーラブルなデータ収集と活用の舞台裏 / scalable data infrastruct...

Avatar for to_lz1 to_lz1
July 09, 2020
Technology
0
9.8k

スケーラブルなデータ収集と活用の舞台裏 / scalable data infrastructure of M3

2020-07-09 コロナ時代の医療業界を支援するエムスリーのプロダクト開発の舞台裏

Avatar for to_lz1

to_lz1

July 09, 2020
Tweet

More Decks by to_lz1

See All by to_lz1
Webエンジニアのためのデータエンジニアリング概説
Avatar for to_lz1 mtoriyama000
6
890

Other Decks in Technology

See All in Technology
AIにどこまで任せる？実務で使える(かもしれない)AIエージェント設計の考え方
Avatar for Har1101 har1101
3
1.2k
Oracle Audit Vault and Database Firewall 20 概要
Avatar for oracle4engineer oracle4engineer
PRO
2
1.6k
UIテスト自動化サポート- Testbed for XCUIAutomation practice
Avatar for notoroid notoroid
0
110
Liquid Glass革新とSwiftUI/UIKit進化
Avatar for Fumiya Sakai fumiyasac0921
0
120
Clineを含めたAIエージェントを 大規模組織に導入し、投資対効果を考える / Introducing AI agents into your organization
Avatar for Masato Ishigaki / 石垣雅人 i35_267
4
1.3k
In Praise of "Normal" Engineers (LDX3)
Avatar for Charity Majors charity
2
1.2k
JSX - 歴史を振り返り、⾯⽩がって、エモくなろう
Avatar for 晴れ井戸 pal4de
3
1.1k
Кто отправит outbox? Валентин Удальцов, автор канала Пых
Avatar for Lamoda Tech lamodatech
0
270
～宇宙最速～ 2025年AWS Summit レポート
Avatar for satodesu satodesu
1
1.2k
IAMのマニアックな話 2025を執筆して、​ 見えてきたAWSアカウント管理の現在
Avatar for NRI Netcom nrinetcom
PRO
4
650
[TechNight #90-1] 本当に使える？ ZDMの 新機能を実践検証してみた
Avatar for oracle4engineer oracle4engineer
PRO
3
140
doda開発 生成AI元年宣言！自家製AIエージェントから始める生産性改革 / doda Development Declaration of the First Year of Generated AI! Productivity Reforms Starting with Home-grown AI Agents
Avatar for techtekt techtekt
0
200

Featured

See All Featured
BBQ
Avatar for Matthew Crist matthewcrist
89
9.7k
Fantastic passwords and where to find them - at NoRuKo
Avatar for Phil Nash philnash
51
3.3k
Building a Scalable Design System with Sketch
Avatar for Laura Van Doore lauravandoore
462
33k
How to Ace a Technical Interview
Avatar for Jacob Kaplan-Moss jacobian
277
23k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
Avatar for Stéphanie Walter stephaniewalter
281
13k
Rebuilding a faster, lazier Slack
Avatar for samanthasiow samanthasiow
81
9k
Balancing Empowerment & Direction
Avatar for Lara Hogan lara
1
340
GraphQLとの向き合い方2022年版
Avatar for Yosuke Kurami quramy
46
14k
Adopting Sorbet at Scale
Avatar for Ufuk Kayserilioglu ufuk
77
9.4k
YesSQL, Process and Tooling at Scale
Avatar for Rocio Delgado rocio
173
14k
The Pragmatic Product Professional
Avatar for Laura Van Doore lauravandoore
35
6.7k
Product Roadmaps are Hard
Avatar for C. Todd Lombardo iamctodd
PRO
53
11k

Transcript

  1. スケーラブルなデータ収集と活用の舞台裏 ~ Web講演会を例に ~ 2020-07-09 コロナ時代の医療業界を支援するエムスリーのプロダクト開発の舞台裏

  2. 自己紹介 鳥山 誠 (Toriyama Makoto) 入社: 2020年1月 趣味: 音楽 前職:

    人材系企業 - 社内Webシステムを作ったり (Angular, Scala) - クエリパイプラインを構築したり (Redshift, Digdag) 所属: Unit1 - 製薬企業向けPF

  3. 製薬企業向けプラットフォーム - MR君 (2000~) - Web講演会 (2011~) エムスリー創業期からのサービス群 m3.com上で医師へ薬剤などの情報提供 ×

    製薬企業のマーケティング支援

  4. Web講演会 m3.com上で行うオンラインの講演会 (最近アプリも出ました =>) - 例: - 製薬会社、医療機器メーカー主催の医師向け講演会 - 看護師、薬剤師向けの薬剤、機器の説明会

    => 正にいま「医療関係者の情報収集」に貢献しうるサービス

  5. （当社IR資料より抜粋）

  6. そんな勢いで増える「データ」をどう扱っているのか？

  7. 「データ」を扱う どう集めているのか？ => 収集 どう使っているのか？ => 活用

  8. どう集めているのか？ => 収集 どう使っているのか？ => 活用 …の２つに焦点を当ててお話しします 「データ」を扱う

  9. データの”収集”

  10. Web講演会サーバはOn Premise + AWS (移行中)、ログ送信先はGCP (最近全面移行した) Webビーコン方式のアクセス解析ツールを自前実装 ＋ 視聴予約・視聴 （RDBトランザクション）

    視聴ログ送信（一定時間ごとビーコン送信） Web講演会の視聴データの話

  11. - Cloud Runがオートスケールしリクエストをさばく - ログをPub/Subにエクスポート、BigQueryに連携 GCP構成図

  12. - ログデータは先述の仕組み (+α) でリアルタイムに連携 - DBのデータは、Digdag+EmbulkでBigQueryに連携 - => BigQuery上で双方を組み合わせた分析が可能 BigQueryはデータ基盤の中心

  13. データの”活用”

  14. データ活用と言っても...

  15. 今日はあえてこちら

  16. データ分析観点はサービスの成長とともに変わっている 過去: MR君（= 医師向けメッセージ） => 配信数と既読率を追う。以上！ 現在: - 講演会の視聴率はどうだったか？ -

    講演会に至るまでのアクセス動線は？ - メッセージ添付の動画・コンテンツまで見てもらえているか？ - 医師からのフィードバック・アンケート回答内容はあるか？ => 分析要件が複雑化・多様化 「データ分析」って集計するだけでは？

  17. - オンプレの分析用Oracleに、諸々のチームが諸々の技術で ETL - Java製ツールで非Engでもデータ抽出できる - => 便利だが、増えるデータに対応できない && データ定義が管理しきれない

    ... かつてのデータ分析基盤 「データは出たけどこれ正しいんだっけ？」 PdM

  18. - BigQueryに集まったデータを BIツールで分析 - 利用を促進するため、各種データマートを構築（進行中） クラウドでやりましょう

  19. - Oracleデータ + ログデータ + Salesforceデータを材料に、データマートに統合 - 昨日までの実績がすぐに可視化される世界 => 意思決定を支援

    活用事例1: プロダクトマネージャ向けダッシュボード

  20. - GCPのData Catalogによるメタデータ管理を行っている - descriptionを丁寧に書く => デプロイしたら即テーブル定義を確認できる 活用事例1: プロダクトマネージャ向けダッシュボード

  21. - メンテナンス困難になっていた CSV付きレポートメール (Shell製) - BQ上でデータマートを構築し、データマートから出力 (同時にPythonにした) - 大規模配信のレポートが安定して出力できるように 活用事例2:

    クライアント向けレポート (100~200通/日 程度)

  22. 構成図

  23. - 全サービスのKPIがすぐ追える世界 - ETL基盤をいい感じにクラウド化する - データ基盤そのものをクライアントと共有して、更なる価値提供 - etc... この先やりたいこと

  24. まとめ - データ基盤は「収集」と「活用」両方のスケーラビリティが大事 - エムスリー、歴史のあるサービスも頑張っています - まだまだやれることがたくさんあります！！