ABEMAはなぜセマンティックレイヤーに挑戦しているのか？

Slide 1

Slide 1 text

Slide 2

Slide 2 text

AbemaTV, Inc. All Rights Reserved  Sotaro Tanaka 株式会社AbemaTV 開発本部 Data div. DataManagement Team Mgr ● 2023/04~ ABEMAでデータマネジメント ● Data Management & BI ● Data Engineering ● Like: コンテナ技術 / dbt / 小倉唯さん ● Hobby: 🏂 / 🎮 / ⚽ / 小倉唯さん 2 Profile X(旧Twitter) @__sotaron__

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

AbemaTV, Inc. All Rights Reserved  セマンティックレイヤーは「データ」と「ビジネスの概念」を繫ぐ層 12 BIツール / レポートA DWH メジャーディメンション BIツール / レポートA DWH 汎用セマンティックレイヤーメジャー BIツール / レポートB BIツール / レポートC BIツール / レポートB BIツール / レポートC メジャー … Tableauの機能制限で過去期間データや集計軸を変えただけのデータ出しにも依頼・作業が必要ビジ開発 Eng 参照クエリ発行結果返却キャッシュメジャーディメンションメジャーディメンションディメンションディメンション集計データ閲覧現状構成汎用セマンティックレイヤーを導入した構成

Slide 13

Slide 13 text

AbemaTV, Inc. All Rights Reserved  ABEMAでは従来型BIツールの制約を超えたセマンティックレイヤーの構築に挑戦 13 BIツール / レポートA DWH メジャーディメンション BIツール / レポートA DWH 汎用セマンティックレイヤーメジャー BIツール / レポートB BIツール / レポートC BIツール / レポートB BIツール / レポートC メジャー … Tableauの機能制限で過去期間データや集計軸を変えただけのデータ出しにも依頼・作業が必要ビジ開発 Eng 参照クエリ発行結果返却キャッシュメジャーディメンションメジャーディメンションディメンションディメンション集計データ閲覧現状構成汎用セマンティックレイヤーを導入した構成

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

AbemaTV, Inc. All Rights Reserved  ABEMAの状況2⃣：プロダクトの「歴史」 16 サービスの成長・時流に合わせて、 UI/UXも変わっていく。仕様が変更されても、当時のログ、データは残る。同じ「指標」を算出するにも 5年前と今とでは、集計定義を変えなければいけない、というケースも多々ある。ログやマスタへの変更が、予想もしていなかった古のレポートに影響したりもする。そして、そういうレポートは偉い人が見ていたりする。

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

AbemaTV, Inc. All Rights Reserved  「視聴」の指標化は難しい 21 ABEMAのコアドメインである「視聴」の指標化は、特にデータモデリングの腕が試されます。ここで話しただけでも以下のようなことを考えたモデル化が必要。一つの単純な指標では表現しきれない「視聴」という概念の捉え難さ。視聴形態コンテンツジャンルユーザーステータステレビ / ビデオ / ライブという複数の視聴形態スポーツとアニメでは、「見た」として捉えるべきユーザー行動が異なるのでは？などユーザーの課金ステータスによっては、広告再生時点まで視聴しているかどうか、が重要

Slide 22

Slide 22 text

AbemaTV, Inc. All Rights Reserved  課題整理：ビジネス指標と ABEMAのデータモデルの翻訳が難しい 22 DWH / データマートレポーティング Tableau Server BigQuery DWH データマート ABEMAのデータモデルはそもそも難しい（視聴ログとか）こんなデータも追加でみたいな。。一部の人しか集計ができず、ちょっとしたデータ出しにも依頼と待ちが発生歴史あるプロダクトのデータ定義は難しい（仕様変更・機能追加/削除）「見たい数字」と「ABEMAのデータモデル」の翻訳が難しい活用の現場課題社内ユーザー集計担当

Slide 23

Slide 23 text

Slide 24

Slide 24 text

AbemaTV, Inc. All Rights Reserved  社内ユーザーは翻訳された「指標」にアクセスできるように 24 DM管理 BIツール / レポートA DWH 汎用セマンティックレイヤーメジャー BIツール / レポートB BIツール / レポートC メジャー … 参照クエリ発行結果返却キャッシュディメンションディメンション従来型のBIツール内ワークブックごとの指標定義の分散を避け、統一した定義で、 ABEMAデータモデル⇔ビジネス指標の翻訳をセマンティックレイヤーを介して実現。データマネジメントチーム社内ユーザー専門職として、データモデルの難しさを吸収したセマンティックレイヤーの構築翻訳された「指標」を活用し、迅速にレポート作成

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

AbemaTV, Inc. All Rights Reserved  dbtの運用事例 27 セマンティックレイヤー導入の前段として、 DWHのデータモデリング、パイプラインに dbtを導入。 Airflow上で大きめかつ複数のワークフローを dbtと組み合わせて運用する面白い事例ができてきています。詳細は、弊チームメンバーからいずれ発表なり、テックブログなりでお伝えできると思います。また、中身のデータモデリングはまだまだこれからが面白い領域にもなっています。 Airflow-likeなオペレーションセマンティックレイヤーと繋げるデータモデリング dbt単体では構築しにくい、失敗時の部分リトライなどを考慮した Airflow + dbtの構成先述したドメイン特性により難易度の高いデータモデリングを後段の汎用セマンティックレイヤーとの相性も考慮して構築

Slide 28

Slide 28 text

AbemaTV, Inc. All Rights Reserved  セマンティックレイヤーのこれから 28 汎用セマンティックレイヤーの実際の導入に関しては、まさにこれから。生成AIの発展は、データ基盤領域や BI領域にも影響があり、特にセマンティックレイヤー周辺はこれから業界としても面白い技術な予感。下記がキーワード。生成AI×BI 既存BIツールとの統合性を考慮したアーキテクチャセマンティックレイヤーは生成 AIと相性が良さそうあるいはセマンティック自体を生成 AIで作っていくことも…？ ABEMAの場合だと、既存Tableau Serverとの統合性を意識したアーキテクチャや運用を考える必要がある

Slide 29

Slide 29 text

AbemaTV, Inc. All Rights Reserved  一緒にやりませんか？これらの仕事を 2000万に迫る WAU規模のプロダクトでやることに興味を感じた方は、ぜひ X(旧Twitter): @__sotaron__ までDMください！カジュアルにお話することから始めましょう。情報交換だけでも 👌 or 次スライドにある QRコードからカジュアル面談申込 or エントリーいただいても大丈夫です！ 29

Slide 30

Slide 30 text

Slide 31

Slide 31 text

No content

Slide 32

Slide 32 text

AbemaTV, Inc. All Rights Reserved  定義できる場所が複数ある、データ量の問題 32 Tableauレポート DWH … ビジネスロジック Tableauレポート Tableauレポートビジネスロジックビジネスロジック DM管理 ADT管理「59:00あるコンテンツの14:36時点」のように、状態のあるイベントをどうログとして表現するか？ログ送信クライアント側の実装も離散的なイベントよりも難しい。