データ分析基盤の要件分析の話（202201_JEDAI）

データ分析基盤は、データから、インサイトやデータビジネスなど、ビジネス上の価値へと昇華させます。
しかし、十分に目的が整備されず、なんとなくデータ分析基盤の構築してしまうと、せっかくの基盤が十分に生かされず、期待通りの効果を出すことができません。
データ利活用を促進するための要件分析について紹介します。

本資料は、2022/01/27 JEDAI（Japan Enduser Group | Databricks Innovation）で発表したものです。

Transcript

1. Copyright © GeoLogic, Inc. All Rights Reserved. 株式会社ジオロジック CTO 
 藪本 晃輔
 データ分析基盤の
 要件分析の話

2. 2 Copyright © GeoLogic, Inc. All Rights Reserved. Copyright © GeoLogic, Inc. All Rights Reserved. 藪本 晃輔 , Kosuke Yabumoto, @yabooun – 2009年3月　豊田工業高等専門学校卒業 – 同3月　京セラコミュニケーションシステム株式会社へ新卒入社
 DSP（広告配信プラットフォーム）等の新規事業開発に従事 – 2014年4月　株式会社CyberZへ入社
 広告計測ツールF.O.Xをはじめ、DMPやMarketing Automation、媒体収益 化等、インターネット広告関連の開発に従事
 – 2017年10月　株式会社ジオロジックに入社
 位置情報広告の開発に従事
 – 2019年8月　同社CTOに就任
 藪本 晃輔 Kosuke Yabumoto 略歴 Self Introduction
 Tech 株式会社ジオロジック CTO
 Hobby 登山
 ピアノ
 日本酒
 家庭菜園
 Position Data Engineering
 Backend (Scala, Java)
 Infrastructure (AWS)
 Books サークル：エンジニア登山部

3. 3 Copyright © GeoLogic, Inc. All Rights Reserved. 低コスト、かつかんたん・シンプルな設定で、店舗周辺に 「今いる人」「住んでいる人」「過去に訪問した人」 のスマート フォンへ、チラシ配りの感覚で 広告配信ができるサービスです。 GeoLogic Adとは？ 広告 広告 広告 広告 広告 広告 広告 広告 STEP１ STEP２ STEP３ 商圏・ターゲットを設定 広告を配信 クリックして御社サイトへ ここで課金 Your Shop 過去に訪問した人にも 近くに住んでいる人にも 今、近くにいる人にも • サービスイメージ • かんたん・シンプルな３ステップ GeoLogic Ad

4. 4 Copyright © GeoLogic, Inc. All Rights Reserved. 御社のデータ、ちゃんと使えていますか？ 問題

5. 5 Copyright © GeoLogic, Inc. All Rights Reserved. - とりあえずデータがあるけど、どう使ったらよいかわからない - データカタログが整備できていない - データストラテジスト/エバンジェリストがいない - データを扱うシステムの目的が不明瞭 - 必要なデータにアクセスができない / 見えちゃいけなそうなデータが見えてしまう - データガバナンスが効いていない - データを扱うシステムの目的が不明瞭 - データはあるけど品質が悪くて使えない - ゴミデータが多い - 頻度が不適切 - データへの期待値が高すぎた - データの扱い方が想定できていない - データを扱うシステムの目的が不明瞭 データがちゃんと使えない理由

6. 6 Copyright © GeoLogic, Inc. All Rights Reserved. - とりあえずデータがあるけど、どう使ったらよいかわからない - データカタログが整備できていない　→ Unity Catalog - データストラテジスト/エバンジェリストがいない - データを扱うシステムの目的が不明瞭 - 必要なデータにアクセスができない / 見えちゃいけなそうなデータが見えてしまう - データガバナンスが効いていない　→ Unity Catalog / Data Lineage / Masking - データを扱うシステムの目的が不明瞭 - データはあるけど品質が悪くて使えない - ゴミデータが多い　→ Unity Catalog / Data Cleansing - 頻度が不適切　→ Delta Live Table - データへの期待値が高すぎた - データの扱い方が想定できていない - データを扱うシステムの目的が不明瞭 ある程度はテクノロジーで解決可能

7. 7 Copyright © GeoLogic, Inc. All Rights Reserved. - とりあえずデータがあるけど、どう使ったらよいかわからない - データカタログが整備できていない - データストラテジスト/エバンジェリストがいない - データを扱うシステムの目的が不明瞭 - 必要なデータにアクセスができない / 見えちゃいけなそうなデータが見えてしまう - データガバナンスが効いていない - データを扱うシステムの目的が不明瞭 - データはあるけど品質が悪くて使えない - ゴミデータが多い - 頻度が不適切 - データへの期待値が高すぎた - データの扱い方が想定できていない - データを扱うシステムの目的が不明瞭 しかし目的が不足すると全てが壊れる

8. 8 Copyright © GeoLogic, Inc. All Rights Reserved. すべてに共通していえることは、データの利用目的を明確にすること。 そうだ、要件分析をしよう

9. 9 Copyright © GeoLogic, Inc. All Rights Reserved. - 可視化方法、運用方法まである程度のイメージがある - 分析できそうなデータはあるが、まだ分析方法、運用方法が定まっていない - やりたいことは決まっているが、まだデータが揃っていない - データを上手く使って経営/営業/・・を改善したい - データビジネスをうまくやって儲けたい 現実 見込 期待 データへの期待値

10. 10 Copyright © GeoLogic, Inc. All Rights Reserved. - 可視化方法、運用方法まである程度のイメージがある - データとユースケースが定義できる - 分析できそうなデータはあるが、まだ分析方法、運用方法が定まっていない - データのみ定義できる - データを上手く使って経営/営業/・・を改善したい - データビジネスをうまくやって儲けたい - データもユースケースも定義できない 現実 見込 期待 データへの期待と現実

11. 11 Copyright © GeoLogic, Inc. All Rights Reserved. - 可視化方法、運用方法まである程度のイメージがある - データとユースケースが定義できる - 分析できそうなデータはあるが、まだ分析方法、運用方法が定まっていない - データのみ定義できる - データを上手く使って経営/営業/・・を改善したい - データビジネスをうまくやって儲けたい - データもユースケースも定義できない 現実 見込 期待 データ分析基盤の要件分析 一般的な要件分析 データへの期待と現実

12. 12 Copyright © GeoLogic, Inc. All Rights Reserved. - 要件分析の手法は非常に多様であり、どれが正解と言うつもりはない - 今回は最低限これくらいは作ったほうが良いだろう（と私が思う）３つの図について紹介 要件分析に着手

13. 13 Copyright © GeoLogic, Inc. All Rights Reserved. - 登場人物（人/内部システム/外部システム） - データ - 目的 目的 - 要件分析をすすめる上でのベースを作る - なんのために分析基盤を作るか決める - やらないことが決まる - 誰/何と調整/考慮をするかを決める システムコンテキスト図

14. 14 Copyright © GeoLogic, Inc. All Rights Reserved. - 誰が - どんなデータを - どんな目的で利用するか 目的 - データ分析基盤の使われ方を表現 - どのようにデータ分析基盤が使われるかを明確にする - 運用とともに変化する - 変化が多いほうが正しく運用されているといえる ビジネスコンテキスト図

15. 15 Copyright © GeoLogic, Inc. All Rights Reserved. - 誰が（ロール/アクター） - どんなデータに - どのようにアクセスできるか 目的 - データ分析基盤そのものを表す - 新しいデータ種別を扱う際に更新する - ビジネスコンテキスト図と比べて 更新頻度は低くなるはず - ロールという概念を早期に、明確に定義しておくことで権限設定の指針となる - 見てはいけないデータへのアクセスが発生する時に分離 - クライアントが、自分の広告配信結果はみたいが、 全ての広告配信結果を見てはいけない - ロールとデータの間にツールが存在する - データソースとデータの間にデータパイプラインが必要になる データコンテキスト/ガバナンス図

16. 16 Copyright © GeoLogic, Inc. All Rights Reserved. コンテキストモデル データガバナンス図 ビジネスコンテキスト図 ユースケース データ • ３つの図は接続可能であり、相互にチェック可能 • データガバナンス図、ビジネスコンテキスト図に、 システムコンテキスト図にあるアクター /システム/データが 全て登場しているか • ビジネスコンテキスト図での使われ方は、 システムコンテキスト図の目的に合致しているか • データガバナンス図は、 ビジネスコンテキスト図のユースケースを網羅できるか • ビジネスコンテキスト図でのユースケースは、 データガバナンス図に照らし合わせると実現可能か こういったことをシステマチックにチェックしながら 要件分析の精度を上げていく ３つの図を重ねてチェックする
 目的
17. 17 Copyright © GeoLogic, Inc. All Rights Reserved. • まず、システムコンテキスト図に登場する人たちとしっかり認識を合わせる ◦ これが期待値コントロールになる • これらの図は非常に抽象度が高いので、順番に具体化し、開発を進めていく ◦ 具体的なユースケース ▪ 売上ダッシュボード→アタックリスト管理/受注ステータスリスト管理 /・・・ ◦ 具体的なデータ ▪ 広告配信結果→配信ログ/クリックログ/集計済みレポート/・・・ ３つの図ができた後

18. 18 Copyright © GeoLogic, Inc. All Rights Reserved. • 営業/運用メンバー含め、Redashの活用がかなり進んだ • 要件の認識合わせをしたことで、無茶な質問が減った ◦ 営業現場や運用現場で、できることができないことがある程度推測できるようになった ◦ エンジニアまで到達するときは、現実的な要求や質問が来るようになった • データチームが健全に仕事できる 弊社における要件分析の効果

19. 19 Copyright © GeoLogic, Inc. All Rights Reserved. • 既存のシステムから、これらの図をリバース作成 ◦ そして関係者と認識合わせ ◦ 矛盾が出てくることが結構ある • 矛盾 ◦ ガバナンスが十分に考慮されていない ◦ 目的に合致しない使い方がされている ◦ 関係者の期待値とあっていない ◦ などなど... • これらに一つ一つ取り組んでいくことで、データの活用が進み始める ◦ 関係者との認識合わせ ◦ データ分析基盤の改修 既にシステムが出来上がっている場合はどうするか

20. 20 Copyright © GeoLogic, Inc. All Rights Reserved. • 見込みまでを対象に要件分析する • データとユースケース、それぞれを軸に要件分析をすすめるとよさそう • システムコンテキスト図、ビジネスコンテキスト図、データコンテキスト /ガバナンス図を作り、 照らし合わせることによって、矛盾なく要件を分析できる • 非エンジニアでも十分に理解できる形で、関係者と認識を合わせる • その結果、データ利活用が促進される データ分析基盤も要件分析が必要

21. 21 Copyright © GeoLogic, Inc. All Rights Reserved. ご清聴ありがとうございました
22. 22 Copyright © GeoLogic, Inc. All Rights Reserved. APPENDIX: RDRA
 https://qiita.com/tatane616/items/f7f4e5ad818fe8b125d6 今回の要件分析手法は RDRA（Relationship Driven Requirement Analysis）に強く影響を受けています。 - システムがもたらす価値からユースケースを経てシステム内部に向けて要件分析を進めていく - 複数のモデルを使い、モデル動詞の関連性を保ちながら要件分析を進めていく - 現在はRDRA 2.0 GeoLogicでも、最初は管理画面プロジェクト（通 常のWebアプリケーション）から導入。 その後データ分析基盤の構築にも流用した。 もちろん、今回の説明も RDRAに準拠している わけではなく、もっと有効なモデルや考え方が詰 まっているので、ぜひ参考にしてみてください。 RDRA2.0 ハンドブック: 軽く柔軟で精度の高い 要件定義のモデリング手法