全社横断データ活用推進のコツとその負債とのつき合い方

by 阿部昌利

Slide 1

Slide 1 text

Yappli Tech Conference 2024.10.17 全社横断データ活⽤推進のコツとその負債とのつき合い⽅

Slide 2

Slide 2 text

Speaker 開発統括本部プロダクト開発本部データサイエンス室室⻑阿部昌利 ● 2020年4⽉にヤプリに⼊社 ● 社会⼈当初からデータサイエンティストとしてキャリアを積む。データ活⽤キャリア14年⽬

Slide 3

Slide 3 text

今⽇のゴール ● みなさまが別部⾨の⽅にデータ活⽤を持ちかけたくなる ● その先のデータ活⽤の負債を引き受けたくなる

Slide 4

Slide 4 text

全社横断的なデータ活⽤の例

Slide 5

Slide 5 text

アプリログ Cloud Run, DataFlow, Pub/Sub 社員顧客業務の賜物データ転送データマート作成社内向け / 社外向け問わず共通のデータ基盤

Slide 6

Slide 6 text

アプリログ Cloud Run, DataFlow, Pub/Sub 社員顧客業務の賜物データ転送データマート作成分析⽤データは BigQueryに集約社内向け / 社外向け問わず共通のデータ基盤

Slide 7

Slide 7 text

アプリログ Cloud Run, DataFlow, Pub/Sub 社員顧客業務の賜物データ転送データマート作成データ転送 120 データマート：170 ワークフロー：55 社内向け / 社外向け問わず共通のデータ基盤

Slide 8

Slide 8 text

DS室現在4名。2020年4⽉からの毎年の⼈数推移は、 [1名 → 1名 → 1名 → 3名 → 4名]

Slide 9

Slide 9 text

DS室

Slide 10

Slide 10 text

マーケ‧セールスKPI可視化 01_全社横断的なデータ活⽤の例 1 ● データ元：Salesforce レポート。成果物：Lookerダッシュボード ● 作成期間：1ヶ⽉。使⽤年数：2021年1⽉〜 ● ⽬的：リード獲得から商談進捗、受注、計上までを⼀気通貫で計測したい ● ポイント ○ ⾃社のSalesforceの使い⽅とデータ構造のキャッチアップ ○ ビジネスロジックはナマモノなので、変化に対応しやすいつくりにする

Slide 11

Slide 11 text

DS室

Slide 12

Slide 12 text

01_全社横断的なデータ活⽤の例広告効果レポート⾃動化 2 ● データ元：AppsFlyer、Apple Search Ads。成果物：Googleスプレッドシート ● 作成期間：都度1~2⽇。使⽤年数：2022年12⽉〜 ● ⽬的：広告運⽤代⾏サービスのレポーティング⾃動化による⼯数削減 ● ポイント ○ データ取得上のAPI制限に引っかかりやすいので、契約や仕様を確認する ○ 売上拡⼤に貢献しやすいので、提案⽤に別途分析する

Slide 13

Slide 13 text

DS室

Slide 14

Slide 14 text

01_全社横断的なデータ活⽤の例オフィス出社⽇数レポーティング 3 ● データ元：Googleドライブ[csvファイル]。成果物：Googleスプレッドシート ● 作成期間：5⽇。使⽤年数：2024年2⽉〜 ● ⽬的：⽉初に受領する従業員の⼊退館ログの集計⾃動化 ● ポイント ○ センシティブなデータなので権限管理を厳密にする ○ 更新が⽉初の第1営業⽇と、カレンダー上は不規則なので、⼈事担当が TROCCOを⼿動更新する形で運⽤中（ボタンを押すだけなので簡単！）

Slide 15

Slide 15 text

DS室

Slide 16

Slide 16 text

01_全社横断的なデータ活⽤の例新プロダクトのデータ提供 4 ● データ元：MySQL。成果物：Looker Studio ● 作成期間：1ヶ⽉。使⽤年数：2023年9⽉〜 ● ⽬的：新プロダクト「Yappli CRM」のアナリティクス提供 ● ポイント ○ サービス⽤のデータベースもTROCCOで簡単に連携 ○ カスタマーサクセス担当と⼀緒に作成して、まずは社員が利⽤してブラッシュアップ。それから顧客へ展開

Slide 17

Slide 17 text

データ活⽤推進にあたって意識していること

Slide 18

Slide 18 text

⼩規模なデータ活⽤の基本的な流れ 02_データ活⽤推進にあたって意識していること要件を叶えるためのデータを集める Point 最終的にデータ更新する場合に、無理なく運⽤できるように⾒据えておくデータ取得分析‧アウトプット試作アウトプット確定‧作成ワークフロー化試作したアウトプットを叩き台に⽤途や施策を議論 Point 実データを⾒ながらでないと、⼈はイメージを持つのが難しいダッシュボードやアラートシステムなど、データ活⽤に必要な成果物を作成する Point アクションに直結する最⼩限のデータにする定期的にデータを更新するワークフローを作成する Point 総じて「あれもこれも」となりやすいが、⼀番肝となるデータからクイックに始める

Slide 19

Slide 19 text

⼩規模なデータ活⽤の基本的な流れ 02_データ活⽤推進にあたって意識していること要件を叶えるためのデータを集める Point 最終的にデータ更新する場合に、無理なく運⽤できるように⾒据えておく試作したアウトプットを叩き台に⽤途や施策を議論 Point 実データを⾒ながらでないと、⼈はイメージを持つのが難しいダッシュボードやアラートシステムなど、データ活⽤に必要な成果物を作成する Point アクションに直結する最⼩限のデータにする定期的にデータを更新するワークフローを作成する Point 総じて「あれもこれも」となりやすいが、⼀番肝となるデータからクイックに始めるアナリティクスエンジニアリングエンジニアリングデータ取得分析‧アウトプット試作アウトプット確定‧作成ワークフロー化

Slide 20

Slide 20 text

ETLツールと分担 02_データ活⽤推進にあたって意識していること得意得意得意データ取得分析‧アウトプット試作アウトプット確定‧作成ワークフロー化データ元によって取得の条件が異なり、学習コストが高い安定的に動き、メンテナンスしやすい仕組みは開発コストが高いデータ活用  メンバー        ETLツール 

Slide 21

Slide 21 text

データ活⽤は試⾏錯誤が重要。コストの⾼い部分をETLツールに任せて、データ活⽤を爆速化する 02_データ活⽤推進にあたって意識していること

Slide 22

Slide 22 text

データ収集ワークフロー化顧客顧客アウトプット社内ニーズヒアリング相談 1. エンジニアリングツールの⼒で⼯数を削減しやすい 3. エンジニアリングツールの⼒で⼯数を削減しやすい 2. アナリティクスエンジニアリング部分を省⼒化できていれば、このパートに注⼒してサイクルを重ねやすい。そのためのTipsを次ページから紹介しますデータ組織の⼈数‧予算拡⼤。更なるデータ活⽤サイクルが回るに連れて、社内の⾵向きがだんだん変わる

Slide 23

Slide 23 text

全社に対してデータを発信する場所をつくる Tips 1 02_データ活⽤推進にあたって意識していること

Slide 24

Slide 24 text

Tips 1. データの発信場所をつくる 02_データ活⽤推進にあたって意識していること例）Slackチャンネルでニュースを発信例）締め会で発表枠をもらう「あいつらにデータを渡せば何かやってくれそう」のポジションを確⽴する

Slide 25

Slide 25 text

⾃分が意思決定者のつもりで、成果物を作成する Tips 2 02_データ活⽤推進にあたって意識していること

Slide 26

Slide 26 text

Tips 2. 意思決定できるデータ活⽤をする 02_データ活⽤推進にあたって意識していること基本的に、ネクストアクションとセットにして成果物を渡す。そうすると、現場で役⽴つデータ活⽤を積み上げられる。相談があった場合も「⾔われたまま出す」は⼤体NG。まずヒアリングするメンションするネクストアクションのためのリンクを貼る

Slide 27

Slide 27 text

マネタイズに結びつくデータ活⽤を実現する or 計画を描く ※間接的でも成果として認められればOK Tips 3 02_データ活⽤推進にあたって意識していること

Slide 28

Slide 28 text

アプリログ Cloud Run, DataFlow, Pub/Sub 社員顧客業務の賜物社内外向けのデータアウトプットにTROCCOを活⽤

Slide 29

Slide 29 text

無償有償 CMS ダッシュボード Yappli 管理画⾯のトップに表⽰されるダッシュボード Yappli Analytics アプリログを網羅した分析や、機能別に特化した分析が可能なダッシュボード。CRM版もあり Yappli Data Hub アプリ内の⾏動データや属性データをユーザ単位で分析するためのデータ連携や、カスタムダッシュボードのサービス内製のデータ送信機構 & 内製顧客向けのログ分析サービスを開発‧運⽤プロフィットセンターとしての価値を⽰すと活動しやすくなる

Slide 30

Slide 30 text

データ活⽤推進にまつわる負債

Slide 31

Slide 31 text

データ負債は⼤きく2種類あると考えています 03_データ活⽤推進にまつわる負債

Slide 32

Slide 32 text

データ基盤⾃体の技術的負債 1 ● データのワークフローや技術選定における負債例）テーブルにパーティションやクラスターを設定しておらず、不要なコストがかかっている例）集計結果をインサートできるテーブルを洗い替えで更新しており、コストが増え続けている例）本来マスタで対応すべき箇所を、ハードコーディングしてDRY原則に反しているデータ基盤に罪はないが、データ基盤で対応が求められる負債 2 03_データ活⽤推進にまつわる負債 ● 当時リーズナブルな⽅針でデータ活⽤を実施したが、現在は負債になってしまったものたち。負債と対応例は次ページ以降 ● この負債への対応の仕⽅に正解はない ● データ活⽤組織のつらみや嬉しみに直結しやすい ● ⼀⽅、データ活⽤組織の社内のおけるプレゼンスにも影響する

Slide 33

Slide 33 text

データ基盤⾃体の技術的負債 1 ● データのワークフローや技術選定における負債例）テーブルにパーティションやクラスターを設定しておらず、不要なコストがかかっている例）集計結果をインサートできるテーブルを洗い替えで更新しており、コストが増え続けている例）本来マスタで対応すべき箇所を、ハードコーディングしてDRY原則に反しているデータ基盤に罪はないが、データ基盤で対応が求められる負債 2 ● 当時リーズナブルな⽅針でデータ活⽤を実施したが、現在は負債になってしまったものたち。負債と対応例は次ページ以降 ● この負債への対応の仕⽅に正解はない ● データ活⽤組織のつらみや嬉しみに直結しやすい ● ⼀⽅、データ活⽤組織の社内のおけるプレゼンスにも影響する 03_データ活⽤推進にまつわる負債全社的にデータ活⽤を推進するほど貯まりやすい

Slide 34

Slide 34 text

データ基盤に集まる負債例 03_データ活⽤推進にまつわる負債＜過去の意思決定に起因＞お⾦で解決してデータを取得していたが、会社の経済状況が悪化したので、内製にしたい

Slide 35

Slide 35 text

データ基盤に集まる負債例 03_データ活⽤推進にまつわる負債＜過去の意思決定に起因＞お⾦で解決してデータを取得していたが、会社の経済状況が悪化したので、内製にしたいトラッキングの基盤をGA（UA）から内製基盤へ

Slide 36

Slide 36 text

データ基盤に集まる負債例 03_データ活⽤推進にまつわる負債＜過去の意思決定に起因＞お⾦で解決してデータを取得していたが、会社の経済状況が悪化したので、内製にしたい＜連携システムに起因＞関係システムの運⽤⽅法がデータ活⽤に適しておらず、必要なデータを得るために、複雑な⼯程が必要になってしまった

Slide 37

Slide 37 text

データ基盤に集まる負債例 03_データ活⽤推進にまつわる負債＜過去の意思決定に起因＞お⾦で解決してデータを取得していたが、会社の経済状況が悪化したので、内製にしたい＜連携システムに起因＞関係システムの運⽤⽅法がデータ活⽤に適しておらず、必要なデータを得るために、複雑な⼯程が必要になってしまった BIツールのワークフローを刷新。 Salesforceのデータ転送部分から⼿術

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

データ基盤に集まる負債例 03_データ活⽤推進にまつわる負債＜過去の意思決定に起因＞お⾦で解決してデータを取得していたが、会社の経済状況が悪化したので、内製にしたい＜連携システムに起因＞関係システムの運⽤⽅法がデータ活⽤に適しておらず、必要なデータを得るために、複雑な⼯程が必要になってしまった＜会社の⼒学に起因＞ビジネスメンバーの意向が強く、拙速な拡張を繰り返した結果、膨⼤な前処理が必要になってしまった＜期待値の乖離に起因＞本来的に⼀致し得ないデータなのに、⼀致するものとして公開されてしまっていた

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

ただこれらの負債はチャンスでもあった 03_データ活⽤推進にまつわる負債

Slide 44

Slide 44 text

データ活⽤推進に起因する負債との付き合い⽅

Slide 45

Slide 45 text

負債がチャンスになる例 04_データ活⽤推進に起因する負債との付き合い⽅ ● 経済的リソースや⼈的リソースに関わる負債 ● ワークフローの処理の複雑さに関わる負債 ● 数字の正確性や更新性、⼀覧性に関わる負債負債の種類得られるメリット ● → 〜円コスト削減しました ● 〜⼈⽇削減しました ● → 計算速度が爆速になりました ● 変更対応が⼀瞬で出来ます ● → 信じられる数字をいつでも⼀箇所で ● ⾒られるようになりました

Slide 46

Slide 46 text

Slide 47

Slide 47 text

基盤起因ではないのに、データ基盤で対応が必要な負債ニーズが実証されているデータ活⽤ 04_データ活⽤推進に起因する負債との付き合い⽅ ≒

Slide 48

Slide 48 text

負債まで育ったデータ基盤の瑕疵は解決したもん勝ち (⽬の前の⼈からありがとうをもらえる、職務経歴書にビジネス貢献度合いを書けるようになる、ビジネスや会社への思いやりがあるキャラになれる、偉い⼈の覚えがよくなる、などなど) 04_データ活⽤推進に起因する負債との付き合い⽅

Slide 49

Slide 49 text

集まってきた負債と付き合うコツ 04_データ活⽤推進に起因する負債との付き合い⽅ ※あくまでも個⼈の体験に基づきます。組織の状況や⼈によって、参考になる/ならないが、かなり分かれると考えます ● 負債に優先順位をつける ○ 私が優先度を⾼くする負債 ■ ⼼が削られる負債や、時間が奪われる負債 ■ ビジネスインパクトが⼤きい負債 ■ 経営陣に関わる負債 ● 負債をさらに⼤きくする ○ 可能ならばできるだけあとで解決する。時間が経った⽅が、より良いソリューションが⼿に⼊っていたり、途中でニーズとともに負債が消滅したりするため。場合によってはリーズナブルな⽌⾎対応だけする ● 負債をみんなで解決する⽬標として捉える ○ データ負債は誰かを憎みがち。が、基本的には誰も悪くない。過去の⼈たちが頑張った結果、たまたま今の状況になっているだけ。だから⼀緒に解決しましょうと持ちかける

Slide 50

Slide 50 text

負債になるまでデータ活⽤を進めて、喜んで解決していきましょう！