データ活用で事業貢献するためのデータマネジメント立ち上げ

DS/ML職のみなさんは日々、統計・機械学習などを活用して事業貢献に取り組んでいるかと思います。しかしデータ活用をしていて「データの品質が高くなく前処理に時間がかかる」「データの定義書を見てもわからない」といったことで本来やるべき専門的なことに注力できないということはないでしょうか？DS職の立場からこのような環境を変えるためにデータマネジメントチームを立ち上げて、データマネジメントの成熟度を定量評価するためにDMBOKを参考にオリジナルの成熟度評価を作成して、データマネジメントの現状を理解できるようにしました。立ち上げるためにどんなことをやったのか？どのような成熟度評価をなぜ作成したのか？についてお話します。

Transcript

1. データ活用で事業貢献するための データマネジメント立ち上げ 鈴木 元也 CA DATA NIGHT #2 2023/12/07
2. 自己紹介 鈴木 元也（すずき もとや） • 社歴：2017年01月中途入社 • 所属：メディア統括本部 > Data Science Center（DSC） • 担当サービス：主にAmebaLIFE • 業務概要： ◦ 事業のデータ戦略を検討 ◦ 横軸組織のマネジメント ◦ データ分析、データエンジニアリング • @__9en__
3. 突然ですが みなさんのサービスでは データ活用が事業貢献に繋がっていますか？
4. なぜデータ活用が 事業貢献に繋がっていると言えないか 考えたことはありますか？
5. データ職の立場で データ活用で事業貢献をするために 考えて実践していることをご紹介します
6. 本日はなしたいこと 1.サービス状態で求められるデータ活用 2.成熟したサービスでのデータ活用の課題 3.データマネジメントチームの立ち上げ 4.これからのデータ職に求められること
7. 1.サービス状態で求められるデータ活用
8. プロダクトライフサイクルとは 売上 時間 導入期 成長期 成熟期 衰退期 製品が市場に投入されてから、寿命を終え衰退するまでのサイクルを体系づけたもの
9. プロダクトライフサイクルで求められるデータ活用 導入期 成長期 成熟期~衰退期 データの種類,量 △ 〇 〇 企業の数 △ △ 〇 リソース(ヒトモノカネ) △ 〇 △ データ活用状況 ・事業指標など最低限の指標 ・集計ベースでデータを可視化 ・施策や開発に利用 ・機械学習など高度な技術 ・施策や開発に利用 ・機械学習など高度な技術 ※筆者の肌感です
10. 伝えたいこと データ職の人がよく求める 良い環境で働きたいというのは 投資サービス または 成長期のサービス が多い でも、世の中そんなサービスは多くない 一歩間違えると 良い環境じゃないと成果が出せない人になりうる 限られたリソースでも成果を出せる人になることは重要
11. 2.成熟したサービスでのデータ活用の課題
12. 多くの企業が該当する「成熟期～衰退期」 導入期 成長期 成熟期~衰退期 データの種類,量 △ 〇 〇 企業の数 △ △ 〇 リソース(ヒトモノカネ) △ 〇 △ データ活用状況 ・事業指標など最低限の指標 ・集計ベースでデータを可視化 ・施策や開発に利用 ・機械学習など高度な技術 ・施策や開発に利用 ・機械学習など高度な技術 ※筆者の肌感です
13. 成熟サービスにあたるAmebaブログで課題と取り組み • サービス：日本最大級のブログメディア • サービス開始：2004年9月15日（19周年） • 合計ブログ数：25憶 • 月間利用者数(延べ)：7,500万人 • 芸能人・有名人ブログ：2万人 • 月間PV：50憶 • 月間ブログ投稿数：550万 ※参照元：https://about.ameba.jp/business/
14. データ活用での主なステークホルダ 事業責任者 データ職(MLDS) ビジネス職 エンジニア職
15. ステークホルダのデータ活用に関する課題 事業責任者 ビジネス職 エンジニア職 どのように事業貢献に繋がっているか分からない シンプルな指標のはずなのにSQLが複雑 データ更新が遅延してサービス影響がある 何度もログの実装依頼が来るのでログを全て出し たい(自身の成果にもならないし) 誰が使っているかわからないからログが消せない データ抽出やログの調査依頼が多い 集計レベルの依頼が多く専門的なことができない データの品質が低く前処理に時間がかかる データの定義書を見ても分からない すぐにデータを使った調査ができない 正しいデータの見方が分からない 頻繁に数値がおかしくなるので信用できない データ抽出する人によって値がバラバラ 活用 蓄積 活用 蓄積 蓄積 戦略 データ職(MLDS)
16. 課題をまとめると 活用 蓄積 戦略 どのように事業貢献に繋がっているか分からない 簡単なデータ抽出や集計ができる人が足りていない データの品質など管理をする人が足りていない
17. 現在3つの観点で取り組んでいます 活用 蓄積 戦略 データ戦略を作成する 課題：どのように事業貢献に繋がっているか分からない ビジネス職のデータスキル育成 課題：簡単なデータ抽出や集計ができる人が足りていない データマネジメントチームの立ち上げ 課題：データの品質など管理をする人が足りていない
18. 本日は「蓄積」に関しての取り組みをご紹介します 活用 蓄積 戦略 データ戦略を作成する 課題：どのように事業貢献に繋がっているか分からない ビジネス職のデータスキル育成 課題：簡単なデータ抽出や集計ができる人が足りていない データマネジメントチームの立ち上げ 課題：データの品質など管理をする人が足りていない 割愛 割愛 https://speakerdeck.com/cyberagentdevelopers/det ahuo-yong-gashi-ye-gong-xian-siteirukotowoshi-sut amenoqu-rizu-mi
19. 3.データマネジメントチームの立ち上げ
20. チーム立ち上げのためにやったこと step1: 事業責任者に問題意識を理解してもらう step2: リクルーティングしてチームを立ち上げる step3: データマネジメント成熟度を作成して評価する
21. 3.データマネジメントチームの立ち上げ step1: 事業責任者に問題意識を理解してもらう
22. 成熟したサービスでは簡単に増員できない 事業責任者 データ職(MLDS) データ活用するためには データマネジメントが必要です。 データマネジメント人材を増やしたいです。
23. 成熟したサービスでは簡単に増員できない 事業責任者 データ職(MLDS) データ活用するためには データマネジメントが必要です。 データマネジメント人材を増やしたいです。 そうだよね、分かった。 データマネジメント人材を増やそう！
24. 成熟したサービスでは簡単に増員できない 事業責任者 データ職(MLDS) データ活用するためには データマネジメントが必要です。 データマネジメント人材を増やしたいです。 そうだよね、分かった。 データマネジメント人材を増やそう！ ✕ データマネジメントを強化することで、 事業インパクトをどれだけ出せるの？ いまもデータ活用できてるけど、データマネ ジメントやることで何が変わるの？ 現状のコストを〇円下げることができます！ 売上には、、、 でもデータ活用にはいろいろ役立って、、、 とはかなかなならないです
25. 成熟したサービスでは簡単に増員できない 事業責任者 データ職(MLDS) データ活用するためには データマネジメントが必要です。 データマネジメント人材を増やしたいです。 そうだよね、分かった。 データマネジメント人材を増やそう！ ✕ データマネジメントを強化することで、 事業インパクトをどれだけ出せるの？ いまもデータ活用できてるけど、データマネ ジメントやることで何が変わるの？ 現状のコストを〇円下げることができます！ 売上には、、、 でもデータ活用にはいろいろ役立って、、、 成熟したサービスではコスト削減をすることは当たり前 コスト削減のために人員を増やしたいと言うのはメリットが分からない コスト以外の主張は理解されにくい なぜ理解されにくいのか？
26. なぜ主張が理解されにくいのか？ 事業責任者 データ職(MLDS) データマネジメントを強化することで、 事業インパクトをどれだけ出せるの？ いまもデータ活用できてるけど、データマネ ジメントやることで何が変わるの？ 現状のコストを〇円下げることができます！ 売上には、、、 でもデータ活用にはいろいろ役立って、、、 単純になぜデータマネジメントが 必要なのかが分からないから聞い ているだけなのに説明してくれな い。 事業インパクトに直結すること じゃないしそんな説明は無理。 データマネジメントで変わること を説明してもどうせ伝わらない。
27. なぜ主張が理解されにくいのか？ 事業責任者 データ職(MLDS) データマネジメントを強化することで、 事業インパクトをどれだけ出せるの？ いまもデータ活用できてるけど、データマネ ジメントやることで何が変わるの？ 現状のコストを〇円下げることができます！ 売上には、、、 でもデータ活用にはいろいろ役立って、、、 詰めている気持ちはない 単純になぜデータマネジメントが 必要なのかが分からないから聞い ているだけ 事業インパクトに直結すること じゃないしそんな説明無理 データマネジメントで変わること を説明してもどうせ分からない データ職が説明することを 事業責任者が理解することを あきらめている
28. あきらめず説明しました 【分析するまでの無駄の説明】 1. 定義書が存在するか確認 2. 定義書通りにログがはかれているかを確認 3. ログを扱ったことある人を探して詳細について確認 4. 自分のIDで特定の行動を行い、自分のIDをログから 探し出して、意図通りに吐かれているかを確認 5. ログを実装した人を探し出して、ログの仕様を聞い たり改修依頼と改修後の確認をする 6. おかしなログを除外した上で分析を再設計 【サービス内に協力者を作る】 - 過去一緒に仕事した人を説得する - 同じような問題意識を感じている人を探す 【事業指標の信頼性を伝える】 - 大量のボットが混ざっていることを伝える - データがバグっていたり障害が発生しても気づけない 【データが簡単に扱えない】 - ログ自体が大規模なためシステム負荷がかかってしまう ため長期間のデータ扱えない - サービスやシステム改修が積み重なって複雑な条件や暗 黙のルールを知らないとデータを扱えない - データを格納している場所が分散しているので、複数の 指標を1つのレポートで見れない。または人力でコピペし て実現しているためミスが発生する
29. その結果 事業責任者 データ職(MLDS) Amebaのデータに関するいまの状況は～ それによってデータ活用にとってこんないい ことがあるんですよ～ データ活用でこんな事業貢献ができるんです よ～ そんな状況だったのか！ 事業インパクトとかいう以前の話だね。 データマネジメント人材を増やそう！ ※Amebaブログでは以下前提があり、前提なしではおそらくうまくいかないケースの方が多いと思います - 事業責任者の方が既にデータ活用に前向きで協力的だった - データ職以外の職種の方も既にデータ活用に前向きで協力的だった - 事業責任者との信頼関係が既に構築できていた
30. 3.データマネジメントチームの立ち上げ step2: リクルーティングしてチームを立ち上げる
31. Amebaのデータマネジメントの状況 • いろいろあって、データマネジメント担当者がほぼ0人 • 歴史あるサービスなので、データフローとログ設計が複雑 • 横軸組織とのつながりが強くステークホルダがとにかく多い • システムと担当者と責務が明確ではない よくわかんなくてなんか怖い 関わらないでおこう
32. ということでまず社内の認識を変えてもらう 社内向けに説明会を実施 ざっくりはなしたこと - データマネジメントってこんなことやるんだよ～ - DMBOKっという体系的にまとまった知識があるんだよ～ - データマネジメント市場の状況はこんな感じだよ～ - データマネジメントが弱いとこんな悪い未来になるよ～ - Amebaは今こんな状況だよ～ - こんな人材を求めているよ～ - こんなチームを作りたいよ～
33. もちろん外部からの獲得も進める 中途採用を開始 工夫したこと - データエンジニア、データマネジメント職種で募集しても、 そもそもこの職種の認知が低いので応募が少ない - 自分の採用担当領域がML/DSも担っていたので、幅広い範 囲で面接を行っていた - 応募が来るポジションと本人が望んでいるポジションと過去 の経験は結構バラバラなことが多いので、素養がありそうな 人を見つけて面接で確認する
34. その結果 • 専任：3人（社内異動2名 ＋ 中途採用1名） • 協力者：7名 • 推進者：鈴木　→　加藤 • 対象サービス：Amebaブログ　→　追加でAmebaマンガ、ピグパーティなど
35. 3.データマネジメントチームの立ち上げ step3: データマネジメント成熟度を作成して評価する
36. なぜ成熟度評価をしたいのか？ 事業責任者 データ職(MLDS) Amebaのデータに関するいまの状況は～ それによってデータ活用にとってこんないい ことがあるんですよ～ データ活用でこんな事業貢献ができるんです よ～ そんな状況だったのか！ 事業インパクトとかいう以前の話だね。 データマネジメント人材を増やそう！ 立ち上げ時 1年後 そういえばデータマネジメントやってるけど ほんとに意味あるんだっけ？ データをどういう状態に変えていく計画なん だっけ？
37. なぜ成熟度評価をしたいのか？ 事業責任者 データ職(MLDS) Amebaのデータに関するいまの状況は～ それによってデータ活用にとってこんないい ことがあるんですよ～ データ活用でこんな事業貢献ができるんです よ～ そんな状況だったのか！ 事業インパクトとかいう以前の話だね。 データマネジメント人材を増やそう！ 立ち上げ時 1年後 そういえばデータマネジメントやってるけど ほんとに意味あるんだっけ？ データをどういう状態に変えていく計画なん だっけ？ 正直やること自体は無限にある やることリストを出すだけでは なぜやるのか？ やった結果どういう状態になるのか？ が分からない （やることの価値が伝えられない） データマネジメント成熟度評価で計画と状態を伝える
38. データマネジメント成熟度とは DAMA-DMBOKの「データマネジメント成熟度アセスメント」での定義 組織内で実施されているデータ関連業務に対してランク付けする方法。 データマネジメントの現状とそれが組織に与える影響を明らかにする。
39. CA横軸組織の成熟度評価 レベル1: 実行された レベル2: 管理された レベル3: 定義された レベル4: 測定された レベル5: 最適化している 成熟度評価の課題 DAMA-DMBOKの定義 レベル0：能力が欠如した状態 レベル1：初期/場当たり的な状態 レベル2：反復可能な状態 レベル3：定義された状態 レベル4：管理された状態 レベル5：最適化された状態 基準や説明が抽象的で評価するのが難しい 納得感をもって評価するために、既存のフレームワークを参考に具体化
40. 具体化するために定義したこと • 共通言語を定義する(DMBOK知識領域) • 評価粒度を定義する(データフロー) • 評価方法を定義する(DMBOK成熟度アセスメント) • 対象者を定義する(データロール) • 背景やスコープを定義する(Design Docs) ここに至るまでの試行錯誤(v9まであります)もお伝えしたいですが、 時間と資料作成する私の気力の関係で割愛します。
41. 共通言語を定義する(DMBOK知識領域) 参照データとマスタデータ データストレー ジとオペレー ション データウェアハ ウジングとBI データ モデリング データ統合と 相互運用性 データアーキテクチャー データガバナンス データ品質 データセキュリティ ドキュメントとコンテンツと メタデータ管理 ・みんなでDMBOKを勉強 ・DMBOKの知識領域について 「定義」と「成果物」の認識を すり合わせた ・知識領域毎の関係性を可視化 して認識をすり合わせた ※共通言語はメインで加藤が作成
42. 評価粒度を定義する(データフロー) 例えば知識領域の「データ品質」はDataLakeのDataWareHouseでやることが異なる データフローを定義して評価粒度を「知識領域 × データフロー」にすることで評価をしやすくした
43. 評価方法を定義する(DMBOK成熟度アセスメント) 成熟度を評価する観点として7つの観点を考えて成熟度レベルごとに定義（DMBOK成熟度アセスメントを参考） 7つの観点が全て満たされたら成熟度レベルに至ったと判断する
44. 対象者を定義する(データロール) データフローや知識領域によって「誰向けに」成熟度を上げるのかによって難易度が変わる 誰向けか明確にするために、対象者（データロール）を定義した ロール名称 ロールイメージ スキルセット 管理者 データに関わる運用全般を行う Amebaのデータマネジメントチームのメンバー 分析者 / 開発者 BigQueryのテーブル作成、Tableauの作成など行う データマートを適切に設計できる人 レポート作成者 BigQueryの実行とTableauの作成を行う Tableauを適切に作成できる人 データ抽出者 BigQueryの実行とTableauの閲覧を行う SQLを適切に実行できる人 レポート閲覧者 Tableauの閲覧を行う スキル不要
45. 背景やスコープを定義する(Design Docs) データフロー × 知識領域 ごとに背景やスコープなどを定義することで認識ズレを無くす Google Design Docs を参考に定義した • 前提 / Context • 背景・課題 / Context • 実現したいこと / Goals • 実現しないこと / Non-goals • どのようにやっていくか / Approach, Detailed design • 他の手段 / Alternative approach • 想定される問題 / Drawback, Risk • 関連リンク / Related link
46. 評価：データフロー × 知識領域（主にチーム内用途） データフロー × 知識領域ごとの成熟度レベルを評価する 主にデータマネジメントチーム内での活用用途で、このくらい細かくしないと議論できない
47. 評価：知識領域（主にチーム外用途） データフロー × 知識領域ごとの成熟度レベルを、知識領域ごとに平均する 主にチーム外や事業責任者への活用用途で、レーダーチャートで分かりやすく可視化する ※数値はサンプルです
48. 伝えたいこと 片手間でデータマネジメント業務を行うのには限界があります 事業責任者にデータマネジメントの必要性を説明して データマネジメントについて社内外の多くの人に理解と協力をしてもらい データマネジメントの現状と計画を分かりやすく伝えることで データマネジメントチームを立ち上げ推進することができます 知識も体系的にまとめっている領域なので 専門領域が違ったり経験がなくても主体的に建付けさえすれば データ職がより専門的なことに取り組みやすい環境を作れます
49. 4.これからのデータ職に求められること
50. これから求められること データ活用で事業成果を出して説明できること これまでは
51. これから求められること データ活用で事業成果を出して説明できること ＋ 自身の専門性で事業貢献するための環境を作れること これまでは さらに
52. 伝えたいこと データ抽出や簡単 な集計依頼しか来 ない サービスの依頼が ころころ変わって 対応できない ログやレポートの 問い合わせばかり で業務が進まない 締め切りが短すぎ て簡単な分析しか できない 高度な分析をした いがいまの環境で はできない データが汚いから 前処理に時間がか かってやりたいこ とができない 要件やログについ て聞いても連絡が 返ってこなくで分 析が進められない 人員を増やしてく れないからやりた いことができない いろいろな課題 データ抽出や簡単 な集計依頼しか来 ない サービスの依頼が ころころ変わって 対応できない いろいろな課題
53. 伝えたいこと データ抽出や簡単 な集計依頼しか来 ない サービスの依頼が ころころ変わって 対応できない ログやレポートの 問い合わせばかり で業務が進まない 締め切りが短すぎ て簡単な分析しか できない 高度な分析をした いがいまの環境で はできない データが汚いから 前処理に時間がか かってやりたいこ とができない 要件やログについ て聞いても連絡が 返ってこなくで分 析が進められない 人員を増やしてく れないからやりた いことができない いろいろな課題 データ抽出や簡単 な集計依頼しか来 ない サービスの依頼が ころころ変わって 対応できない いろいろな課題 データ抽出や簡単 な集計依頼しか来 ない サービスの依頼が ころころ変わって 対応できない データ抽出や簡単な 集計依頼しか来ない サービスの依頼がこ ろころ変わって対応 できない 実はどこも環境はそんなに変わらないのでは？ 周囲の人や組織、環境を言い訳にしている人は 環境を作り変えるためにできることを考えてみては？ そうじゃないと 冒頭で話した良い環境じゃないと成果が出せない人に、、、 自分で成果を出せる環境を作って事業貢献できる人って データ職としてめちゃくちゃ強いと思います
54. サイバーエージェントでは 一緒に挑戦する仲間を募集中です！ ✔オンラインでカジュアル面談実施中 ✔今すぐ転職を考えていなくてもOK！ 詳しくはコチラから👉