解説！データ基盤の進化を後押しする手順とタイミング

データマネジメントの勘所第 ４ 回目徹底

Transcript

1. 第４回 データマネジメントの勘所 徹底解説！データ基盤の進化を後押しする手 順とタイミング
 2024/05/14 
 コミューン株式会社
 sho maekawa

2. 「⾃⼰紹介‧会社紹介」 1
3. ©Commune Inc. All rights reserved 前側 将
 コミューン- DataTeam Acting Manager
 経歴
 ヤフーなどの大規模会員データを持つ企業でデータアナリストを担当。前職では、１からデー タ組織を組成しデータ基盤の運用に取り組む。コミューンには 2023年6月に入社し最短で安 定し価値を届けるデータ基盤を作るべく基盤作りをリード。 
 データ基盤の運用だけでなく、アナリストやサイエンティストの分析チーム採用〜組成、データ プロダクトの開発企画など、従来の枠に囚われないデータチームのあり方を模索中。 
 その他
 
 書籍「BIツール活用超入門」
 子育ての機会に2年前より地元札幌移住。東京に毎月出張するようなライフスタイル
 Sho Maekawa
 X (旧 Twitter) アイコン 3 自己紹介

4. ©Commune Inc. All rights reserved 4 コミューンは、単なる場作りを越えて活性化し、 事業成果が出るコミュニティプラットフォームです コミューンとは
5. ©Commune Inc. All rights reserved コミュニティが企業成⻑の源泉となる ‧コミュニティによって、既存顧客育成を実現することができる ‧既存顧客育成の過程で得られたインサイトは、マーケティング活動を中⼼に企業活動全体の基盤となる 新規顧客獲得のためのファネル 既存顧客育成のためのファネル 認知 興味‧関⼼ 検討 購⼊ リピート アップセル クロスセル ロイヤル ユーザー化 コミュニティが影響を与える領域 コミュニティが得意な領域 5 コミュニティの価値
6. AGENDA 1. ⾃⼰紹介‧会社紹介 2. データ基盤運⽤作業の⾟み 3. データ基盤の進化を後押しする⼿順とタイミング 4. コミューンの状況
7. ©Commune Inc. All rights reserved 発表で伝えいたこと(ターゲット別のゴール)
 成熟した組織を動かすことに苦戦している方へ 
 2024年のトレンドに合わせて良いデータ基盤を１から高速に作る例をご紹介します！
 大規模データ組織のデータエンジニアへ
 大量のデータ基盤に対する要望を少数精鋭でなんとか耐え忍んでいる皆様へ 
 辛い状況の打開のタイミングや順番をお伝えします！ 
 片手間データエンジニアさんへ
 7
8. 「データ基盤の運⽤作業の⾟み」 1
9. ©Commune Inc. All rights reserved データ基盤の運⽤作業の⾟み 環境ごとに⾟みは違ったりする リソース その他 ⾟み ‧成熟していて評価を出せるタスクが少ない ‧ツールを投資できない ‧⼈員補強がされない ‧今使っているツールがあり、リプレイスできない ‧⼈員計画が決まっている ‧評価者がいないので正当な評価がされない 基盤運用 忙しさ 関係者 基盤運用 忙しさ 関係者 ‧関係者が多すぎて説明コストが⼤きい ‧運⽤物が多くコストがかかる ‧ベストプラクティスがわからない ‧⼀⼈で全スキルカバーできない ‧未知のトラブルに遭遇 ‧出来上がっていて運⽤メイン ‧分業されていて、スキルの幅が⾝につか ない ‧⼤規模特有のハードなトラブルに遭遇 ‧別部署管轄などで満⾜のいく処理が作れ ない ‧アラートなど予防策を打つ暇がない ‧他に業務があり対応できない ‧知らないことがあるが学習する時間 がない ‧ドキュメント作る時間がない ‧未発達なので簡単な依頼が多い ‧問い合わせコントロールコスト必要 ‧ドキュメントコスト必要 大規模データ組織のデータエン ジニアさん
 9 片手間データエンジニアさん 

10. ©Commune Inc. All rights reserved データ基盤の運⽤作業の⾟み データアナリスト時代は⼤規模環境を担当していた リソース その他 ⾟み ‧成熟していて評価を出せるタスクが少ない ‧今使っているツールがあり、リプレイスできない ‧⼈員計画が決まっている 基盤運用 忙しさ 関係者 ‧関係者が多すぎて説明コストが⼤きい ‧運⽤物が多くコストがかかる ‧出来上がっていて運⽤メイン ‧分業されていて、スキルの幅が⾝につか ない ‧⼤規模特有のハードなトラブルに遭遇 ‧別部署管轄などで満⾜のいく処理が作れ ない ‧問い合わせコントロールコスト必要 ‧ドキュメントコスト必要 僕の場合 専門性のある優秀な仲間と働ける経験ができてよかった！ スキルも構想もあるが、自チームで、できることは限界に達し、成熟している 組織を変えることが難しく「俺的ベストプラクティスなデータ基盤を作るのに時 間がかかりすぎる」と思い、転職 僕の場合 専門性のある優秀な仲間と働ける経験ができてよかった！ スキルも構想もあるが、自チームで、できることは限界に達し、成熟している 組織を変えることが難しく「俺的ベストプラクティスなデータ基盤を作るのに時 間がかかりすぎる」と思い、転職。 スピード感と調整コストの観点が辛みだった ポジティブな点 ・専門スキルを積みたい人におすすめ！ ・運用の正解例がわかる ・大規模特有のトラブルへの対処法が学べる 10 大規模データ組織のデータエンジニアさん 

11. ©Commune Inc. All rights reserved データ基盤の運⽤作業の⾟み 直近2回はスタートアップで⽚⼿間からスタートしている リソース その他 ⾟み ‧ツールを投資できない ‧⼈員補強がされない ‧評価者がいないので正当な評価がされない 基盤運用 忙しさ 関係者 ‧ベストプラクティスがわからない ‧⼀⼈で全スキルカバーできない ‧未知のトラブルに遭遇 ‧アラートなど予防策を打つ暇がない ‧他に業務があり対応できない ‧知らないことがあるが学習する時間 がない ‧ドキュメント作る時間がない ‧未発達なので依頼が多い 僕の場合 「俺的ベストプラクティスを実践した基盤を作りたい」という思いが強烈にあり ます。 2回も1から基盤を作るのはハード、、だが、経験値豊富な仲間を集 めること、経営レベルでデータに投資する文化があるという 2点さえあれば 一番最高の基盤が作れると思っている ポジティブな点 ・実用的な経験や対応力を積みたい人におすすめ！ ・信頼を獲得した時の裁量が大きく、大規模なチャレンジができる 11 片手間データエンジニアさん 

12. データ基盤の後押しする⼿順と タイミング🤔
13. ©Commune Inc. All rights reserved 4つのフェーズに分け解説 戦略と連動期 品質向上期 オペレーション構築期 ⽴ち上げ期 phase4 phase3 phase2 phase1 ⽬指す 状態 ①依頼対応などが最低限回っ ている ②lake-dwh-martなどで構成 した最低限の基盤ができてい る ①データモデリングを⾒直し 最⼤効率かつチーム運⽤を実 現 ②将来の価値発揮のために投 資を受ける 経験豊富なメンバーで最速最 短で基盤を構築する ①経営戦略やデータ戦略と連 動 ②俺的ベストプラクティスを 実践 • まずは最低限の基盤作りに集中す る。依頼の期⽇などをコントロー ルし効率的に業務できるようにす る ⽚⼿間さん ⼤規模さん • 副業でアドバイスなどするのがお すすめ。⾃分にあった環境か⾒極 める • 改善能⼒がある⼈員と投資計画が あれば転職もおすすめ • 転職した意味を正解にするために 新しい挑戦をどんどんするべき • データモデリング既存コードの⾒ 直しはかなり⼤変 • 投資を受けることができるか重要 • 最⾼に楽しい時期！ • これまでの努⼒が報われる • ⼀⽅で要求レベルが⾼度化する • 評価が会社の戦略に連動する • データプロダクトなどコストセン ターから脱却される データ基盤の後押しする⼿順とタイミング 13
14. コミューンの状況 4
15. ©Commune Inc. All rights reserved 15 2023年6月　入社したタイミング　状況整理と目線合わせ
 なんでも屋のMGRだが、一応アナリストとして JOIN。DataMLで4人 目。
 データ組織を拡大する方針はあったため、優秀な仲間を集めること ができれば辛みを乗り越えることができると確信していた 
 
 個人が場当たり的にデータ集計していたところをチームで精度高く 運用するフェーズに変化するタイミング 
 
 アセスメントを行いメンバー間のこだわりや技術観点のすり合わせ を先に行うことで目線が揃い、チームでのずれが減る 
 
 将来の仲間のために業務を型化することを徹底した！めちゃくちゃ⼤事！
16. ©Commune Inc. All rights reserved 16 2023年12月　~6ヶ月目　拡大と変革
 分析者と業務委託で支援してくださるアナリティクスエンジニアさん が参画したため、依頼対応の負荷を軽減。他社の経験豊富な有識 者がすでに経験した課題が多いのでアンチパターンを踏まなくて済 む。
 
 
 組織組成、組織拡大、データプロダクト、通常業務運営、成果出し とかなりハードだが、ここまでやることで理想のデータ基盤が作れ ると思う。
 BQに入ってから活用するまでの主要なデータモデリングの整備に集中する 民主化してもメンテする余力がないため、 SQLやBIの積極展開はまだしない データプロダクトとして顧客にデータを提供するためのデータ品質担保に取り 組む 基盤運用 早期にデータプロダクトにチャレンジし予算を獲得する 誰かの支援をする従来の社内向けデータ組織だと、成果が不確実で経営目 線での成果がわかりづらい。 そのため経営レベルでわかりやすい直接貢献をできる組織を作った。 採用
17. ©Commune Inc. All rights reserved 17 データ人材全員がデータで直接価値を作る動きができている
 モダンデータスタック構築 （社内最適） データプロダクト開発 （直接価値算出） ~2024年のトレンド

18. 直近6ヶ⽉くらいで うまくいかなかったこと
19. ©Commune Inc. All rights reserved 当然うまくいかないこともある
 ・ DMBOKのアセスメントが停止していること 
 ・権限管理などガバナンス整理にあまり時間をかけられなかったこと 
 ・要求レベルの向上についていけないことも 
 ・外部のイベント登壇などにあまり時間が避けないこと 
 ・全くツールや技術に投資していない（あえて投資していない） 
 
 しかし皆様に朗報です。考え方をポジティブに変換すると、、、 

20. ©Commune Inc. All rights reserved 20 2024年のトレンドに合わせた最高なデータ基盤は？
 経験豊富なメンバーの知見を駆使して基盤を再設計できる！

21. 最後に宣伝です📢
22. ©Commune Inc. All rights reserved 22 コミューンはあなたのキャリアを実現するビークルです！
 採用情報
 DataMLチームの勉強会News

23. 23 積極採用中〜 アナリティクスエンジニアの募集がオープンしております ⭐ X (旧 Twitter) で直接 DM して頂いても大丈夫です👍 ※魅力的なデータ人材が集まっているのでぜひ JDチェックください🙏 🚀アナリティクスエンジニア🚀 🚀カジュアル面談🚀 🚀ウィルX🚀 フォローお願いします！
24. 24 ©Commune Inc. All rights reserved