解説！データ基盤の進化を後押しする手順とタイミング

Slide 1

Slide 1 text

第４回データマネジメントの勘所徹底解説！データ基盤の進化を後押しする手順とタイミング  2024/05/14   コミューン株式会社  sho maekawa 

Slide 2

Slide 2 text

「⾃⼰紹介‧会社紹介」 1

Slide 3

Slide 3 text

©Commune Inc. All rights reserved 前側将  コミューン- DataTeam Acting Manager  経歴  ヤフーなどの大規模会員データを持つ企業でデータアナリストを担当。前職では、１からデータ組織を組成しデータ基盤の運用に取り組む。コミューンには 2023年6月に入社し最短で安定し価値を届けるデータ基盤を作るべく基盤作りをリード。   データ基盤の運用だけでなく、アナリストやサイエンティストの分析チーム採用〜組成、データプロダクトの開発企画など、従来の枠に囚われないデータチームのあり方を模索中。   その他    書籍「BIツール活用超入門」  子育ての機会に2年前より地元札幌移住。東京に毎月出張するようなライフスタイル  Sho Maekawa  X (旧 Twitter) アイコン 3 自己紹介 

Slide 4

Slide 4 text

Slide 5

Slide 5 text

©Commune Inc. All rights reserved コミュニティが企業成⻑の源泉となる ‧コミュニティによって、既存顧客育成を実現することができる ‧既存顧客育成の過程で得られたインサイトは、マーケティング活動を中⼼に企業活動全体の基盤となる新規顧客獲得のためのファネル既存顧客育成のためのファネル認知興味‧関⼼検討購⼊リピートアップセルクロスセルロイヤルユーザー化コミュニティが影響を与える領域コミュニティが得意な領域 5 コミュニティの価値

Slide 6

Slide 6 text

AGENDA 1. ⾃⼰紹介‧会社紹介 2. データ基盤運⽤作業の⾟み 3. データ基盤の進化を後押しする⼿順とタイミング 4. コミューンの状況

Slide 7

Slide 7 text

©Commune Inc. All rights reserved 発表で伝えいたこと(ターゲット別のゴール)  成熟した組織を動かすことに苦戦している方へ   2024年のトレンドに合わせて良いデータ基盤を１から高速に作る例をご紹介します！  大規模データ組織のデータエンジニアへ  大量のデータ基盤に対する要望を少数精鋭でなんとか耐え忍んでいる皆様へ   辛い状況の打開のタイミングや順番をお伝えします！   片手間データエンジニアさんへ  7

Slide 8

Slide 8 text

「データ基盤の運⽤作業の⾟み」 1

Slide 9

Slide 9 text

©Commune Inc. All rights reserved データ基盤の運⽤作業の⾟み環境ごとに⾟みは違ったりするリソースその他⾟み ‧成熟していて評価を出せるタスクが少ない ‧ツールを投資できない ‧⼈員補強がされない ‧今使っているツールがあり、リプレイスできない ‧⼈員計画が決まっている ‧評価者がいないので正当な評価がされない基盤運用忙しさ関係者基盤運用忙しさ関係者 ‧関係者が多すぎて説明コストが⼤きい ‧運⽤物が多くコストがかかる ‧ベストプラクティスがわからない ‧⼀⼈で全スキルカバーできない ‧未知のトラブルに遭遇 ‧出来上がっていて運⽤メイン ‧分業されていて、スキルの幅が⾝につかない ‧⼤規模特有のハードなトラブルに遭遇 ‧別部署管轄などで満⾜のいく処理が作れない ‧アラートなど予防策を打つ暇がない ‧他に業務があり対応できない ‧知らないことがあるが学習する時間がない ‧ドキュメント作る時間がない ‧未発達なので簡単な依頼が多い ‧問い合わせコントロールコスト必要 ‧ドキュメントコスト必要大規模データ組織のデータエンジニアさん  9 片手間データエンジニアさん  

Slide 10

Slide 10 text

©Commune Inc. All rights reserved データ基盤の運⽤作業の⾟みデータアナリスト時代は⼤規模環境を担当していたリソースその他⾟み ‧成熟していて評価を出せるタスクが少ない ‧今使っているツールがあり、リプレイスできない ‧⼈員計画が決まっている基盤運用忙しさ関係者 ‧関係者が多すぎて説明コストが⼤きい ‧運⽤物が多くコストがかかる ‧出来上がっていて運⽤メイン ‧分業されていて、スキルの幅が⾝につかない ‧⼤規模特有のハードなトラブルに遭遇 ‧別部署管轄などで満⾜のいく処理が作れない ‧問い合わせコントロールコスト必要 ‧ドキュメントコスト必要僕の場合専門性のある優秀な仲間と働ける経験ができてよかった！スキルも構想もあるが、自チームで、できることは限界に達し、成熟している組織を変えることが難しく「俺的ベストプラクティスなデータ基盤を作るのに時間がかかりすぎる」と思い、転職僕の場合専門性のある優秀な仲間と働ける経験ができてよかった！スキルも構想もあるが、自チームで、できることは限界に達し、成熟している組織を変えることが難しく「俺的ベストプラクティスなデータ基盤を作るのに時間がかかりすぎる」と思い、転職。スピード感と調整コストの観点が辛みだったポジティブな点・専門スキルを積みたい人におすすめ！・運用の正解例がわかる・大規模特有のトラブルへの対処法が学べる 10 大規模データ組織のデータエンジニアさん  

Slide 11

Slide 11 text

©Commune Inc. All rights reserved データ基盤の運⽤作業の⾟み直近2回はスタートアップで⽚⼿間からスタートしているリソースその他⾟み ‧ツールを投資できない ‧⼈員補強がされない ‧評価者がいないので正当な評価がされない基盤運用忙しさ関係者 ‧ベストプラクティスがわからない ‧⼀⼈で全スキルカバーできない ‧未知のトラブルに遭遇 ‧アラートなど予防策を打つ暇がない ‧他に業務があり対応できない ‧知らないことがあるが学習する時間がない ‧ドキュメント作る時間がない ‧未発達なので依頼が多い僕の場合「俺的ベストプラクティスを実践した基盤を作りたい」という思いが強烈にあります。 2回も1から基盤を作るのはハード、、だが、経験値豊富な仲間を集めること、経営レベルでデータに投資する文化があるという 2点さえあれば一番最高の基盤が作れると思っているポジティブな点・実用的な経験や対応力を積みたい人におすすめ！・信頼を獲得した時の裁量が大きく、大規模なチャレンジができる 11 片手間データエンジニアさん  

Slide 12

Slide 12 text

データ基盤の後押しする⼿順とタイミング🤔

Slide 13

Slide 13 text

©Commune Inc. All rights reserved 4つのフェーズに分け解説戦略と連動期品質向上期オペレーション構築期⽴ち上げ期 phase4 phase3 phase2 phase1 ⽬指す状態 ①依頼対応などが最低限回っている ②lake-dwh-martなどで構成した最低限の基盤ができている ①データモデリングを⾒直し最⼤効率かつチーム運⽤を実現 ②将来の価値発揮のために投資を受ける経験豊富なメンバーで最速最短で基盤を構築する ①経営戦略やデータ戦略と連動 ②俺的ベストプラクティスを実践 ● まずは最低限の基盤作りに集中する。依頼の期⽇などをコントロールし効率的に業務できるようにする⽚⼿間さん⼤規模さん ● 副業でアドバイスなどするのがおすすめ。⾃分にあった環境か⾒極める ● 改善能⼒がある⼈員と投資計画があれば転職もおすすめ ● 転職した意味を正解にするために新しい挑戦をどんどんするべき ● データモデリング既存コードの⾒直しはかなり⼤変 ● 投資を受けることができるか重要 ● 最⾼に楽しい時期！ ● これまでの努⼒が報われる ● ⼀⽅で要求レベルが⾼度化する ● 評価が会社の戦略に連動する ● データプロダクトなどコストセンターから脱却されるデータ基盤の後押しする⼿順とタイミング 13

Slide 14

Slide 14 text

コミューンの状況 4

Slide 15

Slide 15 text

©Commune Inc. All rights reserved 15 2023年6月　入社したタイミング　状況整理と目線合わせ  なんでも屋のMGRだが、一応アナリストとして JOIN。DataMLで4人目。  データ組織を拡大する方針はあったため、優秀な仲間を集めることができれば辛みを乗り越えることができると確信していた     個人が場当たり的にデータ集計していたところをチームで精度高く運用するフェーズに変化するタイミング     アセスメントを行いメンバー間のこだわりや技術観点のすり合わせを先に行うことで目線が揃い、チームでのずれが減る     将来の仲間のために業務を型化することを徹底した！めちゃくちゃ⼤事！

Slide 16

Slide 16 text

©Commune Inc. All rights reserved 16 2023年12月　~6ヶ月目　拡大と変革  分析者と業務委託で支援してくださるアナリティクスエンジニアさんが参画したため、依頼対応の負荷を軽減。他社の経験豊富な有識者がすでに経験した課題が多いのでアンチパターンを踏まなくて済む。      組織組成、組織拡大、データプロダクト、通常業務運営、成果出しとかなりハードだが、ここまでやることで理想のデータ基盤が作れると思う。  BQに入ってから活用するまでの主要なデータモデリングの整備に集中する民主化してもメンテする余力がないため、 SQLやBIの積極展開はまだしないデータプロダクトとして顧客にデータを提供するためのデータ品質担保に取り組む基盤運用早期にデータプロダクトにチャレンジし予算を獲得する誰かの支援をする従来の社内向けデータ組織だと、成果が不確実で経営目線での成果がわかりづらい。そのため経営レベルでわかりやすい直接貢献をできる組織を作った。採用

Slide 17

Slide 17 text

Slide 18

Slide 18 text

直近6ヶ⽉くらいでうまくいかなかったこと

Slide 19

Slide 19 text

©Commune Inc. All rights reserved 当然うまくいかないこともある  ・ DMBOKのアセスメントが停止していること   ・権限管理などガバナンス整理にあまり時間をかけられなかったこと   ・要求レベルの向上についていけないことも   ・外部のイベント登壇などにあまり時間が避けないこと   ・全くツールや技術に投資していない（あえて投資していない）     しかし皆様に朗報です。考え方をポジティブに変換すると、、、  

Slide 20

Slide 20 text

Slide 21

Slide 21 text

最後に宣伝です📢

Slide 22

Slide 22 text

Slide 23

Slide 23 text

23 積極採用中〜アナリティクスエンジニアの募集がオープンしております ⭐ X (旧 Twitter) で直接 DM して頂いても大丈夫です👍 ※魅力的なデータ人材が集まっているのでぜひ JDチェックください🙏 🚀アナリティクスエンジニア🚀 🚀カジュアル面談🚀 🚀ウィルX🚀 フォローお願いします！