なぜfreeeはハブ・アンド・スポーク型の データメッシュアーキテクチャにチャレンジするのか？

datatech-jp Casual Talks #6 の発表資料になります。

https://datatech-jp.connpass.com/event/337374/

Transcript

1. 　 datatech-jp Casual Talks #6 なぜfreeeはハブ‧アンド‧スポーク型の データメッシュアーキテクチャにチャレンジするのか？ フリー株式会社 エンジニアリング基盤本部 データ部 城⾕
2. 　 2 城⾕ 信⼀郎 2017年ごろから、データ分析やAIに関わるエンジニアとして実務からマネジ メントまで広く関わる。 現在は、freeeのデータ戦略⽴案や新しいデータ活⽤アーキテクチャの⽴ち上 げと推進を実施 2010/4-2014/3: ⾦融系SIerにて銀⾏決済システムのインフラ開発 2014/4-2019/8: ⼤⼿⼈材系サービス会社でインフラ+データ組織⽴ち上げ 2019/9-2024/4: DeNAにてゲーム‧ライブストリーミング、BEV事業、ヘルス ケアなどの多⾓的な事業ドメインでデータプラットフォームの⽴ち上げ 2024/5-: freee株式会社にJoin エンジニアリング基盤本部 データ部 部⻑ Shinichiro Joya
3. 3 freeeのご紹介
4. 4 　 freeeは「スモールビジネスを、世界の主役に。」をミッションに掲げ、 統合型経営プラットフォームを開発‧提供し、 だれもが⾃由に⾃然体で経営できる環境をつくっていきます。 起業やビジネスを育てていくことを、もっと魅⼒的で気軽な⾏為に。 個⼈事業や中⼩企業などのスモールビジネスに携わるすべての⼈が、 じぶんらしく⾃信をもって経営できるように。 ⼤胆にスピード感をもってアイデアを具現化できるスモールビジネスは、 今までにない多様な価値観や⽣き⽅、 新しいイノベーションを⽣み出す起爆剤だと私たちは考えています。 スモールビジネスが⼤企業を刺激し、社会をさらにオモシロク、 世の中全体をより良くする流れを後押ししていきます。 Mission スモールビジネスを、世界の主役に。
5. 　 5 だれもが⾃由に経営できる 統合型経営プラットフォーム。 だれもが⾃由に⾃然体で経営できる環境をつくるために、「統合型経営プラットフォーム」を開発‧提供します。 バックオフィス業務を統合することで、⾃動化と業務全体の効率化。さらに経営全体を可視化することで、 これまでにないスマートかつ最適なアクションまで実⾏できるプラットフォームへと進化させていきます。 また外部サービスとも連携したオープンプラットフォームとして、多様なビジネスニーズに対応。 ユーザーネットワークの中における相互取引の活性化も強化していきます。 プラットフォームの提供のみならず、スモールビジネスに携わる⼈の環境そのものを より良くしていく取り組みを⾏うことで、世の中の変化を促します。 Vision
6. 6 スモールビジネスの ⼈事管理市場において  売上⾦額シェアNo.1(3) スモールビジネス向けに統合型クラウド(1)ERPを提供 注: 1. クラウドサービス：ソフトウェアやハードウェアを所有することなく、ユーザーがインターネットを経由してITシステムにアクセスを行えるサービス 2. リードプラス「キーワードからひも解く業界分析シリーズ：クラウド会計ソフト編」（2022年8月） 3. 「freee人事労務」はITRが今年調査発行した「ITR MARKET VIEW：人事・給与・就業管理市場2022」の人事管理市場において、従業員100人未満および従業員100~300人未満の企業で売上金額シェアNo.1（2020年度）を獲得しています。 統合型クラウド会計ソフト 統合型クラウド⼈事労務ソフト その他サービス 2013年3⽉〜 請求書 経費精算 決算書 予実管理 ワークフロー 内部統制 勤怠管理 ⼊退社管理 給与計算 年末調整 マイナンバー 管理 2014年10⽉〜 2022年11⽉〜 ⽇本のクラウド 会計ソフト市場  シェアNo.1(2) 統合型クラウド販売管理ソフト 【国内初】 クラウド会計ソフトと ⼀体型で使える 販売管理サービス ⽀出管理 ⼈事労務 ⼯数管理‧労務費管理 社宅制度の導⼊ 申告書作成 ⾒積‧発注‧請求 法⼈⼿続き クレジットカード 開業⼿続き 電⼦契約
7. 統合flowが「スモールビジネスを、世界の主役に。」 
 
 Work flow
 Data flow
 Communication
 flow
 統合flow
 経営が、⾃由に 組織が、ストレスフリーに 業務が、最も効率的に

8. 本⽇お伝えしたいこと
9. 9 ビッグデータのブームと活⽤の流れから13年ほど • 2011/5/1 次世代イノベーションのフロンティアとしてのビッグデータ @mckinsey 多くの企業にて、事業の営みで発⽣したデータをBIやAIで活⽤する成功事例が積み上がっている • freee も創業以来、早いタイミングからデータ活⽤としてデータ分析‧AIを活⽤ 単体のユースケース‧事業だけでは無く、多⾓的なユースケース‧事業へのデータ活⽤を価値として ⽣み出し続ける経営側の期待値とMissionはどの事業会社でも期待されている ここ数年では⽣成AIの台頭やより事業のデータを新たな事業で扱うなどニーズが多様かつ複雑に • freeeでもスケールする事業環境において、多様な活⽤に向けた備えが出来ておらず様々なペイ ンを⽣むことに ⼊社以来取り組んでいる改⾰の⼀部をお伝えし、より多様な事業の多様なユースケースに向けた 備えとして、皆さんに参考いただきたい 本⽇お伝えしたいこと
10. 免責事項
 • 本登壇はユーザーから頂いたデータの活⽤について考え⽅を述べています。 • 発信内容全てに、軽々にデータを利⽤する意図や趣旨はありません。 • freeeとして以下の観点に⼗分に注意しながら活⽤を進めます。 ◦ 法令、プライバシーポリシーとの整合性 ◦ セキュリティ‧ガバナンス ◦ レピュテーションリスク、世の中の受け⽌め⽅ ◦ そして、上記に対するユーザーとビジネスへのベネフィット • したがって、各企業におきましても上記または独⾃の観点での考慮を⼗分に ⾏ったうえで、データ活⽤をご検討ください。 • 各企業のデータ活⽤に関して、freeeは⼀切の責任は負いません。
11. freeeのデータ基盤とデータ活⽤の痛み
12. 12 これまでのfreeeのデータ基盤 機微情報 データ基盤 プロダクトデータ Database、Log 顧客接点データ CRM,MA Tool, Webトラッキ ング、広告 社内データ、その他データ 顧客接点 データ 社内、その 他データ 匿名 データ基盤 プロダクト データ 顧客接点 データ 社内、その 他データ プロダクト データ 匿名化、 仮名化 機微情報へ権限を 持つユーザ freee社員 データへの アクセス データへの アクセス ‧事業戦略 ‧プロダクト戦略 ‧振り返り ‧営業戦略 ‧営業⾏動変容 ‧マーケ活動 分析のユースケースを中⼼に多くの社員に向けたアクセシビリティを優先した基盤 モニタリングによる価値創造 など Athena BigQuery 多くの社員が匿名データのみを扱う制約 代わりに⾼いアクセシビリティ
13. 13 これまでのfreeeのデータ基盤 機微情報 データ基盤 プロダクトデータ Database、Log 顧客接点データ CRM,MA Tool, Webトラッキ ング、広告 社内データ、その他データ 顧客接点 データ 社内、その 他データ 匿名 データ基盤 プロダクト データ 顧客接点 データ 社内、その 他データ プロダクト データ 匿名化、 仮名化 機微情報へ権限を 持つユーザ freee社員 データへの アクセス データへの アクセス ‧事業戦略 ‧プロダクト戦略 ‧振り返り ‧営業戦略 ‧営業⾏動変容 ‧マーケ活動 分析のユースケースを中⼼に多くの社員に向けたアクセシビリティを優先した基盤 モニタリングによる価値創造 など Athena BigQuery 多くの社員が匿名データのみを扱う制約 代わりに⾼いアクセシビリティ 10k Over Tables 800k Over Query /Month 300 Over Console Unique User /Month
14. 14 freeeのデータ活⽤における変化と痛み データ分析が進む⼀⽅で、社内外で様々な変化により痛みが発⽣ プロダクト数の増加 組織‧社員の拡⼤ ニーズの変化 ⽣成AIの勃興 起きている事実
15. 15 freeeのデータ活⽤における変化と痛み データ分析が進む⼀⽅で、社内外で様々な変化により痛みが発⽣ プロダクト数の増加 組織‧社員の拡⼤ ニーズの変化 ⽣成AIの勃興 起きている事実 当初はプロダクト分析が中⼼だったが、例えば • ターゲティング広告などマーケティング施策への利⽤ • CRMデータと組み合わせたB2Bセールスのモニタリングや顧客管理、AI利⽤ • 複数プロダクトのデータを使った新たな顧客への価値提供 • 社内オペレーションの⾃動化のためのデータ活⽤ など、ビジネスの要求は常に変化し多様性が⽣まれてきた
16. 16 freeeのデータ活⽤における変化と痛み データ分析が進む⼀⽅で、社内外で様々な変化により痛みが発⽣ プロダクト数の増加 組織‧社員の拡⼤ ニーズの変化 ⽣成AIの勃興 起きている事実 ⽣成AI,AI Agentなどの勃興により、 • AIネイティブなオペレーションによる⾃動化‧省⼒化への期待 • ⽣成AIを前提にした機能開発により、ユーザ新たな体験の創造 freeeの⽣成AIの活⽤について解説しています https://x.gd/dg8q2
17. 17 freeeのデータ活⽤における変化と痛み データ分析が進む⼀⽅で、社内外で様々な変化により痛みが発⽣ プロダクト数の増加 組織‧社員の拡⼤ ニーズの変化 ⽣成AIの勃興 パフォーマンス低下 システム変更の遅延 データ基盤の利⽤増加 システム変更の増加 想定しない利⽤⽅法 ガバナンス⽋如 起きている事実 引き起こされた事 実 痛み 実現出来ないユースケー スの増加 マルチクラウド運⽤
18. 18 freeeのデータ活⽤における変化と痛み データ分析が進む⼀⽅で、社内外で様々な変化により痛みが発⽣ プロダクト数の増加 組織‧社員の拡⼤ ニーズの変化 ⽣成AIの勃興 パフォーマンス低下 システム変更の遅延 データ基盤の利⽤増加 システム変更の増加 想定しない利⽤⽅法 ガバナンス⽋如 起きている事実 引き起こされた事 実 痛み 実現出来ないユースケー スの増加 マルチクラウド運⽤ すべてはデータ活⽤全体の⾜を遅くする‧⽌めることを引き起こし、 あらゆる機会損失を起こす → ユーザーのためにもならない 直接的‧間接的にトップライ ンとボトムライン双⽅に貢献 できるのに勿体ない！！
19. 19 freeeのデータ活⽤における変化と痛み 理想ドリブンで⻘写真を描きつつ以下の観点で押し進める必要性 • 破壊的な変化も厭わない新たなプラットフォームの⽴上げ • 早期の実績作りによる投資対効果の説明 • プラットフォームアーキテクチャに合わせた組織設計の⾒直し（コンウェイ） • 確実かつ漸進的なデータ活⽤の進化 データ分析が進む⼀⽅で、社内外で様々な変化により痛みが発⽣ すべてはデータ活⽤全体の⾜を遅くする‧⽌めることを引き起こし、 あらゆる機会損失を起こす → ユーザーのためにもならない
20. 変⾰に向けて
21. 21 データに⾊はない＝ビジネスのデータ活⽤の期待値は固定的では無く不確実である前提に⽴つ ニーズ‧シーズ‧ウォンツが変化しても対応出来るシステムと組織にすべきと判断 ⼀⽅で、個別ユースケース毎のシステム開発は⽣産性、ガバナンスの点で無駄や問題が⼤きく、 再利⽤性‧ガバナンスを考慮し戦略的にアーキテクチャと組織を変⾰する必要性 何に着⽬し変⾰を促すか？ データメッシュアーキテクチャ トポロジー型組織 ⼀つのデータレイク基盤 中央のデータ基盤組織 システムアーキテクチャの⽬線 組織の⽬線 今⽇はここを中⼼に！
22. 22 Datamesh Architecture とは、Zhamak Dehghani⽒により2019年に提唱されたアーキテクチャ ⻑らく、中央のデータチームがデータ活⽤を⽀えていたが様々な利⽤者の発⽣により⾮持続的に（左図） データ利⽤するチームをドメインチームと名付け、⾃律し利活⽤出来る組織とアーキテクチャへ（右図） データメッシュアーキテクチャとは？ 参照: https://www.datamesh-architecture.com/
23. 23 原⽂を読むと実はシステムアーキテクチャのみを論じてる訳では無く組織‧活⽤の営み全体を定義 データメッシュアーキテクチャは組織論も含む 中央管理 分散管理 データ メッシュ オーナーシップ 統治機構 中央の データ組織 各利⽤組織 各利⽤組織と 中央組織のハイブリッド 各利⽤要件毎に⾃ 治。中央機能はガ イドラインレベル 定められた機能、 ユースケースのみ ⾃治可能 再利⽤可能な部品とアーキ テクチャ。責任分界点を明 確にした⾃律的統治
24. 24 原⽂を読むと実はシステムアーキテクチャのみを論じてる訳では無く組織‧活⽤の営み全体を定義 データメッシュアーキテクチャは組織論も含む 中央管理 分散管理 データ メッシュ オーナーシップ 統治機構 中央の データ組織 各利⽤組織 各利⽤組織と 中央組織のハイブリッド 再利⽤可能な部品とアーキ テクチャ。責任分界点を明 確にした⾃律的統治 実は、チームトポロジーの組織論と類似した話が多く、 システムアーキテクチャだけ対応しても⽚⼿落ち （別の歪みが⽣まれる） 各利⽤要件毎に⾃ 治。中央機能はガ イドラインレベル 定められた機能、 ユースケースのみ ⾃治可能
25. 25 Analytics HubというData Sharingサービスをハブとしてプロバイダーとコンシューマを分離 freeeのデータメッシュアーキテクチャ外観 プロダクト ドメインのデータ統合Project ビジネス ドメインのデータ統合Project Analytics Hub 全社横断のデータモデリングProject ビジネスドメインのデータ活用Project 全社匿名データ活用Project Raw BigQuery Restricted BigQuery Anonymous BigQuery Raw BigQuery Restricted BigQuery Anonymous BigQuery Restricted BigQuery Anonymous BigQuery Restricted BigQuery Restricted BigQuery Curation BigQuery DWH(Anonymous) BigQuery DWH(Anonymous) BigQuery Anonymous BigQuery Curation BigQuery DWH(Anonymous) BigQuery Viewなど Viewなど CTAS,Workflow CTAS,Workflow CTAS,Workflow Listing Subscribe
26. 26 Data Sharingは、違うProjectにメタデータのリンクを共有するためSSoTが構築しやすくなる freeeのデータメッシュアーキテクチャ外観 プロダクト ドメインのデータ統合Project ビジネス ドメインのデータ統合Project Analytics Hub 全社横断のデータモデリングProject ビジネスドメインのデータ活用Project 全社匿名データ活用Project Raw BigQuery Restricted BigQuery Anonymous BigQuery Raw BigQuery Restricted BigQuery Anonymous BigQuery Restricted BigQuery Anonymous BigQuery Restricted BigQuery Restricted BigQuery Curation BigQuery DWH(Anonymous) BigQuery DWH(Anonymous) BigQuery Anonymous BigQuery Curation BigQuery DWH(Anonymous) BigQuery データのオリジン データのコピーではな く、viewとAnalytics Hubを通じたRawを参 照するテーブル
27. 27 Data Sharingは、違うProjectにメタデータのリンクを共有するためSSoTが構築しやすくなる freeeのデータメッシュアーキテクチャ外観 プロダクト ドメインのデータ統合Project ビジネス ドメインのデータ統合Project Analytics Hub 全社横断のデータモデリングProject ビジネスドメインのデータ活用Project 全社匿名データ活用Project Raw BigQuery Restricted BigQuery Anonymous BigQuery Raw BigQuery Restricted BigQuery Anonymous BigQuery Restricted BigQuery Anonymous BigQuery Restricted BigQuery Restricted BigQuery Curation BigQuery DWH(Anonymous) BigQuery DWH(Anonymous) BigQuery Anonymous BigQuery Curation BigQuery DWH(Anonymous) BigQuery 整備した新たな データのオリジン モデリング、整備したデータ のオリジンを直接参照
28. 28 コンシューマProjectは独⽴しつつも必要なデータが提供されるため⾃律した利⽤が可能 freeeのデータメッシュアーキテクチャ外観 プロダクト ドメインのデータ統合Project ビジネス ドメインのデータ統合Project Analytics Hub 全社横断のデータモデリングProject ビジネスドメインのデータ活用Project 全社匿名データ活用Project Raw BigQuery Restricted BigQuery Anonymous BigQuery Raw BigQuery Restricted BigQuery Anonymous BigQuery Restricted BigQuery Anonymous BigQuery Restricted BigQuery Restricted BigQuery Curation BigQuery DWH(Anonymous) BigQuery DWH(Anonymous) BigQuery Anonymous BigQuery Curation BigQuery DWH(Anonymous) BigQuery 必要なデータは中央の機能が提供 し、提供されたデータに基づき⾃律 したストリームアラインドチームに よるデータ活⽤が可能に
29. 29 アーキテクチャや組織のコンテクストを揃えつつ以下のProjectを成功に導きムーブメントの醸成 1. 従来扱えなかったデータを活⽤したカスタマーサクセス施策 a. アナリストと共同で安全に活⽤出来る環境を⽴ち上げ具体的なビジネスのトップラインへ貢献 2. セールス部署向けのデータ活⽤環境と組織のイネイブリング a. 2024/10に⽴ち上がったデータ活⽤のエンジニア組織をイネイブリングし3ヶ⽉で成果創出 b. データ活⽤の最もコア機能である、データパイプラインに関わるIaCコード、CICDパイプライン およびガイドラインをテンプレートとして構築 活動中の内容
30. 30 データメッシュアーキテクチャは何を解決するか？ freeeにおけるデータメッシュはユースケースの限界を解き放ち⾃律的なデータ活⽤を推進 • 課題：匿名、仮名化されたデータのみの利⽤によるユースケースの限界 ◦ 解決：⽣データに近いデータを統合しユースケースに応じたデータの提供 • 課題：ユースケース毎の多様なデータ要件、利⽤者と⼀律のセキュリティルールの限界 ◦ 解決：データを収集‧統合と利⽤する環境を明確にわけルールにグラデーションを効かせる • 課題：データ利⽤者の多様性により中央のデータエンジニア組織での対応に限界 ◦ 解決：環境の統合管理のメリットよりもデータ利活⽤の⾃律性を優先したアーキテクチャ • 現メリット：⼀つのデータレイク環境を統合管理によるガバナンスメリット ◦ ⽣まれるデメリット：環境が分散するため、統合管理に⽐べて開発効率が低下する ◦ 解決：分散を前提としたプラットフォーム‧データマネジメントなど全体の⽣産性を⾼める施 策を実⾏することで、デメリットを⻑期的に打ち消す
31. 31 プロダクトデータ戦略分科会 • プロダクト‧サービスにおけるデータ活⽤の戦略を議論 • 他の分科会と個別に利害調整したり、寄合での全体戦略の 共有やコラボレーションを実現 ⾃律型組織が相互に⾼め合うための全社コミュニティ 全社データ寄合 • freee全社でのデータ活⽤全体のProjectや取り組みの共有 • 各分科会上の戦略や意思決定を合流させ、利害の調整、パブリックコメントを求める場 ビジネスデータ戦略分科会 • セールス‧マーケ分野でのデータ活⽤戦略を議論 • 他の分科会と個別に利害調整したり、寄合での全体戦略の 共有やコラボレーションを実現 データマネジメント戦略分科会 • データ活⽤全体の効率化を推進する マネジメント機能の戦略を議論 • データマネジメント機能や運⽤を定義し 他の分科会‧寄合と調整 セキュリティ‧ガバナンス分科会 • データ活⽤のリスク管理のルールを議論 • 各利⽤要件を捉えつつ、最適なリスク判断と ビジネスベネフィットをバランㇲする組織として 各利⽤者‧分科会‧寄合と調整 アーキテクチャ‧⽅式分科会 • データ活⽤のプラットフォームの アーキテクチャや⽅式を議論。 • 他の分科会の動きを捉えつつも、全社最適‧ 個別最適の⽅式を議論し、検討‧検証を経て ルールとして整備 戦略‧意思決定の集約 Owner: Owner: joya joya
32. まとめ
33. 33 前ページの通り、freee社内でも認知が進みいくつかの成功事例を創出 要因はなにか？ 1. アーキテクチャと組織論の両⽅からのアプローチを論じ啓蒙し続けている点 a. まだまだ認知は低い部分があるが、両⾯からのアプローチが⼤切である共通理解 b. 愚直✕泥臭く✕何度でも同じ話を様々な所で発信する事を厭わない 2. エポックメーキングなユースケースと実績の創出 a. アーキテクチャ、組織もビッグバンで変えるのでは無く具体的な価値創出が最初 b. 何に取り組むとインパクトを最⼤化出来るか。対話の中で⾒定める。機会主義的。 3. カウンターパートに応じて、強かにコミュニケーションの戦略を考える a. 現場は中⻑期的な戦略と課題解決がハイライト。仲間を作るコミュニケーション b. 経営層は具体的なビジネスベネフィットをコミュニケーション。その課題解決がうまく ⾏ったタイミングで、中⻑期的なビジョンの提⽰し投資を引き出すコミュニケーション 振り返り
34. 34 データ活⽤の先に究極はユーザーの⾃由を拡張しfreeeが⽬指す理想の社会に貢献したい • 我々の⽬標はあくまでも、freeeのプロダクトを通じてユーザーを⾃由にすることで⾃分らしく 経営できる様を追い求め続けること • データ活⽤は⼀⾒すると、社内向けの活動と捉えられないが⼤局を⾒る必要 ◦ プロダクト分析、セールス分析による間接的なユーザーへの貢献 ◦ プロダクトを横断したデータ活⽤‧AI活⽤による新たなユーザーへの価値創出 • ⽬指す世界観に向けてはまだまだ始まったばかり。 ◦ 今後もデータ活⽤を盛り上げると共に、積極的にコミュニティに発信することで、 国内のデータ活⽤‧データエンジニアリング全体のムーブメントにも貢献したい（これは 私の気持ち） まとめと今後に向けて
35. 　 35 We're hiring! 本⽇発信したデータメッシュアーキテクチャやデータ活⽤に向けてまだまだ始まったばかり 様々なポジションを定義し採⽤をスタートしました！是⾮ご興味がある⽅はお声がけください！ データエンジニア データマネジメントエンジニア アナリティクスエンジニア シニア ポジション ⼀般 ポジション Link シニアポジションの 募集はありません Link Link Link Link
36. スモールビジネスを、世界の主役に。