データ連携をチートせよ。～イオンが目指すコネクティビティデータ基盤～/Aeon's goal of creating a connectivity data platform

2024年9月12日開催「SNOWFLAKE WORLD TOUR TOKYO」の登壇資料です。
https://www.snowflake.com/events/snowflake-world-tour-tokyo/

Transcript

1. 2024/9/12 SNOWFLAKE WORLD TOUR TOKYO 2024 データ連携をチートせよ。 〜イオンが目指すコネクティビティデータ基盤〜 イオン株式会社 CTO イオンスマートテクノロジー株式会社 取締役 CTO 山﨑 賢 （ やまけん @yamaken_66 )
2. 自己紹介
3. 所属 • イオン株式会社 CTO • イオンスマートテクノロジー株式会社 取締役 CTO • 2023年4月より現職 職歴（主なもの） • Yahoo! JAPAN（現 LINEヤフー株式会社 エンジニア • リクルート 開発責任者 • アソビュー CTO／トラストバンク CTO その他 • 海浜幕張在住 会社まで徒歩10分 • 7歳の男児のパパ • ラーメンがあれば生きていける 山﨑 賢 @yamaken_66 自己紹介
4. 会社紹介
5. 会社紹介
6. 会社紹介 創業 1758年 300を超える子会社 M&Aを繰り返し今に至る ダイエー、カスミ、マルエツ いなげや、キャンドゥ ウエルシア、ツルハ 多くの企業と連合軍を成立 独自性を尊重し 「緩やかな連帯」 を重んじるカルチャー
7. AEONの内情
8. 独自性のしがらみ 膨大な顧客がそれぞれに存在するが、 多くは相互に連携されていない ✗ ✗ ✗ ✗ ✗ ✗ ✗ ✗
9. 独自性のしがらみ アプリ、データが個別で存在し、連係されていない
10. 渦巻く多くのしがらみ ▪ 会社の成り立ちの違いから利用しているシステムが違う 多くのシステムが個別のプロトコルで通信しており、それが各事業会社 事の個別の基幹システムへ連携されている そのために、データを統合するには大量の変換プロセスが必要となる ▪ 各事業会社の独立性を重んじるために発生する利害関係の不一致 データは自社のみで利用したい （共有したくない） 他社のデータも含めて分析したい データを集める難易度よりも、データの取り扱いとガバナンス 社内各社に対する公平な公開と制御された公開 この設計が非常に重要になる
11. そして、統合へ
12. イオンDX
13. 膨大なIDと購買データを集約したアプリ「iAEON」 イオンDX iAEONはイオングループが提供する決済機能やポイントプログラムを1つにまとめたアプリです。 イオングループ内の多数の事業会社がもつ顧客IDを一つのアプリに統合しています。 提供開始から約3年で、iAEONは900万人以上の会員を抱え、独自のコード決済サービス「イオンペイ」は836万人 （23年5月時点）が利用しています。
14. iAEON 3周年
15. そんな中、AEONグループで目指す世界観 IDの統合 データの統合 システムの統合
16. イオンDX
17. そうしてなんとか 苦労して苦労して IDとデータ統合してきました
18. Medallion Architecture Blob storage RDB connection Message queue REST APIs ETLs AEON SMART PLATFORM FOR DATA ( ASP/D ) 多くのツールを使いながらも、ほぼ内製化／フルスクラッチでイオン共通データ基盤の構築が完了 （ 2024 ） 多様なデータを利用したサービスも複数ローンチ ・Customer Data Platform機能 ・店従業員向けスマートフォンアプリ機能（在庫数確認／販売実績確認など） ・経営レイヤー向け BI機能 現容量： 280TB ( compressed ) 毎日 POS会計データだけで 180G程度のデータが追加される
19. ここに至って見えてきたこと
20. 渦巻く多くのしがらみ ▪ 会社の成り立ちの違いから利用しているシステムが違う 多くのシステムが個別のプロトコルで通信しており、それが各事業会社 事の個別の基幹システムへ連携されている そのために、データを統合するには大量の変換プロセスが必要となる ▪ 各事業会社の独立性を重んじるために発生する利害関係の不一致 データは自社のみで利用したい （共有したくない） 他社のデータも含めて分析したい データを集める難易度よりも、データの取り扱いとガバナンス 社内各社に対する公平な公開と制御された公開 この設計が非常に重要になる 済 未 データを集めることは出来た だが未だ、利用側に対してローデータとして提供出来ていない
21. Medallion Architecture Blob storage RDB connection Message queue REST APIs ETLs AEON SMART PLATFORM FOR DATA ( ASP/D ) 多様性のある多くのニーズに対して、 ・簡易に ・安心／安全に ・適切なデータを ・多様な手段で利用可能にする という事が出来ていない
22. せっかく、自前でデータ基盤作ったのだから、それを使わせればいいのでは？ 既存プラットフォームを拡張していけばいいよね 使いたいニーズ毎にシステムを作って提供していこう 発散する議論 作りきったからこそ、内製意識が強く、 ワンプラットフォーム意識が強い 自前主義が色濃くなっていた
23. 否
24. CTOとしてのデータに関する私の考え 自社のデータプラットフォームを作るにおいて、 シングルプラットフォーム論争はナンセンス ・データ製品は適材適所 ・それぞれに得意領域が存在する ・全てを叶える銀の弾丸プラットフォームは存在しない ・大企業で多様なデータとユースケースが存在するイオンなら尚更 ・データを提供する部分は製品とのプロトコル相性も存在する ・そんな多様なプロトコルを内製で作る事は現実的ではない オンプレ クラウド Snowflake DataB◯◯◯ 内製 SaaS / PaaS
25. Medallion Architecture Blob storage RDB connection Message queue REST APIs ETLs AEON SMART PLATFORM FOR DATA ( ASP/D ) 多様なニーズに対して多様なプロトコルを保有し、多くの製品と連携出来るSnowflakeをコラボレーションレイヤの製 品として、ASP/Dに組み込むことを決定 既存プラットフォームをラッピングする形で、データガバナンス／提供の手段として活用 Snowflake自体がDCR概念の先駆者であり、多様なデータ提供パターンを有する製品であるため 「うちはSnowflakeを導入しています。どういったデータ連携をしたいかSnowflakeの提供機能から選んでください」 と言うことで、要求側の知識水準も上がり、連携パターンを汎化していく事に成功しつつある
26. そして、多くのプロジェクトで Snowflake活用が推進されています
27. イオングループ 商品データウェアハウスの移行 DB2ベースで開発／運用されているイオングループの商品データウェアハウスをSnowflakeへ移行するプロジェクトを推進中 ETL ETL ETL ETL ETL ETL ETL ETL ETL ETL ETL ETL 社内 商品担当／MD システムの老朽化、各種EOLによりリプレース ETL ETL ETL ETL ETL ETL ETL ETL ETL ETL ETL ETL 社内 商品担当／MD DWHをSnowflakeへリプレース ETL処理とBIからの読み出し処理も変更 大幅なコスト削減と可用性、他用途展開の可能性を獲得
28. リテールメディア 配信基盤構築 新リテールメディア配信としてSnowflakeを活用
29. まとめ
30. データ製品は組み合わせてなんぼ データを集めるレイヤは、データ源泉の多様性に併せて多様なETLになるのは仕方ない SOR データを提供するレイヤは、なるべくオープンな製品を導入して幅広いユースケースを実現する SOE 製品ベースの会話をすることで、相談元の解像度があがっていく 連携先のプロトコルが汎化されてることにより、資産の再利用性が高くなっていく ただし、 Snowflakeも銀の弾丸ではない。 満たせないユースケースが出てきた際には更に別の製品も組み込んでいく
31. 幅広いポジションで積極的に採用中です！！ Hiring !!!!!!
32. 幅広いポジションで積極的に採用中です！！ Hiring !!!!!!