データ連携をチートせよ。～イオンが目指すコネクティビティデータ基盤～/Aeon's goal of creating a connectivity data platform

Slide 1

Slide 1 text

2024/9/12 SNOWFLAKE WORLD TOUR TOKYO 2024 データ連携をチートせよ。〜イオンが目指すコネクティビティデータ基盤〜イオン株式会社 CTO イオンスマートテクノロジー株式会社取締役 CTO 山﨑賢（やまけん @yamaken_66 )

Slide 2

Slide 2 text

自己紹介

Slide 3

Slide 3 text

所属 • イオン株式会社 CTO • イオンスマートテクノロジー株式会社取締役 CTO • 2023年4月より現職職歴（主なもの） • Yahoo! JAPAN（現 LINEヤフー株式会社エンジニア • リクルート開発責任者 • アソビュー CTO／トラストバンク CTO その他 • 海浜幕張在住会社まで徒歩10分 • 7歳の男児のパパ • ラーメンがあれば生きていける山﨑賢 @yamaken_66 自己紹介

Slide 4

Slide 4 text

会社紹介

Slide 5

Slide 5 text

会社紹介

Slide 6

Slide 6 text

会社紹介創業 1758年 300を超える子会社 M&Aを繰り返し今に至るダイエー、カスミ、マルエツいなげや、キャンドゥウエルシア、ツルハ多くの企業と連合軍を成立独自性を尊重し「緩やかな連帯」を重んじるカルチャー

Slide 7

Slide 7 text

AEONの内情

Slide 8

Slide 8 text

独自性のしがらみ膨大な顧客がそれぞれに存在するが、多くは相互に連携されていない ✗ ✗ ✗ ✗ ✗ ✗ ✗ ✗

Slide 9

Slide 9 text

独自性のしがらみアプリ、データが個別で存在し、連係されていない

Slide 10

Slide 10 text

渦巻く多くのしがらみ ■ 会社の成り立ちの違いから利用しているシステムが違う多くのシステムが個別のプロトコルで通信しており、それが各事業会社事の個別の基幹システムへ連携されているそのために、データを統合するには大量の変換プロセスが必要となる ■ 各事業会社の独立性を重んじるために発生する利害関係の不一致データは自社のみで利用したい（共有したくない）他社のデータも含めて分析したいデータを集める難易度よりも、データの取り扱いとガバナンス社内各社に対する公平な公開と制御された公開この設計が非常に重要になる

Slide 11

Slide 11 text

そして、統合へ

Slide 12

Slide 12 text

イオンDX

Slide 13

Slide 13 text

膨大なIDと購買データを集約したアプリ「iAEON」イオンDX iAEONはイオングループが提供する決済機能やポイントプログラムを1つにまとめたアプリです。イオングループ内の多数の事業会社がもつ顧客IDを一つのアプリに統合しています。提供開始から約3年で、iAEONは900万人以上の会員を抱え、独自のコード決済サービス「イオンペイ」は836万人（23年5月時点）が利用しています。

Slide 14

Slide 14 text

iAEON 3周年

Slide 15

Slide 15 text

そんな中、AEONグループで目指す世界観 IDの統合データの統合システムの統合

Slide 16

Slide 16 text

イオンDX

Slide 17

Slide 17 text

そうしてなんとか苦労して苦労して IDとデータ統合してきました

Slide 18

Slide 18 text

Medallion Architecture Blob storage RDB connection Message queue REST APIs ETLs AEON SMART PLATFORM FOR DATA ( ASP/D ) 多くのツールを使いながらも、ほぼ内製化／フルスクラッチでイオン共通データ基盤の構築が完了（ 2024 ）多様なデータを利用したサービスも複数ローンチ・Customer Data Platform機能・店従業員向けスマートフォンアプリ機能（在庫数確認／販売実績確認など）・経営レイヤー向け BI機能現容量： 280TB ( compressed ) 毎日 POS会計データだけで 180G程度のデータが追加される

Slide 19

Slide 19 text

ここに至って見えてきたこと

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Medallion Architecture Blob storage RDB connection Message queue REST APIs ETLs AEON SMART PLATFORM FOR DATA ( ASP/D ) 多様性のある多くのニーズに対して、・簡易に・安心／安全に・適切なデータを・多様な手段で利用可能にするという事が出来ていない

Slide 22

Slide 22 text

せっかく、自前でデータ基盤作ったのだから、それを使わせればいいのでは？既存プラットフォームを拡張していけばいいよね使いたいニーズ毎にシステムを作って提供していこう発散する議論作りきったからこそ、内製意識が強く、ワンプラットフォーム意識が強い自前主義が色濃くなっていた

Slide 23

Slide 23 text

否

Slide 24

Slide 24 text

CTOとしてのデータに関する私の考え自社のデータプラットフォームを作るにおいて、シングルプラットフォーム論争はナンセンス・データ製品は適材適所・それぞれに得意領域が存在する・全てを叶える銀の弾丸プラットフォームは存在しない・大企業で多様なデータとユースケースが存在するイオンなら尚更・データを提供する部分は製品とのプロトコル相性も存在する・そんな多様なプロトコルを内製で作る事は現実的ではないオンプレクラウド Snowflake DataB◯◯◯ 内製 SaaS / PaaS

Slide 25

Slide 25 text

Medallion Architecture Blob storage RDB connection Message queue REST APIs ETLs AEON SMART PLATFORM FOR DATA ( ASP/D ) 多様なニーズに対して多様なプロトコルを保有し、多くの製品と連携出来るSnowflakeをコラボレーションレイヤの製品として、ASP/Dに組み込むことを決定既存プラットフォームをラッピングする形で、データガバナンス／提供の手段として活用 Snowflake自体がDCR概念の先駆者であり、多様なデータ提供パターンを有する製品であるため「うちはSnowflakeを導入しています。どういったデータ連携をしたいかSnowflakeの提供機能から選んでください」と言うことで、要求側の知識水準も上がり、連携パターンを汎化していく事に成功しつつある

Slide 26

Slide 26 text

そして、多くのプロジェクトで Snowflake活用が推進されています

Slide 27

Slide 27 text

イオングループ商品データウェアハウスの移行 DB2ベースで開発／運用されているイオングループの商品データウェアハウスをSnowflakeへ移行するプロジェクトを推進中 ETL ETL ETL ETL ETL ETL ETL ETL ETL ETL ETL ETL 社内商品担当／MD システムの老朽化、各種EOLによりリプレース ETL ETL ETL ETL ETL ETL ETL ETL ETL ETL ETL ETL 社内商品担当／MD DWHをSnowflakeへリプレース ETL処理とBIからの読み出し処理も変更大幅なコスト削減と可用性、他用途展開の可能性を獲得

Slide 28

Slide 28 text

リテールメディア配信基盤構築新リテールメディア配信としてSnowflakeを活用

Slide 29

Slide 29 text

まとめ

Slide 30

Slide 30 text

データ製品は組み合わせてなんぼデータを集めるレイヤは、データ源泉の多様性に併せて多様なETLになるのは仕方ない SOR データを提供するレイヤは、なるべくオープンな製品を導入して幅広いユースケースを実現する SOE 製品ベースの会話をすることで、相談元の解像度があがっていく連携先のプロトコルが汎化されてることにより、資産の再利用性が高くなっていくただし、 Snowflakeも銀の弾丸ではない。満たせないユースケースが出てきた際には更に別の製品も組み込んでいく