Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

データ連携をチートせよ。~イオンが目指すコネクティビティデータ基盤~/Aeon's goal ...

AEON
September 12, 2024

データ連携をチートせよ。~イオンが目指すコネクティビティデータ基盤~/Aeon's goal of creating a connectivity data platform

2024年9月12日開催「SNOWFLAKE WORLD TOUR TOKYO」の登壇資料です。
https://www.snowflake.com/events/snowflake-world-tour-tokyo/

AEON

September 12, 2024
Tweet

More Decks by AEON

Other Decks in Technology

Transcript

  1. 所属 • イオン株式会社 CTO • イオンスマートテクノロジー株式会社 取締役 CTO • 2023年4月より現職

    職歴(主なもの) • Yahoo! JAPAN(現 LINEヤフー株式会社 エンジニア • リクルート 開発責任者 • アソビュー CTO/トラストバンク CTO その他 • 海浜幕張在住 会社まで徒歩10分 • 7歳の男児のパパ • ラーメンがあれば生きていける 山﨑 賢 @yamaken_66 自己紹介
  2. Medallion Architecture Blob storage RDB connection Message queue REST APIs

    ETLs AEON SMART PLATFORM FOR DATA ( ASP/D ) 多くのツールを使いながらも、ほぼ内製化/フルスクラッチでイオン共通データ基盤の構築が完了 ( 2024 ) 多様なデータを利用したサービスも複数ローンチ ・Customer Data Platform機能 ・店従業員向けスマートフォンアプリ機能(在庫数確認/販売実績確認など) ・経営レイヤー向け BI機能 現容量: 280TB ( compressed ) 毎日 POS会計データだけで 180G程度のデータが追加される
  3. 渦巻く多くのしがらみ ▪ 会社の成り立ちの違いから利用しているシステムが違う 多くのシステムが個別のプロトコルで通信しており、それが各事業会社 事の個別の基幹システムへ連携されている そのために、データを統合するには大量の変換プロセスが必要となる ▪ 各事業会社の独立性を重んじるために発生する利害関係の不一致 データは自社のみで利用したい (共有したくない)

    他社のデータも含めて分析したい データを集める難易度よりも、データの取り扱いとガバナンス 社内各社に対する公平な公開と制御された公開 この設計が非常に重要になる 済 未 データを集めることは出来た だが未だ、利用側に対してローデータとして提供出来ていない
  4. Medallion Architecture Blob storage RDB connection Message queue REST APIs

    ETLs AEON SMART PLATFORM FOR DATA ( ASP/D ) 多様性のある多くのニーズに対して、 ・簡易に ・安心/安全に ・適切なデータを ・多様な手段で利用可能にする という事が出来ていない
  5. Medallion Architecture Blob storage RDB connection Message queue REST APIs

    ETLs AEON SMART PLATFORM FOR DATA ( ASP/D ) 多様なニーズに対して多様なプロトコルを保有し、多くの製品と連携出来るSnowflakeをコラボレーションレイヤの製 品として、ASP/Dに組み込むことを決定 既存プラットフォームをラッピングする形で、データガバナンス/提供の手段として活用 Snowflake自体がDCR概念の先駆者であり、多様なデータ提供パターンを有する製品であるため 「うちはSnowflakeを導入しています。どういったデータ連携をしたいかSnowflakeの提供機能から選んでください」 と言うことで、要求側の知識水準も上がり、連携パターンを汎化していく事に成功しつつある
  6. イオングループ 商品データウェアハウスの移行 DB2ベースで開発/運用されているイオングループの商品データウェアハウスをSnowflakeへ移行するプロジェクトを推進中 ETL ETL ETL ETL ETL ETL ETL

    ETL ETL ETL ETL ETL 社内 商品担当/MD システムの老朽化、各種EOLによりリプレース ETL ETL ETL ETL ETL ETL ETL ETL ETL ETL ETL ETL 社内 商品担当/MD DWHをSnowflakeへリプレース ETL処理とBIからの読み出し処理も変更 大幅なコスト削減と可用性、他用途展開の可能性を獲得