Slide 1

Slide 1 text

イオンが⽴ち上げる超巨⼤データ基盤 イオン株式会社 CTO 兼 イオンスマートテクノロジー CTO ⼭﨑 賢

Slide 2

Slide 2 text

イオン株式会社 CTO 兼 イオンスマートテクノロジー CTO ⼭﨑 賢 ⾃⼰紹介 ・Yahoo︕ JAPANでエンジニアとしてオークション/ショッピングの開発 ・リクルートで⼤規模サービス複数の開発責任者 ・アソビューCTO ・トラストバンクCTO ・2024年3⽉から現職 イオンをTechカン パーに化するために ⾊々発信していま す。 ⼭﨑 賢 ( やまけん @yamaken_66 )

Slide 3

Slide 3 text

数字で⾒るイオングループ

Slide 4

Slide 4 text

成り⽴ち ! " # $ 歴 史 ' ︑ 合 併 $ 歴 史 + , - . / 0 連 帯 +

Slide 5

Slide 5 text

成り⽴ち 膨⼤な顧客がそれぞれに存在するが、 多くは相互に連携されていない ✗ ✗ ✗ ✗ ✗ ✗ ✗ ✗

Slide 6

Slide 6 text

成り⽴ち まず、共通の会員IDを⽤意し相互に接続を実施

Slide 7

Slide 7 text

そして、グループ全体のデータを統合していく データ基盤 会計 商品 店舗 顧客 ⾏動 ポイント 天気 出荷・配送

Slide 8

Slide 8 text

グループ全体のデータを統合していく データ基盤 会計 商品 店舗 顧客 ⾏動 ポイント 天気 出荷・配送 ⽬的は個⼈の特定ではなく、顧客価値の最⼤化のため。 お客様が望んでいるもの/価値 更に⼼地よい顧客体験 データを⽤いた経営の最適化 こららの実現のためにデータを集約し活⽤することを⽬指しています。

Slide 9

Slide 9 text

超巨⼤とは (規模の話) 述べ会員数 1億⼈以上 店舗数 20,000 店舗以上 年間来店客数 14億以上 グループ連結売上 9兆円以上 ⼦会社数 300以上

Slide 10

Slide 10 text

DM ETL ETL ETL Storage API MQ DB link ETL ㊙ 超加⼯ プロセス アーキテクチャの触りだけ ( 今後の展開も含む ) Azure Japan Region カスタマーデータプラットフォーム/従業員向けの業務サポートツール/各種ダッシュボード アドホック分析/データサイエンス/Openデータとのコラボレーション/各社とのオーケストレーション

Slide 11

Slide 11 text

超巨⼤データ基盤の勘所って︖ 今はアーキテクチャが進化している。 単純な⼤量データ基盤なら何も⼼配ない。 集めて貯めるだけなら、⼭程事例はある。 超巨⼤のKnow Howはそこではない 特にイオングループは合併で⼤きくなってきた会社。 それぞれの会社には ・違うシステムがあり ・違うビジネスがあり ・違うデータがある

Slide 12

Slide 12 text

超巨⼤とは ( 実は最も重要な観点 ) 超巨⼤ ≠ データ量 超巨⼤ = 多様性 多様性 = 利害関係 多様性 =データ構造 多様性 =連携システム 多様性 = 利⽤者

Slide 13

Slide 13 text

最も考えるべきこと1 連携システムの多様性

Slide 14

Slide 14 text

最も考えるべきこと1 連携システムの多様性 連携システム。特にデータ源泉は多様。 ・インフラ環境も違う ( オンプレだったり、違うクラウドだったり ) ・稼働しているOSも違う( Windowsだったり、Linuxだったり ) ・連携⽅式が違う ( APIだったり、TCPだったり、HULFTだったり、CSVだったり) ・連携タイミングが違う ( リアルだったり、バッチだったり ) ・連携鮮度が違う ( 当⽇分だったり、前⽇分だったり ) 多様な要件に合わせに⾏かない ・データ基盤は正しく運⽤し続ける必要がある ・データ源泉の多様性に合わせにいくと、無限に障害点が増える ・標準的な連携パターンを複数⽤意し、その連携パターンのどれかを選択する設計

Slide 15

Slide 15 text

最も考えるべきこと2 データ構造の多様性

Slide 16

Slide 16 text

送信されるデータ構造もデータ源泉では多様 ・データ階層 ・データ型 ・データカラム名 などなど 概念毎にフォーマットを正規化/標準化する ・データ源泉のデータ構造は無邪気に変更されると思え ・その度にデータ連携が失敗しないための備えをする ・データ基盤取り込み⽤のデータフォーマットは標準化し、データ源泉から送る側で 標準化してもらう責任分解の設計をする 最も考えるべきこと2 データ構造の多様性 源泉 源泉側システム データ基盤 標準化変換 標準IF ETL DM

Slide 17

Slide 17 text

最も考えるべきこと3 利害関係の多様性

Slide 18

Slide 18 text

複数の組織や事業会社から成り⽴つデータ基盤の場合、利害関係に差異が⽣まれる ・必ずしも⼤規模データを連携する源泉がデータ基盤の最⼤受益者とはならない ・むしろ保有データが少ない組織/事業ほど、⾃分らで補完出来ないデータ基盤にニー ズがある ・Give & Takeにはならない。限りなくGiveのみ。限りなくTakeのみが存在する 個別単位のベネフィットにスコープしない ・組織/事業単位の短期的なROIを考えると破綻する ・もっと⼤きな枠組み。会社全体とかグループとか。全体最適で最上位組織が 号令を出す ・データが集まるとイノベーションが発⽣する。結果として全体が利 益を享受出来る 最も考えるべきこと3 利害関係の多様性 デ ー タ 基 盤 事業A 事業B うちで既にデータいっぱい持ってるから内部 分析で⼗分なんやけどな・・ うちデータ全然無いから、事業Aのデータ めっちゃ助かるわー デ ー タ 基 盤 事業A 事業B 全体でデータ基盤に集約することを決めよう 結果としてデータが集約されることで、新しい 発明が起き、⾮連続な成⻑が発⽣する

Slide 19

Slide 19 text

最も考えるべきこと4 利⽤者の多様性

Slide 20

Slide 20 text

データ基盤の利⽤者は⼈であれ、システムであれ多様となる。 ・アドホックに分析したい ・⾼度なモデルを開発したい ・⾃分⽤のダッシュボードを作りたい ・WEB接客をぶん回したい ニーズは宝。制限しない。 ・利⽤の間⼝は広げる。 ・⾃由度をあげる ・それを可能なシステムを作り上げる ・中央は聖域化し⼲渉しない ・中央は使わせない。衛星を作る データ基盤 最も考えるべきこと4 利⽤者の多様性 あれやりたい これやりたい もっともっと カリカリカリカリ データ基盤 あれやりたい これやりたい もっともっと カリカリカリカリ ⾃由 分析 環境 ⾼度分析⽤ リソース BI DB 専⽤ リソース 専⽤ リソース

Slide 21

Slide 21 text

考えるべきこと 〜 まとめ 〜

Slide 22

Slide 22 text

考えるべきこと 〜 まとめ 〜 データ基盤 聖域化zone ⾃由に使わせない 堅牢に。安定的に。 多様なニーズを受け⼊れる 必要に応じて仕組みを追加する 標準化zone 多様性を受け⼊れない ⼀定のルールで厳格化する ETL ETL ETL Storage API MQ DB link ETL 多様的利⽤zone 意志統制zone 個別でなく、組織全体/グループ全体としてデータを集めることを意思決定し推進する

Slide 23

Slide 23 text

そして今後の展望

Slide 24

Slide 24 text

データを⾼度に抽象化し個⼈を特定出来ない状態にした上で、クリーンルームを利⽤して 他社とコラボレーションを実現 各種マーケティングとの接続を実施し、リテールメディア/広告の最適配信を実現 サプライチェーン全体に対する需要予測/商品開発の分析 ⽣産や配送の全体効率化と、地域社会の⽣産者に対する還元 ⽇本全体の⼩売の最適化への貢献

Slide 25

Slide 25 text

いつもの

Slide 26

Slide 26 text

https://recruit.aeon.info/find-my-aeon/?recruit_type=career We Are Hiring !!! 〜 ご清聴ありがとうございました 〜 ⼩売企業でエンジニアリングとしてのイメージが薄いイオングループですが、現在その⾵⼟を⼤きく変えようと 仲間が集結しています。 イオンを起点に⽇本全体にポジティブなエンジニアリングイノベーションを起こしていきます