Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
イオンが立ち上げる超巨大データ基盤
Search
Ken YAMAZAKI
December 14, 2023
Technology
1
1k
イオンが立ち上げる超巨大データ基盤
Ken YAMAZAKI
December 14, 2023
Tweet
Share
More Decks by Ken YAMAZAKI
See All by Ken YAMAZAKI
巨大企業でDX革新を起こすということ BTCONJP 2024
yamaken66
1
640
AEONにおける、プロダクトオーナーとプロダクトマネージャー制へのチャレンジ
yamaken66
1
85
レガシーをぶっ壊せ。AEONで始めるDevRelの話
yamaken66
4
550
Other Decks in Technology
See All in Technology
Terraform未経験の御様に対してどの ように導⼊を進めていったか
tkikuchi
2
430
Flutterによる 効率的なAndroid・iOS・Webアプリケーション開発の事例
recruitengineers
PRO
0
100
【Pycon mini 東海 2024】Google Colaboratoryで試すVLM
kazuhitotakahashi
2
510
適材適所の技術選定 〜GraphQL・REST API・tRPC〜 / Optimal Technology Selection
kakehashi
1
470
初心者向けAWS Securityの勉強会mini Security-JAWSを9ヶ月ぐらい実施してきての近況
cmusudakeisuke
0
120
AWS Lambdaと歩んだ“サーバーレス”と今後 #lambda_10years
yoshidashingo
1
170
Python(PYNQ)がテーマのAMD主催のFPGAコンテストに参加してきた
iotengineer22
0
480
いざ、BSC討伐の旅
nikinusu
2
780
スクラムチームを立ち上げる〜チーム開発で得られたもの・得られなかったもの〜
ohnoeight
2
350
Amazon CloudWatch Network Monitor のススメ
yuki_ink
1
210
SSMRunbook作成の勘所_20241120
koichiotomo
2
150
インフラとバックエンドとフロントエンドをくまなく調べて遅いアプリを早くした件
tubone24
1
430
Featured
See All Featured
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5k
Designing Experiences People Love
moore
138
23k
Making the Leap to Tech Lead
cromwellryan
133
8.9k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
27
840
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.1k
For a Future-Friendly Web
brad_frost
175
9.4k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
It's Worth the Effort
3n
183
27k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
26
2.1k
Transcript
イオンが⽴ち上げる超巨⼤データ基盤 イオン株式会社 CTO 兼 イオンスマートテクノロジー CTO ⼭﨑 賢
イオン株式会社 CTO 兼 イオンスマートテクノロジー CTO ⼭﨑 賢 ⾃⼰紹介 ・Yahoo︕ JAPANでエンジニアとしてオークション/ショッピングの開発
・リクルートで⼤規模サービス複数の開発責任者 ・アソビューCTO ・トラストバンクCTO ・2024年3⽉から現職 イオンをTechカン パーに化するために ⾊々発信していま す。 ⼭﨑 賢 ( やまけん @yamaken_66 )
数字で⾒るイオングループ
成り⽴ち ! " # $ 歴 史 ' ︑ 合
併 $ 歴 史 + , - . / 0 連 帯 +
成り⽴ち 膨⼤な顧客がそれぞれに存在するが、 多くは相互に連携されていない ✗ ✗ ✗ ✗ ✗ ✗ ✗
✗
成り⽴ち まず、共通の会員IDを⽤意し相互に接続を実施
そして、グループ全体のデータを統合していく データ基盤 会計 商品 店舗 顧客 ⾏動 ポイント 天気 出荷・配送
グループ全体のデータを統合していく データ基盤 会計 商品 店舗 顧客 ⾏動 ポイント 天気 出荷・配送
⽬的は個⼈の特定ではなく、顧客価値の最⼤化のため。 お客様が望んでいるもの/価値 更に⼼地よい顧客体験 データを⽤いた経営の最適化 こららの実現のためにデータを集約し活⽤することを⽬指しています。
超巨⼤とは (規模の話) 述べ会員数 1億⼈以上 店舗数 20,000 店舗以上 年間来店客数 14億以上 グループ連結売上
9兆円以上 ⼦会社数 300以上
DM ETL ETL ETL Storage API MQ DB link ETL
㊙ 超加⼯ プロセス アーキテクチャの触りだけ ( 今後の展開も含む ) Azure Japan Region カスタマーデータプラットフォーム/従業員向けの業務サポートツール/各種ダッシュボード アドホック分析/データサイエンス/Openデータとのコラボレーション/各社とのオーケストレーション
超巨⼤データ基盤の勘所って︖ 今はアーキテクチャが進化している。 単純な⼤量データ基盤なら何も⼼配ない。 集めて貯めるだけなら、⼭程事例はある。 超巨⼤のKnow Howはそこではない 特にイオングループは合併で⼤きくなってきた会社。 それぞれの会社には ・違うシステムがあり ・違うビジネスがあり
・違うデータがある
超巨⼤とは ( 実は最も重要な観点 ) 超巨⼤ ≠ データ量 超巨⼤ = 多様性
多様性 = 利害関係 多様性 =データ構造 多様性 =連携システム 多様性 = 利⽤者
最も考えるべきこと1 連携システムの多様性
最も考えるべきこと1 連携システムの多様性 連携システム。特にデータ源泉は多様。 ・インフラ環境も違う ( オンプレだったり、違うクラウドだったり ) ・稼働しているOSも違う( Windowsだったり、Linuxだったり )
・連携⽅式が違う ( APIだったり、TCPだったり、HULFTだったり、CSVだったり) ・連携タイミングが違う ( リアルだったり、バッチだったり ) ・連携鮮度が違う ( 当⽇分だったり、前⽇分だったり ) 多様な要件に合わせに⾏かない ・データ基盤は正しく運⽤し続ける必要がある ・データ源泉の多様性に合わせにいくと、無限に障害点が増える ・標準的な連携パターンを複数⽤意し、その連携パターンのどれかを選択する設計
最も考えるべきこと2 データ構造の多様性
送信されるデータ構造もデータ源泉では多様 ・データ階層 ・データ型 ・データカラム名 などなど 概念毎にフォーマットを正規化/標準化する ・データ源泉のデータ構造は無邪気に変更されると思え ・その度にデータ連携が失敗しないための備えをする ・データ基盤取り込み⽤のデータフォーマットは標準化し、データ源泉から送る側で 標準化してもらう責任分解の設計をする
最も考えるべきこと2 データ構造の多様性 源泉 源泉側システム データ基盤 標準化変換 標準IF ETL DM
最も考えるべきこと3 利害関係の多様性
複数の組織や事業会社から成り⽴つデータ基盤の場合、利害関係に差異が⽣まれる ・必ずしも⼤規模データを連携する源泉がデータ基盤の最⼤受益者とはならない ・むしろ保有データが少ない組織/事業ほど、⾃分らで補完出来ないデータ基盤にニー ズがある ・Give & Takeにはならない。限りなくGiveのみ。限りなくTakeのみが存在する 個別単位のベネフィットにスコープしない ・組織/事業単位の短期的なROIを考えると破綻する ・もっと⼤きな枠組み。会社全体とかグループとか。全体最適で最上位組織が
号令を出す ・データが集まるとイノベーションが発⽣する。結果として全体が利 益を享受出来る 最も考えるべきこと3 利害関係の多様性 デ ー タ 基 盤 事業A 事業B うちで既にデータいっぱい持ってるから内部 分析で⼗分なんやけどな・・ うちデータ全然無いから、事業Aのデータ めっちゃ助かるわー デ ー タ 基 盤 事業A 事業B 全体でデータ基盤に集約することを決めよう 結果としてデータが集約されることで、新しい 発明が起き、⾮連続な成⻑が発⽣する
最も考えるべきこと4 利⽤者の多様性
データ基盤の利⽤者は⼈であれ、システムであれ多様となる。 ・アドホックに分析したい ・⾼度なモデルを開発したい ・⾃分⽤のダッシュボードを作りたい ・WEB接客をぶん回したい ニーズは宝。制限しない。 ・利⽤の間⼝は広げる。 ・⾃由度をあげる ・それを可能なシステムを作り上げる ・中央は聖域化し⼲渉しない
・中央は使わせない。衛星を作る データ基盤 最も考えるべきこと4 利⽤者の多様性 あれやりたい これやりたい もっともっと カリカリカリカリ データ基盤 あれやりたい これやりたい もっともっと カリカリカリカリ ⾃由 分析 環境 ⾼度分析⽤ リソース BI DB 専⽤ リソース 専⽤ リソース
考えるべきこと 〜 まとめ 〜
考えるべきこと 〜 まとめ 〜 データ基盤 聖域化zone ⾃由に使わせない 堅牢に。安定的に。 多様なニーズを受け⼊れる 必要に応じて仕組みを追加する
標準化zone 多様性を受け⼊れない ⼀定のルールで厳格化する ETL ETL ETL Storage API MQ DB link ETL 多様的利⽤zone 意志統制zone 個別でなく、組織全体/グループ全体としてデータを集めることを意思決定し推進する
そして今後の展望
データを⾼度に抽象化し個⼈を特定出来ない状態にした上で、クリーンルームを利⽤して 他社とコラボレーションを実現 各種マーケティングとの接続を実施し、リテールメディア/広告の最適配信を実現 サプライチェーン全体に対する需要予測/商品開発の分析 ⽣産や配送の全体効率化と、地域社会の⽣産者に対する還元 ⽇本全体の⼩売の最適化への貢献
いつもの
https://recruit.aeon.info/find-my-aeon/?recruit_type=career We Are Hiring !!! 〜 ご清聴ありがとうございました 〜 ⼩売企業でエンジニアリングとしてのイメージが薄いイオングループですが、現在その⾵⼟を⼤きく変えようと 仲間が集結しています。
イオンを起点に⽇本全体にポジティブなエンジニアリングイノベーションを起こしていきます