無印良品のID-POSデータ分析を紹介.pdf

Transcript

1. 無印良品のID-POSデータ分析を紹介 株式会社良品計画ITサービス部 王毅超、楊明 2023年7月27日(木)
2. 自己紹介 株式会社良品計画 王 毅超 オウ キチョウ 役職 仕事 プライベート 株式会社良品計画 ITサービス部 データサービス課 課長/データアーキテクト 2021年には良品計画に入社し、「データサービス課」を立ち上げ、 課の使命は、誰でも簡単に正しいデータインサイトを得るできるグローバル データプラットフォームの構築とデータ駆動型の組織変革を推進しています。 普段の業務は「データ戦略設計」「データ分析」「データ民主化PJ推進」な どです。直近の裏業務はDBTとDatabricksのPoCで。 趣味：スノーボード、旅行、グルメ、ゲーム 将来の夢：FIREでだらだらで世界一周
3. 良品計画の事業範囲 • 衣服雑貨 • 生活雑貨 • 食品 素の食のおいしさ 公共のデザイン 永く使える、変えら れる • MUJI Diner • Café&Meal MUJI • 被災地支援 • 途上国との取り組み • ReMUJI • BRINGプロジェク ト • ショッピングバッ グ • キャンプ場運営 • MUJI HOTEL • 団地再生 • コワーキングスペース • 駅、空港 • 自動運転バス • MUJI HOUSE • MUJI RENOVATION CLUB • 店舗の土着化活動 • 里山の保全 • 諸国良品 • ローカルニッポン 未利用資源の活用 • 耕作放棄地 • 廃校 • 地元特産物 • 団地 天然資源の保全 無駄をなくす取り組み 環境貢献 社 会 貢 献 地 域 ・ 文 化 貢 献 生活貢献 絆を大切にする活動 社会への支援
4. 良品計画の事業範囲 詳細
5. 良品計画のグローバルネットワーク
6. 商品企画・計画 生産・輸送 販売 個店仕入 直営店販売 LS販売 オンライン販売 移動販売 法人販売（卸売） 商品企画・デザイン MD計画 商品製造/生産（サプライヤー） 輸送・貿易 自社倉庫運営 オーダーメイド生産 生鮮・日配品仕入 良品計画のバリューチェーン
7. 2021年9月から『第二創業期』がスタート。 良品計画の今 IT・ECデジタル部門における中期経営計画 ・基幹系システムを刷新し、自立分散型業務に合わせ再構築し業務を着地させる。 ・店舗レジ基盤の刷新、店舗業務のデジタル化による作業の削減・効率化を持続可能にする。 ・ECサイトでの売り上げ比率15%を目指す。 ※感じよいオンラインの提供 ・現場に入り込み業務変革を主体的にリードする。 ・個人情報管理・セキュリティ対策含めガバナンスを効かせた体制を確立する。
8. 自己紹介 株式会社良品計画 楊 明 ヤン ミン 役職 仕事 プライベート 株式会社良品計画 ITサービス部 データサービス 課 データエンジニア 2022年株式会社良品計画に入社。 良品計画データ分析基盤の構築＆運用をリード。 ソリューション策定からデータ基盤の構築・運用まで、EndTOEndでデータ 活用を実現。 基盤構築ではなく、アセット活用や自動化によるクイックなビジネス効果創 出を実現。 趣味：登山、ビリヤード、キャンプ 将来の夢：沖縄でそば店を開業
9. 目録 1. ID-POSデータ分析の要件 2. ID-POSデータ分析の全体構成 3. 今後の展望 4. 最後に
10. 1. ID-POSデータ分析の要件
11. ID-POSデータ分析の目的 DXの推進による業務効率化 ビジネス効率向上 売上データや在庫管理などの情報をリアルタイムで把握し、ビジネスプロ セスを最適化します。在庫の不足や過剰などの問題を素早く検知し、補充 や調整を行うことで効率を向上させます。 売上と利益の最大化 不正検知とセキュリティ 強化 ID-POSデータから得られる洞察を活用し、売上を増やすための戦略を立案 します。顧客の購買傾向や需要予測などを分析し、適切な販売促進策や キャンペーンを展開して売上と利益を最大化します。 異常な取引パターンや詐欺行為を検知するために利用できます。不正な活 動を早期に発見し、適切なセキュリティ対策を講じることで、経済的な損 失を防ぐことができます。 商品戦略の改善 商品の売れ行きや需要の変化を把握します。これにより、売れ筋商品の強 化や新商品の開発、在庫管理の改善など、より効果的な商品戦略を立案し ます。
12. ID-POSデータ分析の要件 リアルタイム性と信頼性 ID-POSデータはリアルタイムで反映されることが求められる場合があるの で、適切なデータ収集頻度を検討します。データの正確性、完全性、一貫 性を確保するためのプロセスと監視を確立します。 データの保管と管理 データの可視化とレポー ト ID-POSデータの可視化ツールやダッシュボードを構築し、ビジネス関係者 がデータを分かりやすく理解し、意思決定に役立てることをサポートしま す。適切なレポートとダッシュボードは、重要なKPIの把握とビジネスの洞 察を提供します。 スケーラビリティとパ フォーマンス ID-POSデータ分析基盤をスケーラブルに構築し、将来的なデータ増加にも 対応できるようにします。高いパフォーマンスと処理能力が確保されるこ とで、リアルタイムまたは近接リアルタイムのデータ分析を可能にします。 大量のID-POSデータを効果的に管理するために、データレイクやデータ ウェアハウスを構築します。適切なデータの保管と管理は、データへのア クセスとクエリの効率化、データのセキュリティ確保に重要です。
13. 2. ID-POSデータ分析の全体構成
14. ID-POSデータ分析の全体構成 MUJI Datalake MUJI POS 店舗 本部 MUJI POS MUJI POS 実績 集計 集計サーバー 連携ファイル出力処 理 batchサーバー 連携ファイル連携処 理 （日次） Kinesis Agient Kinesis Streams raw層 staging層 Insight層 ETL ETL SQL queries SQL queries Amazon SageMaker Tableau Server 利用者 利用者 利用者 Amazon Athena アドホック分析 意思決定 機会学習 MUJI POS MUJI Data Platform
15. MUJI DataLake MUJI DataLakeは「stagingデータレイク」・ 「 rawデータレイク」 ・ 「 insightデータレイク」の3層構造 Staging層 Raw層 Insigth層 様々なデータソースから構造化データ（テーブルデータなど）、非構造化 データ（画像、音声、動画データやアプリケーションのログなど）、半構 造化データ（JSON、CSV など）を加工せず、そのままの状態で保存する 場所です。 staging層のデータをもとに、データのフォーマットを変更した後のデータ を保存する場所です。場合による、データ粒度(日次、週次、月次)で加工 したデータ、汎用データなども保存する場所です。 raw層のデータをもとに、ビジネス要件による加工した汎用なデータを保存 する場所です。
16. ID-POSデータ集約 ストリーミング処 理 (ほぼリアルタイ ム) バッチ処理 「ストリーミング処理」と「バッチ処理」の二つの処理の仕組みで、「鮮度」と「精度」を両立させるPOSデータ 集約仕組みを構築する。 日次で確定データをS3連携す ることでデータの完全性を担 保 データ集約方式 データ集約説明 データ集約アーキテクチャー Amazon Lambda Amazon S3 Amazon Kinesis Data Streams Parse data Read data Kinesis Agent For Windows MUJIPOSではPOS取引ログか らストリーミング処理でデー タレイクまで連携することで、 データ新鮮度を担保 batch Amazon S3 Amazon S3 Amazon Glue Parse data Read data
17. ストリーミングでID-POSデータ蓄積 Amazon Lambda Amazon S3 Amazon Kinesis Data Streams ③Parse data ② Read data Kinesis Agent For Windows LambdaでJson形式のストリーミングデータを解析し、parquet形式のファイルをデータレイクに蓄積する。 ①write data 複数台Kinesis agentからKinesis Data Streams へPOS jsonを書き込む ① write data ② Read data LambdaでJson形式のストリーミングデータを解 析し、parquet形式のファイルをデータレイクに outputする ③ Parse data ストリーミングデータを一定量蓄積してから、 Lambda関数を起動し、ストリーミングデータを 読み込む Lambda関数の起動条件 バッチウィンド ウ: 120(秒) バッチサイズ: 10000 バッチウィンドウ:関数を呼び出すまでにレコードを収集する最大時間 (秒) バッチサイズ：関数に送信する各バッチのレコード数
18. JSONデータ解析 { ”TransactionID” : 123, “TerminalNo” : “abc123”, “SystemDateTime” : “2023-07-27 14:07:01”, “OperatorCode” : 64728, “OperatorName” : ”良品 太郎”, “TotalAmount”: 4000 “ListItem”: [ { “TransactionNo” : 123 “ItemCode” : 1111 “Price” : 1200 “Quantity” : 2 “Amount” : 2400 }, “TransactionNo” : 123 “ItemCode” : 2222 “Price” : 1000 “Quantity” : 2 “Amount” : 2000 { }, .. ], “ListItemDiscount”: [ { “TransactionNo” : 123 “ ItemCode” : 1111 “DiscountCode” : “現品処分” “TargetQuantity” : 2 “TotalAmount” : 400 } ] } POS側の値引データ(JSON形式) Amazon Lambda transaction_log(取引ログ) transaction_item_detai (取引商品詳細) transaction_item_discount (取引商品値引) Datalake Rawデータ(parquet形式) LambdaでJSONデータを行 と列の関係形式に展開する
19. ストリーミング処理の性能とボトルネック Amazon S3 Amazon Kinesis Data Streams Kinesis Agent For Windows Amazon Lambda ... … シャード シャードはAmazon Kinesisストリームにおけるスループットの基本単位です Kinesis Agent側の制限 が一台、最大 500レコー ド/秒 オンデマンドモードのデータストリームがスルー プットを自動的にスケールして、書き込み容量とし て最大で 200 MiB/秒および 200,000 レコード/秒 のトラフィックに対応します。 読み込み容量として最大で 400 MiB/秒 一定量のストリーミングデータ (120秒 OR 10000レポート)をま とめてからLambda関数で処理す るようバッチ設定
20. バッチ処理でID-POSデータ蓄積 MUJI Datalake raw層 staging層 batchサーバー 日次でPOSデータ転送 AWS Glue Catalog rawデータのcatalog更 新 josnデータ解析 Parquet形式output Amazon MWAA Amazon MWAAは Amazon Managed Workflows for Apache Airflow Workflow管理
21. Catalog管理 MUJI Datalake raw層 Insight 層 raw database insight database Data Catalog location location MUJI Datalakeの全てのデータをカタログ化して一元管理する。データのサイロ化を解消し、データ の収集と加工に要する時間を短縮し、全社横断的にどこからでも容易に欲しいデータを発見し、分析・ 活用することが可能となる。 Amazon Athena Amazon Redshift Spectrum Amazon SageMaker 帳票システム データ可視化 レポーティン グ 機械学習モデル
22. データ可視化事例 ID-POS データ 源泉データ MUJI Datalake マスタデー タ MUJI BI MUJI Datalakeでは、販売データ(ID-POS)や商品、店舗、ロケーション等マスタデータを一元管理する。 クエリエンジンを使って、分析ニーズにより、それぞれの当日データマート、過去実績データマートを作る。 Tableauでそれぞれのデータマートと接続して、業務支援、意思決定用のダッシュボードを作成し、公開する。 Raw層 Insight層 店舗マスタ 商品マスタ 販売データ ロケーションマ スタ リアルタイムに売上確認 し、当日の店舗オペレー ションを組み立てるため に利用する 時間帯毎売上・客数推 移 当日店舗毎売上、収益、 目標達成率 日次商品毎売上・客数 月次売上・利益・値引 店舗の過去売上データを 可視化することで、傾向 を把握したり、中長期的 な戦略立案の場面で役立 つ ５分ぐらい間 隔 データソース 刷新 日次・週次・月次 データソース刷新
23. 3.今後の展望
24. 今後の展望 売上向上のため、店舗オペレーションの見直しと改善が必要なので、リアル店舗でお客様の行動分析のニーズを増やす。 既存ID-POSデータ分析構成はデータマート更新まで、ストリーミング処理ではなく、 後半Lambda+ Athenaでバッチ処 理を行う。 今後、ストリーミングデータを可視化・不正検知・在庫補充検知する仕組みを構築することをチャレンジしたい。 TOBE 店舗レジ 物流セン ター リアルタイムな販 売データ リアルタイムな在 庫データ MUJI Data Platform ストリーミング ストリーミング 在庫の不足 異常な取引 リアルタイム分析 リアルタイム計算 異常な取引パターンや詐 欺行為を早期に発見し、 適切なセキュリティ対策 を講じることで、経済的 な損失を防ぐ 店長 物流セン ター 自動的に注文を発注する ことで、欠品リスクを最 小限に抑え、カスタマー サービスを向上させる アラー ト 自動発注
25. 4.最後に
26. IT部門 約200名体制を構築する。 ・バックエンドシステムを構築・運用している部門。 ・事業会社やコンサルファーム出身者が多い。 ・IT戦略、PM、インフラ、データエンジニア、サーバーサイド/フロントエンドエンジニア、システム運用な ど幅広い職種。 IT 採用計画 (2022年4月～2023年8月末) ITサービス部 100名体制を目指す。 現在60+名。 ※23年7月時点 ・MUJIパスポートアプリ・ECサイトの集客・運用している部署。 ・デジタルマーケティング、デザイン、フロントエンドエンジニアなどフロント職を中心に募集。 EC・デジタルサービス部 100名体制を目指す。 現在80+名 ※23年7月時点
27. データサービス課につい て ミッション 1. 多様化、地域土着化、グローバル化ビジネスを支えることができる、高品質で有意義なデータと アナリティクスサービスの提供よりデータのビジネスバリューを最大化する 2. Data-Driven組織変革の推進により、ビジネス効率を向上する データサービス課が実現したいこと • 単一的な信頼性的なデータと分析結果の供給 • リアルタイムデータ・分析と業務適用の実現 • Data-Driven組織変革のインフラ • AI・MLで業務イノベーションを実現 目指す会社像 • 機会と顧客ニーズに対応できるスピードを向上できる • より多くの顧客中心のソリューションとエクスペリエンス を作成できる • より効率的で生産的なチームを構築できる
28. データサービス課につい て Data Platformと利用テクノロジー
29. 採用について 募集ポジション Data Analyst Data Engineer 全社で取り扱う計画・実績数値の可視化・レポート開発お よび関連プロジェクトの推進を行い、業務部門に対して データドリブンな意思決定を行うための風土の醸成やツー ルの展開・業務定着を担当 グローバル全社におけるデータドリブンな意思決定を行う ための全社データ基盤構築を担当 面白さ • データ分析を担当するだけではなく、データ利活用を通じて、 業務の改善、変革をリードするとともに、データが活用される 風土を作っていく役割であること 面白さ • 良品計画のデータエンジニアは、エンジニアリングと基盤開発 にとどまらず、データ利活用を通じて、業務の改善、変革を リードしていく役割であること • データ分析、開発だけでなく、その先の事業、業務を見据えた動きができる（求 められる） • 「第二創業期」というキーワード通り、仕組みから作っていくことができる 要件 • データ分析実務経験、プログラミング、SQL、業務知見 要件 • データ分析基盤のインフラ・アーキテクチャ設計・導入・運用経 験 申し込みリンク https://hrmos.co/pages/muji/jobs/event01 申し込みリンク https://hrmos.co/pages/muji/jobs/event02
30. ご清聴ありがとうございました！
31. 良品計画紹介
32. 良品計画紹介
33. 良品計画紹介