データ分析基盤を作ってみよう～設計編～

Slide 1

Slide 1 text

データ分析基盤を作ってみよう～設計編～ NRIネットコム TECH AND DESIGN STUDY #37～ 2024年7月18日 NRIネットコム株式会社執行役員デジタルソリューション事業本部長クラウドテクニカルセンターセンター長佐々木拓郎

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

3 Copyright（C） NRI Netcom, Ltd. All rights reserved. データ分析と私① AWS 認定の廃止と開始のお知らせ | Amazon Web Services ブログ https://aws.amazon.com/jp/blogs/news/aws-certification-retirements-and-launches/ AWS 認定の廃止と開始のお知らせ 2024 年 4 月に、AWS Certified Data Analytics – Specialty (DAS)、 AWS Certified Database – Specialty (DBS)、AWS Certified: SAP on AWS – Specialty (PAS) の 3 つの AWS 認定を廃止します。テクノロジーの変化の速さを考慮して、私たちは常に認定を見直し、お客様のニーズにどの程度応えているかを評価しています。私たちは、Specialty の AWS 認定の数を減らし、Foundational、Associate、Professional の AWS 認定を強化することで、お客様により良いサービスを提供する機会があると考えています。発売日 2023/6/26

Slide 5

Slide 5 text

4 Copyright（C） NRI Netcom, Ltd. All rights reserved. データ分析と私② AWSの薄い本Ⅴ データ分析基盤を作ってみよう～性能測定編～ https://booth.pm/ja/items/5231829 技術同人誌も書いています AWSの薄い本Ⅲ データ分析基盤を作ってみよう～設計編～ https://booth.pm/ja/items/3059020

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

8 Copyright（C） NRI Netcom, Ltd. All rights reserved. データ分析基盤のレイヤーチャネル、施策接点データ集計・蓄積データ分析基盤広告メール SMS LINE SNS 検索外部キャンペーンモバイルアプリ公式SNS EC 商品ブランド BtoC会員 BtoB 会員 DL資料ウェビナー購買CV 加入CV CRM システム計測ツールデータレイク ETL DWH 分析システム BI ダッシュボード施策データ施策利用のためのマーケティングツール等の連携エンドユーザー接点・行動レイヤー計測、働き掛けレイヤーデータ活用の中枢レイヤー(分析基盤）データの施策活用送客CV リマケCV 申込CV 分析データデジマツール（特化型）デジマツール（ﾜﾝﾊﾟｯｹｰｼﾞ型）今日のお話の対象

Slide 10

Slide 10 text

9 Copyright（C） NRI Netcom, Ltd. All rights reserved. 利用者は、データウェアハウス（DWH）を経由してデータを閲覧する目的に合わせて加工したデータをデータウェアハウスに格納して分析するリアルの世界での活動履歴オフラインデータ用途に応じてデータを編集 ETL 構造化したデータを保存する場所データウェアハウス Web等のオンライン上の活動履歴オンラインデータ生データクエリ分析・可視化機械学習 POINT 元データを構造化する段階で、不要な情報が切り捨てられる別の切り口で分析する際には、元データの再連携が必要加工済データ一般的なシステム構成であるものの、ビジネス環境の変化が加速する事で課題が出てくる場合もある構造化の過程で、不要な情報が切り捨てられる

Slide 11

Slide 11 text

10 Copyright（C） NRI Netcom, Ltd. All rights reserved. データ分析活動の３つの分類データ分析の活動は、収集系・蓄積系・分析/処理系の３つに分類して管理すると良いデータをそのまま保存構造化したデータを保存用途に適したデータを抽出用途に応じてデータを編集蓄積系データ分析基盤リアルの世界での活動履歴オフラインデータ用途に応じてデータを編集 ETL 構造化したデータを保存する場所データウェアハウス用途別にデータを保存する場所データマート Web等のオンライン上の活動履歴オンラインデータ収集系転送様々なデータをそのまま保存する場所データレイク処理・分析系整形されたデータで分析取得分析・可視化機械学習 POINT データ分析基盤内でも、役割/用途が違うデータウェアハウスとは別にデータレイクが必要

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

14 Copyright（C） NRI Netcom, Ltd. All rights reserved. データ変換の課題構造化の過程で分析に不要なデータは切り捨てられる非構造化データ構造化データ私の所属する少年野球チームには、 10人の選手がいます。キャッチャーの山田くんは６年生で、肩が強く身長は 155cmです。ピッチャーの田中くんは 5年生で身長は150cmです。彼は明るく元気で、チームのムードメーカーです。ファーストの・・・。名前ポジション身長学年山田田中・・・キャッチャーピッチャー 150 155 6 5 非構造化データからパターンを見出して構造化できる（場合がある）構造化データから非構造化データの復元は（原則）できない ×

Slide 16

Slide 16 text

Slide 17

Slide 17 text

16 Copyright（C） NRI Netcom, Ltd. All rights reserved. データレイクを3層構造にすると扱いやすい RAWデータレイク・中間データレイク・構造化データレイク RAWデータレイク DBデータなど構造化データアクセスログなど半構造化データデータレイク SNS投稿テキストなど非構造化データ ETL（整形処理）データの形式を統一フォーマット処理重複や欠損値の除去クレンジング処理個人情報などの除去マスク処理中間データレイク DBデータなど構造化データアクセスログなど半構造化データ構造化されたテキスト半構造化データ ETL（ビジネス加工）データ置換などビジネスロジック処理不要なカラムの除去などフィルタ処理データソースの属性結合エンリッチメント処理構造化データレイク顧客ごとのSNS反応履歴構造化データ Eコマースの購買履歴構造化データ実店舗の購買履歴構造化データ ETL（用途別加工）アプリ向けのデータ集約アプリ用処理古い情報のアーカイブアーカイブ用処理集計などの加工分析用処理 DWH データのフォーマットはバラバラで OK！データの意味そのものを変えるような加工はしない目的に応じて意味の改変も含めて加工したデータ

Slide 18

Slide 18 text

Slide 19

Slide 19 text

18 Copyright（C） NRI Netcom, Ltd. All rights reserved. AWSのサービスに当てはめると？それぞれの構成要素に対応した、複数のサービスがある。オフラインデータオンラインデータデータレイクデータウェアハウスデータマート分析・可視化機械学習 ETL データ分析基盤リアルの世界での活動履歴 Web等のオンライン上の活動履歴 Amazon S3 Amazon EMR AWS Glue Amazon Athena Amazon Redshift Amazon Aurora Amazon Kinesis Amazon SageMaker Amazon QuickSight POINT データレイクとしてはS3を利用する。それ以外は、規模・用途に応じて使い分ける蓄積系収集系処理・分析系データをそのまま保存構造化したデータを保存用途に適したデータを抽出用途に応じてデータを編集整形されたデータで分析転送取得

Slide 20

Slide 20 text

Slide 21

Slide 21 text

20 Copyright（C） NRI Netcom, Ltd. All rights reserved. データレイクとデータウェアハウスの課題 ◼データウェアハウスの課題 ⚫構造化データの処理に適しているが、非構造化データ・半構造化データは扱いづらい ⚫ストレージコストが高くなりがち ⚫複数チームから利用される場合の処理負荷 ◼データレイクの課題 ⚫データの沼地（Swamp）の問題。どこにどんなデータがあるのか解らない ⚫メタデータ、カタログ整理が必要 ⚫データウェアハウスとデータを二重で持つことになる

Slide 22

Slide 22 text

Slide 23

Slide 23 text

22 Copyright（C） NRI Netcom, Ltd. All rights reserved. まとめ ◼データ分析基盤の主な構成要素 ⚫ データソース ⚫ データレイク ⚫ ETL ⚫ データウェアハウス ◼データの構造 ⚫ 構造化データ、半構造化データ、非構造化データ ⚫ 構造化の過程のデータの切り捨て（非可逆性） ⚫ 元のデータを保持しておく必要がある ⇒ データレイクの重要性 ◼データレイクの構造化 ⚫ データレイクを使い易くするために、３層構造にすると使いやすい ⚫ RAWデータレイク、中間データレイク、構造化データレイク ⚫ DWHを使わずにデータレイクを直接使うデータレイクハウスという考え方もある

Slide 24

Slide 24 text

Slide 25

Slide 25 text

24 Copyright（C） NRI Netcom, Ltd. All rights reserved. 30分でわかる！AWSコスト削減方法とマルチアカウント管理「30分でわかる！AWSコスト削減方法とマルチアカウント管理 AWS利用料削減と、組織のマルチアカウント管理やセキュリティ統制を同時に実現するには？」【こんな方におススメです】・AWSアカウントの管理を任されている方・セキュリティやガバナンスの対策を検討中の方・AWSの利用料が増えて困っている方・AWS導入の予定があり、情報収集をしたい方【ウェビナーのお知らせ】7/23（火）開催「30分でわかる！AWSコスト削減方法とマルチアカウント管理」 https://cloud.nri-net.com/topics/202407-02/ 7月23日（火） 12:00～12:40

Slide 26

Slide 26 text

25 Copyright（C） NRI Netcom, Ltd. All rights reserved. 「AWS IAM のアンチパターンとAWSが考える”最低権限実現へのアプローチ”概略解説」 AWS IAM のアンチパターンとAWSが考える ”最低権限実現へのアプローチ”概略解説～AWS IAM Identity Center の活用を検討してみましょう～【こんな方におススメです】・AWS IAMの利用や管理において、まずは何に気を付ければよいのか悩んでいる方・AWS IAMの最小権限実現に悩んだことがある、もしくは、悩んでいる方・AWS IAM Identity Centerを利用しようとしている、もしくは、利用している方【ウェビナーのお知らせ】8/2（金）開催「AWS IAM のアンチパターンとAWSが考える”最低権限実現へのアプローチ”概略解説」 https://cloud.nri-net.com/topics/202407-05/ 8月2日（金） 12:00～13:00

Slide 27

Slide 27 text

No content