2021年3月18日に実施したデータ活用ウェビナーの登壇資料
データ分析基盤を作る上での設計のポイントと、AWSのサービス選定について
2021年3月18日NRIネットコム株式会社 クラウド事業推進部佐々木 拓郎AWSで作るデータ分析基盤サービスの選定と設計のポイントProvided byNRI Netcom
View Slide
1Copyright(C) NRI Netcom, Ltd. All rights reserved.NRIネットコムについてデータ分析基盤の作り方データ分析基盤のプロジェクトの進め方010203
2Copyright(C) NRI Netcom, Ltd. All rights reserved.佐々木 拓郎自己紹介◼ 2000年 4月 NRIネットコム株式会社入社◼ 現在 クラウド事業推進部 部長◼ 認定スクラムマスター(アジャイル)◼ 執筆Amazon Web Services パターン別構築・運用ガイド・Amazon WebServices クラウドネイティブ・アプリケーション開発技法・AmazonWeb Services 業務システム設計・移行ガイド …他多数◼ Webのシステムアーキテクトクラウドを中心に、フロントエンド・バックエンドのシステム全般◼ 情報処理技術者試験基本情報技術者、ソフトウェア開発技術者、情報セキュリティスペシャリスト◼ AWS認定
3Copyright(C) NRI Netcom, Ltd. All rights reserved.APNアドバンスドコンサルティングパートナーNRIネットコムのAWSへの取り組みNRIネットコムについて2年連続でアンバサダーが選出書籍執筆NRIとともに活動していましたが、2016年より独自のパートナーとして登録しました。2017年にはAPNアドバンスドコンサルティングパートナーに認定されています。また、コンピテンシーの取得も2019年より開始し、モバイルコンピテンシーを取得しています。AWSに関する高い技術と情報発信を評価するアンバサダー制度が日本に始まって以来、2年連続選出されています。Top Engineersも4名在籍し、現時点で取得可能な全資格取得者も複数名在籍しています。高い技術力を持った人材でAWSプロジェクトにあたっています。培ったAWSのノウハウを元に、社内のメンバーの有志たちでAWS本の執筆に取り組んでいます。毎年コンスタントに1~2冊づつ出版しています。どの本も非常に高い評価を受けています。
4Copyright(C) NRI Netcom, Ltd. All rights reserved.AWSのサービスを活用したクラウド上でのシステムの構築手順と設定。目的に応じたサーバ構築方法と、サービスの選び方をわかりやすく解説します。システムの構築と運用の現場で培った実践的なノウハウが凝縮された一冊です。NRIネットコム株式会社 佐々木 拓郎, 林 晋一郎,小西 秀和, 佐藤 瞬 (著)好評販売中の前著『AmazonWebServicesパターン別構築・運用ガイド』に続く、AWSガイドの第2弾。AWSのサービス群を上手く使って効率的にシステム/アプリケーションを開発する方法を主題としています。NRIネットコム株式会社 佐々木 拓郎 (監著), 佐藤瞬, 石川 修, 高柳 怜士, 佐藤 雄也, 岸本 勇貴 (著)ECサイトから基幹システムまで、企業のデータ・サーバをAWSへ移行するためのネットワーク設計・構築、運用・管理のノウハウを紹介。著者陣のノウハウを凝縮して、一般的な企業にAWSを導入する際のベストプラクティスをお届けします。NRIネットコム株式会社 佐々木 拓郎, 林 晋一郎野村総合研究所 瀬戸島 敏宏, 宮川 亮,宮川 亮(著)NRIネットコム社員執筆書籍事例Amazon Web Servicesパターン別構築運用ガイド一番大切な知識と技術が身につく Amazon Web Servicesクラウドネイティブ・アプリケーション開発技法Amazon Web Services 業務システム設計・移行ガイド2016/4/20初版 2015/3/25 2018/1/20改訂 2018/3/23
5Copyright(C) NRI Netcom, Ltd. All rights reserved.合格への最短ルート!実際に豊富な構築経験と深い知識を持った著者が、試験の合格のポイントになる知識と解答の考え方が理解できるように構成しています。練習問題で知識を解答につなげる力がしっかりと身につきます。NRIネットコム株式会社 佐々木 拓郎 , 林 晋一郎,金澤 圭(著)合格に必要な知識はここにある!金融業やエンタープライズには必須となりつつある認定を、豊富な経験と知識を持った著者陣が、合格するために必要な知識をわかりやすく解説しています。NRIネットコム株式会社 佐々木 拓郎 (監著), 佐藤瞬, 石川 修, 高柳 怜士, 佐藤 雄也, 岸本 勇貴 (著)Googleアナリティクス認定パートナーだからこそ書ける、豊富な導入経験で培ったノウハウを凝縮。目的に合わせてデータを収集するための、設定・実行方法の手順をしっかりと解説。豊富なケーススタディを掲載。NRIネットコム株式会社 神崎健太, 坂本祐, 齋藤圭祐, 山川俊哉 (著)NRIネットコム社員執筆書籍事例AWS認定資格試験テキストAWS認定 ソリューションアーキテクト-アソシエイト要点整理から攻略する『AWS認定セキュリティ専門知識』徹底活用 Google アナリティクスデジタルマーケティングを成功に導く解析・改善のための操作ガイド2020/7/29初版 2019/4/20 2019/10/23改訂 2019/4/20
6Copyright(C) NRI Netcom, Ltd. All rights reserved.NRIネットコムについてデータ分析基盤の作り方データ分析基盤のプロジェクトの進め方010203
7Copyright(C) NRI Netcom, Ltd. All rights reserved.データ分析基盤とは?データ分析基盤の作り方データ分析の活動は、収集系・蓄積系・分析/処理系の3つで分類されるデータをそのまま保存構造化したデータを保存用途に適したデータを抽出用途に応じてデータを編集蓄積系データ分析基盤リアルの世界での活動履歴オフラインデータ用途に応じてデータを編集ETL構造化したデータを保存する場所データウェアハウス用途別にデータを保存する場所データマートWeb等のオンライン上の活動履歴オンラインデータ収集系転送 様々なデータをそのまま保存する場所データレイク処理・分析系整形されたデータで分析取得分析・可視化機械学習POINTデータ分析基盤内でも、役割/用途が違う蓄積系と分析/処理系の分離が重要
8Copyright(C) NRI Netcom, Ltd. All rights reserved.オフラインデータ データウェアハウスデータマートオンラインデータデータレイク 分析・可視化機械学習データマートデータマートデータ分析基盤のデータ例データ分析基盤の作り方実際に格納されるデータのイメージ実店舗での購買リアルでの行動サイト内の遷移Webサイト利用履歴・遷移スマホアプリ3rd Party DataパブリックDMPSNS・アプリストア口コミ、ランキング広告出稿広告データソース データ分析基盤ETLETLETLETLSQL実店舗での購買リアルでの行動サイト内の遷移Webサイト利用履歴・遷移スマホアプリ3rd Party DataパブリックDMPSNS・アプリストア口コミ、ランキング広告出稿広告実店舗とEコマースの購買履歴を統合したデータ統合購買データ広告出稿とSNS上の反応を統合したデータ広告反応データ各所に設置されたセンサーデータを統合したもの統合センサーデータ顧客が次に何を購入するか予測するモデル購買予測モデル購買予測モデルを学習させるためのデータモデル学習用データBIツールでLTV分析を行うためのデータLTV分析用データ各店舗における温湿度の時系列データ環境測定用データ主に経営のためのデータ可視化ツールBIツール統計解析を用いてデータの分析を行うツール統計解析ツールSQLなどで限定的な分析を行うツールアドホック分析ツールセンサー温度、湿度、位置情報Web行動履歴、来店履歴、位置情報などを統合したデータ行動履歴データRAWデータ データをそのまま保存 構造化したデータを保存 用途に適したデータを抽出 整形されたデータで分析APIJDBCデータ活用転送 整形抽出抽出抽出取得取得取得
9Copyright(C) NRI Netcom, Ltd. All rights reserved.データレイクを3層構造にすると扱いやすいデータ分析基盤の作り方RAWデータレイク・中間データレイク・構造化データレイクRAWデータレイクDBデータなど構造化データアクセスログなど半構造化データデータレイクSNS投稿テキストなど非構造化データETL(整形処理)データの形式を統一フォーマット処理重複や欠損値の除去クレンジング処理個人情報などの除去マスク処理中間データレイクDBデータなど構造化データアクセスログなど半構造化データ構造化されたテキスト半構造化データETL(ビジネス加工)データ置換などビジネスロジック処理不要なカラムの除去などフィルタ処理データソースの属性結合エンリッチメント処理構造化データレイク顧客ごとのSNS反応履歴構造化データEコマースの購買履歴構造化データ実店舗の購買履歴構造化データETL(用途別加工)アプリ向けのデータ集約アプリ用処理古い情報のアーカイブアーカイブ用処理集計などの加工分析用処理DWHデータのフォーマットはバラバラでOK!データの意味そのものを変えるような加工はしない目的に応じて意味の改変も含めて加工したデータ
10Copyright(C) NRI Netcom, Ltd. All rights reserved.AWSのサービスに当てはめると?データ分析基盤の作り方それぞれの構成要素に対応した、複数のサービスがある。オフラインデータオンラインデータデータレイク データウェアハウスデータマート 分析・可視化機械学習ETLデータ分析基盤リアルの世界での活動履歴Web等のオンライン上の活動履歴 Amazon S3Amazon EMRAWS GlueAmazon AthenaAmazonRedshiftAmazonAuroraAmazonKinesisAmazonSageMakerAmazonQuickSightPOINTデータレイクとしてはS3を利用する。それ以外は、規模・用途に応じて使い分ける蓄積系収集系 処理・分析系データをそのまま保存構造化したデータを保存用途に適したデータを抽出用途に応じてデータを編集整形されたデータで分析転送 取得
11Copyright(C) NRI Netcom, Ltd. All rights reserved.ETL処理データ分析基盤の作り方データ分析基盤構築の肝はデータ変換処理(ETL)。ELTという考え方もあるデータソース ETL基盤データソース データターゲット⚫ 非構造化データを扱える⚫ データ量削減により保管コスト減⚫ 集計や結合処理は比較的遅い⚫ 構造化データのみを扱う場合に適用可⚫ データ量はそのままなので保管コスト増⚫ 集計や結合処理が比較的早いデータターゲットExtractExtract & LoadTransformLoadTransformPOINTデータ分析基盤は一度作って終了ではない利用者自身で改善し続ける必要があるいので技術の選定が大事SQLを中心で開発できるDWHDWH
12Copyright(C) NRI Netcom, Ltd. All rights reserved.NRIネットコムについてデータ分析基盤の作り方データ分析基盤のプロジェクトの進め方010203
13Copyright(C) NRI Netcom, Ltd. All rights reserved.データ分析基盤のプロジェクトのはじまりデータ分析基盤のプロジェクトの進め方経営からビジョンだけ落ちてきたよくある始まり方社内のビッグデータを使ってAIで業務革新したいので、分析基盤を作って!!へ!?何やったらいいの??
14Copyright(C) NRI Netcom, Ltd. All rights reserved.データ分析基盤のプロジェクトの工程データ分析基盤のプロジェクトの進め方分析 収集 保存 変換データ活用の目的は?そのためにどのデータが必要?分析のためのデータをデータ分析基盤に蓄積利用しやすいようにデータを変換検討フェーズ 構築フェーズまずここが大事
15Copyright(C) NRI Netcom, Ltd. All rights reserved.データ分析基盤のプロジェクトの現実データ分析基盤のプロジェクトの進め方分析多くの場合は、2つの工程が並行するPOINT作り始めた時に、要件は定まっておらず作っている途中に要件変更は(必ず)発生する分析変換保存収集
16Copyright(C) NRI Netcom, Ltd. All rights reserved.スモールスタートデータ分析基盤のプロジェクトの進め方小さく作る。でも、大きくなるという前提で考えるデータ活用型業務の適用範囲Final STEP次年度以降データ活用で狙う効果POINTデータレイクとDWHの分離をしっかりしておくと、後々の拡張がしやすい1st STEP初年度2nd STEP次年度複数部署を対象に範囲拡大運用体制も徐々に整備全社横断でのデータ活用一部の部署でパイロットスタートなど、関係者を絞り込んで小さくスタート
17Copyright(C) NRI Netcom, Ltd. All rights reserved.下記のような観点から統制項目を洗い出し、それぞれの実施内容と担当者・責任分界点を決める。 アクセス制御 暗号化 物理的/環境的セキュリティ バックアップ ログ取得/監視 技術的脆弱性管理 冗長性 個人情報の取扱方針データ分析基盤とセキュリティデータ分析基盤のプロジェクトの進め方データ分析基盤は非常に機微な情報が集まるシステム。セキュリティは重要POINT 上記のような観点で考えられる人が必ず必要
18Copyright(C) NRI Netcom, Ltd. All rights reserved.データ分析基盤のプロジェクトに必要なメンバーデータ分析基盤のプロジェクトの進め方インフラエンジニア• I/F方式• セキュリティ• システム運用設計アプリケーションエンジニア• 分析基盤開発• BI開発• 各種ツール導入• 運用PDCAご支援データサイエンティストアドホック分析による仮説発見・検証データエンジニア• 業務理解• データ整理• データ設計コンサル• ロードマップ策定• 施策検討支援• 分析サポート• 組織設計仮説検証システム実装PDCA運用データ分析基盤構築のプロジェクトには、様々な技能を持った人が必要となる
19Copyright(C) NRI Netcom, Ltd. All rights reserved.NRIネットコムについてデータ分析基盤の作り方データ分析基盤のプロジェクトの進め方010203
20Copyright(C) NRI Netcom, Ltd. All rights reserved.AWSを利用したデータ分析基盤の構築支援NRIネットコムについて8.7.6.5.4.3.2.1.
21Copyright(C) NRI Netcom, Ltd. All rights reserved.AWS Organizations対応のAWSアカウントサービスNRIネットコムについてAWS OrganizationsAWS Cloud AWS Cloud AWS Cloud AWS CloudAWS OrganizationsAWS Cloud AWS Cloud AWS Cloud AWS Cloud