「AWS 上で始めるモダンデータアアーキテクチャとデータ活用に向けたアプローチ」

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

© 2023/3/16 Knowledge Communication Co., Ltd. 会社紹介商号株式会社ナレッジコミュニケーション代表代表取締役CEO 奥沢明事業内容クラウド事業、AI/ロボット事業、ラーニング事業資本金 900万円設立 2008年11月13日拠点本社 (DIGITAL INNOVATION CENTER) 千葉県市川市相之川4-6-5 フォーリーフ南行徳2F 千葉オフィス千葉県市川市相之川3-13-23 丸伝小川ビル3F 熊本オフィス(熊本Lab.) 熊本県熊本市中央区桜町２−１７第２甲斐田ビル７階 Webサイト https://www.knowledgecommunication.jp 業務風景オフィス風景

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© 2023/3/16 Knowledge Communication Co., Ltd. 13 アクセンチュア調査 : 77%の日本企業が、人工知能をビジネス全体で活用しなければ著しい業績低下の可能性があると認識 URL : https://www.accenture.com/jp-ja/company-news-releases-20191219-2 AIの利用規模を拡大しないと成長目標が達成できないと感じる AIの規模を拡大しないと 5年以内に倒産するリスクがある PoC(実証実験)を行ったがビジネス領域での導入に苦労している 80% 75% 76% どうしてデータ活用が難しいか？日本企業の経営幹部におけるAI・データ分析への関心

Slide 14

Slide 14 text

© 2023/3/16 Knowledge Communication Co., Ltd. 14 どうしてデータ活用が難しいか？ビジネス人データアプリテクノロジーデータはビジネスと既存システム両面の視点が必要エンタープライズアーキテクチャモデル Technology Architecture Application Architecture Data Architecture Business Architecture 人・物・価値・情報データ機能・情報システム技術

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© 2023/3/16 Knowledge Communication Co., Ltd. アーキテクチャで考えるデータ活用 ML code データ収集データ検証環境構築自動化特徴量エンジニアリングテストとデバッグモデル評価プロセス設計モデル提供インフラ構築メタデータ管理リソースマネジメント Hidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成データを活用するために必要なエンジニアリング

Slide 18

Slide 18 text

© 2023/3/16 Knowledge Communication Co., Ltd. アーキテクチャで考えるデータ活用 ML code データ収集データ検証環境構築自動化特徴量エンジニアリングテストとデバッグモデル評価プロセス設計モデル提供インフラ構築メタデータ管理リソースマネジメント Hidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成クラウド DWH はいろいろと解決してくれるけど全てではない

Slide 19

Slide 19 text

© 2023/3/16 Knowledge Communication Co., Ltd. アーキテクチャで考えるデータ活用 ML code データ収集データ検証環境構築自動化特徴量エンジニアリングテストとデバッグモデル評価プロセス設計モデル提供インフラ構築メタデータ管理リソースマネジメント Hidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成「分析」そのものは全体の 5％程度しかない

Slide 20

Slide 20 text

© 2023/3/16 Knowledge Communication Co., Ltd. アーキテクチャで考えるデータ活用導入前の課題導入後の効果 ⚫ データ分析系サービスの導入知見がない。 ⚫ AWS のマネージドサービスをフル活用したい。 ⚫ 分析チームの立ち上げを行いたい。 ⚫ マネージドサービスを活用し運用コストを最適化。 ⚫ Amazon Redshift , SageMaker を活用した環境構築。 ⚫ PaaS サービスを活用した内製での分析組織立ち上げ。 AWS事例ページ : https://aws.amazon.com/jp/solutions/case-studies/booklista-knowledgecommunication/ この課題にチャレンジしているお客様 : ブックリスタ様

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© 2023/3/16 Knowledge Communication Co., Ltd. アーキテクチャで考えるデータ活用 Amazon QuickSight Amazon SageMaker RDB ファイルストリーム Amazon EMR AWS Data Pipeline Amazon QuickSight Amazon Redshift Amazon S3 AWS Glue Kinesis AWS Glue Data catalog AWS IoT Core Amazon Athena AWS Batch Amazon Redshift AWS の各種サービスを配置する (ざっくり)

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

© 2023/3/16 Knowledge Communication Co., Ltd. どうアプローチをしていけばいいかデータ分析業務の内製開発支援導入前の課題導入後の効果 ⚫ データ分析人材が自社におらず分析活動ができない。 ⚫ 複雑なアーキテクチャの実装は自社リソースで難しい。 ⚫ 現状あるリソースのみで成果を出す必要がある。 ⚫ トレーニングによる2ヶ月でセンサーデータの分析を実現。 ⚫ クラウドネイティブなシンプルな構成で自社運用。 ⚫ 新人メンバーが DX チームの取組を推進。 IMG AWS を中心とした分析業務を自社リソースで内製化

Slide 29

Slide 29 text

© 2023/3/16 Knowledge Communication Co., Ltd. どうアプローチをしていけばいいか Amazon QuickSight Amazon SageMaker RDB ファイルストリーム Amazon EMR AWS Data Pipeline Amazon QuickSight Amazon Redshift Amazon S3 AWS Glue Kinesis AWS Glue Data catalog AWS IoT Core Amazon Athena AWS Batch Amazon Redshift この環境を内製で開発し運用するのは難しい場合も・・・

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

© 2023/3/16 Knowledge Communication Co., Ltd. どうアプローチをしていけばいいか Delta Live Tables Event Streaming Unity Catalog Ingest tool notebook RDB ファイルストリーム Databricks SQL Serverless SQL Photon Auto Loader Databricks が網羅する機能

Slide 33

Slide 33 text

© 2023/3/16 Knowledge Communication Co., Ltd. どうアプローチをしていけばいいか Delta Live Tables Event Streaming Unity Catalog Ingest tool 静的レポート機械学習動的レポート RDB ファイルストリーム Databricks SQL Serverless SQL Photon Auto Loader つまり・・・ Amazon S3 Amazon EC2

Slide 34

Slide 34 text

Slide 35

Slide 35 text

35 データレイクハウスカンパニー AI, ビッグデータに特化クラウド上で提供 (AWS, Microsoft Azure, GCP) 積極的なオープンソース化 (月間3000万ダウンロード) 米国本社: Databricks Inc. 設立: 2013年設立 (日本法人は2019年設立) 所在地: アメリカカリフォルニア州サンフランシスコ市社員数: 5,000 以上拠点数: 11ヶ国 16拠点沿革: カリフォルニア大学バークレー校から発祥代表者: アリ・ゴディシ (共同設立者 & CEO) 主要な指標事業戦略ビジョナリーリーダーチャレンジャーニッチプレイヤー市場における評価 9,000 以上の顧客 1,000 以上のパートナー ARR(年間定額収益)は約1300億円+ (2022年8月) シリーズHの資金調達（総計約4,000億円）にて約5兆円市場価値 (2022年8月) トヨタ自動車武田薬品工業コマツソフトバンク国立がんセンター沖縄銀行 Supership GeoDesic Japan Digital Design(MUFG) 日経新聞 MTI リテールAI研究会 FWD富士生命保険 SEGA 田辺三菱製薬日立造船日系公表ユーザー（イベント登壇含む、敬称略） Cloud 100 2021 2位ガートナー社 MQレポート・2021年データサイエンス & 機械学習・2021年クラウドデータベース管理システム両部門でリーダーを獲得した唯一のクラウドベンダー

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

38 Databricks SQL : SQL検索やダッシュボード利用を簡易に Databricks Notebook & AutoML : SQL/PythonベースのプログラミングからAutoMLまで Databricks Delta Live Table : データパイプライン、データ品質管理 Databricks Unity Catalog : データ辞書、データリネージ Data + AI 民主化を加速させる新機能

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

© 2023/3/16 Knowledge Communication Co., Ltd. アーキテクチャで考えるデータ活用 Databricks の利用開始までのプロセス購入の意思決定 Order Form Private Offer の作成お客様による購入ご請求 Private Offer 契約までの流れお客様とDatabricksで価格、支払い条件、契約期間を合意お客様とDatabricksで Order Formを締結 Databricksがお客様にPrivate Offer のリンクを送付しますお客様はAWS Marketplaceにログインし、“Create Contract”をクリック。この後すぐに Databricksにアクセス可能です AWSよりお客様に請求。AWSの支払い条件が適用されます Private Offerの内容はお客様のアカウントからのみご確認いただけます

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

© 2023/3/16 Knowledge Communication Co., Ltd. 終わり ■ナレコムAWSレシピ https://recipe.kc-cloud.jp/ ■Databricks導入支援特設ページ https://www.knowledgecommunication.jp/product/databricks.html ■AWS での分析:モダンデータアーキテクチャ https://aws.amazon.com/jp/big-data/datalakes-and-analytics/modern-data-architecture/ ■Databricks:ソリューションアクセラレータ https://www.databricks.com/jp/solutions/accelerators/survivorship-and-churn 関連情報