次世代のSageMakerとは

© 2025, Amazon Web Services, Inc. or its affiliates. All
rights reserved. Amazon Confidential and Trademark. 1 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 次世代の SageMaker とは 2025/5/9 JAWS-UG 名古屋 Yoshitaka Kawaji Solutions Architect Next Generation

rights reserved. Amazon Confidential and Trademark. 2 2 川路義隆（かわじよしたか）アマゾンウェブサービスジャパン合同会社ソリューションアーキテクト AWS導⼊・アーキテクチャ⽀援アジャイル・サーバーレス略歴 • 学⽣時代にゲームボーイアドバンス、PlayStationのタイトル開発経験 • ゲーム開発で就職 ⇨ 早期退職 ⇨ 起業 • ソシャゲ開発するもリリース⽇の負荷捌けずで2ch炎上 • 2010年にEC2を知る（サーバーがすぐに起動するらしい） ⇨ AWS Love 自己紹介 2

rights reserved. AI が⼀変させるデータ活⽤の展望 6 89% ⽣成 AI の活⽤を推進している CDO* 52% ⾃社のデータ基盤が AI に対応できていないと考える CDO 基本に⽴ち返る＊CDO: Chief Data Officer 最⾼データ責任者

rights reserved. 企業が直⾯する課題 7 データサイロの解消分析と AI の統合データと AIのガバナンスオペレーション効率のスケーリング

rights reserved. 8 データ・分析・AI のあらゆるニーズに応える AWS の包括的なサービスエクサバイト規模のデータレイク最適なコストパフォーマンスを実現するデータウェアハウスあらゆる規模のデータワークロードに対応する⽬的別の分析サービス最⾼のパフォーマンスとコスト効率を実現する AI インフラストラクチャ

rights reserved. より良い分析と AI の体験を実現するにはどうすべきか?

rights reserved. 10 Amazon SageMaker The next generation of すべてのデータ、分析、AI の中⼼

rights reserved. Amazon SageMaker The next generation of データと AI の統合開発環境 AI ユースケースに対する包括的なツール群すべてのデータを統⼀するオープンなレイクハウスビルトインされたデータと AI のガバナンス

rights reserved. Amazon SageMaker The next generation of データと AI の統合開発環境で迅速なコラボレーションと構築を実現包括的なツール群で AI ユースケースを開発し拡⼤すべてのデータを統⼀するオープンなレイクハウスによりデータサイロを削減ビルトインされたデータと AI のガバナンスにより企業のセキュリティニーズを充⾜

rights reserved. 13 SQL 分析 Amazon Redshift データ処理 Amazon EMR AWS Glue Amazon Athena モデル開発 Amazon SageMaker AI ⽣成 AI アプリ開発 Amazon Bedrock ストリーミング Amazon MSK Amazon Kinesis ビジネスインテリジェンス Amazon QuickSight 検索分析 Amazon OpenSearch Service C O M I N G S O O N C O M I N G S O O N C O M I N G S O O N Unified Studio Data & AI Governance Lakehouse Amazon SageMaker

rights reserved. 14 Amazon SageMaker © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. SQL 分析 Amazon Redshift データ処理 Amazon EMR AWS Glue Amazon Athena モデル開発 Amazon SageMaker AI ⽣成 AI アプリ開発 Amazon Bedrock ストリーミング Amazon MSK Amazon Kinesis ビジネスインテリジェンス Amazon QuickSight 検索分析 Amazon OpenSearch Service C O M I N G S O O N C O M I N G S O O N C O M I N G S O O N Unified Studio

rights reserved. Amazon SageMaker Amazon SageMaker AI で AI モデルの実験、トレーニング、デプロイ Amazon Bedrock でカスタム⽣成 AI アプリケーションの構築 Amazon EMR でデータの準備と統合 Amazon Redshift で SQL クエリを実⾏ 15 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. ノートブック | クエリエディタ | ビジュアル ETL エディタ | ⽣成 AI IDE SQL 分析 Amazon Redshift データ処理 Amazon EMR AWS Glue Amazon Athena モデル開発 Amazon SageMaker AI ⽣成 AI アプリ開発 Amazon Bedrock ストリーミング Amazon MSK Amazon Kinesis ビジネスインテリジェンス Amazon QuickSight 検索分析 Amazon OpenSearch Service C O M I N G S O O N C O M I N G S O O N C O M I N G S O O N Unified Studio

rights reserved. Amazon SageMaker Amazon SageMaker AI で AI モデルの実験、トレーニング、デプロイ Amazon Bedrock でカスタム⽣成 AI アプリケーションの構築 Amazon EMR でデータの準備と統合 Amazon Redshift で SQL クエリを実⾏ 16 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. ノートブック | クエリエディタ | ビジュアル ETL エディタ | ⽣成 AI IDE SQL 分析 Amazon Redshift データ処理 Amazon EMR AWS Glue Amazon Athena モデル開発 Amazon SageMaker AI ⽣成 AI アプリ開発 Amazon Bedrock ストリーミング Amazon MSK Amazon Kinesis ビジネスインテリジェンス Amazon QuickSight 検索分析 Amazon OpenSearch Service C O M I N G S O O N C O M I N G S O O N C O M I N G S O O N Unified Studio 10分のLTでは語り尽くせない︕︕

rights reserved. データと AI の統合開発環境発⾒: データと AI 資産を探索構築: 包括的な分析と AI のツールセット協働: プロジェクトでのコラボレーション統制: アクセスを安全に管理 17

rights reserved. Lakehouse 19 Data & AI Governance SQL 分析 Amazon Redshift データ処理 Amazon EMR AWS Glue Amazon Athena モデル開発 Amazon SageMaker AI ⽣成 AI アプリ開発 Amazon Bedrock ストリーミング Amazon MSK Amazon Kinesis ビジネスインテリジェンス Amazon QuickSight 検索分析 Amazon OpenSearch Service C O M I N G S O O N C O M I N G S O O N C O M I N G S O O N Unified Studio Amazon SageMaker

rights reserved. 20 統合オープンセキュア SageMaker Lakehouse 統合された、オープンで安全なデータレイクハウスで分析と AI をシンプル化 Z E R O E T L 取り込みフェデレーション共有

rights reserved. 統合データ管理は高難度であるデータレイクとデータウェアハウスデータソースからの読み取りデータの重複ワークフローのオーケストレーション監視分析するデータをさらにコピー Cloud Object Storage Databases Logs Web Devices Social Sensors SaaS データソース

rights reserved. ワークロード固有のデータストアが⽣むデータサイロそれぞれのシステムは独⾃の価値を提供するデータの分析データウェアハウス ACID 準拠⾼いパフォーマンス簡単なデプロイデータレイク柔軟なストレージオープンな形式複数エンジンに対応

rights reserved. 既存の解決策のトレードオフデータレイク中心高度なストレージ最適化の不足高多重度の Interactive SQL の処理能力の不足トランザクションなどの長年培われた DB の機能を失うデータウェアハウス中心データウェアハウスのデータには自由にアクセスできないオープンテーブルフォーマットの相互運用性が限定的データサイロを生む

rights reserved. 課題感のふりかえり統合データ管理は難しいデータサイロを⽣む既存の解決策の課題ワークフローの管理データのコピーが発⽣する相互運⽤性の⽋如⼀貫性のないガバナンス複雑なアーキテクチャ価値創出までの時間が⻑いデータウェアハウスやデータレイクのそれぞれの良い特性を失う

rights reserved. データレイクとデータウェアハウスのいいとこ取りデータの分析データウェアハウスデータレイクレイクハウスが解決策である分析ユースケース向けのサービスとツールの⾃由度安全で⼀貫したデータへのアクセス

rights reserved. Lakehouse とは？ • Lakehouse は新しいオープンなデータ管理アーキテクチャを提供 • すべてのデータに相互運用性をもたらすデータレイクとデータウェアハウスの両方の長所を提供 • データレイクの柔軟性、コスト効率、スケーラビリティ • データウェアハウスのパフォーマンスとトランザクションデータ管理分析ユースケースのためのサービスとツールの選択を可能に • ビジネスインテリジェンス BI 、ETL、ダッシュボード作成 • AI/ML（人工知能/機械学習）、生成 AI

rights reserved. 27 Amazon DynamoDB Amazon Aurora Amazon RDS データレイクデータウェアハウス

rights reserved. Amazon SageMaker Lakehouse 統一されたオープンで安全なデータレイクハウスで分析と AI を簡素化 Lakehouse 3rd Party Data Data 3rd Party Applications SageMaker Unified Studio Open Data Access ( Iceberg REST Catalog API ) Zero-ETL: ingestion, replication, federation Zero-ETL: ingestion, replication, federation

rights reserved. 29 SageMaker Lakehouse すべてのデータへのアクセスを統合 Amazon S3 データレイク Amazon Redshift データウェアハウス Zero-ETL 統合 Aurora RDS OpenSearch vector data ServiceNow Salesforce Zoho CRM Instagram Ads SAP Salesforce Pardot Facebook Ads Zendesk DynamoDB Streaming data – MSK, Kinesis フェデレーテッドクエリ + 100 以上の AWS Glue コネクター

rights reserved. 30 Amazon S3 データレイク Amazon Redshift データウェアハウス Zero-ETL 統合 Aurora RDS OpenSearch vector data ServiceNow Salesforce Zoho CRM Instagram Ads SAP Salesforce Pardot Facebook Ads Zendesk DynamoDB Streaming data – MSK, Kinesis フェデレーテッドクエリ + 100 以上の AWS Glue コネクター A P A C H E I C E B E R G O P E N A P I Apache Iceberg 互換のエンジンによる読み取り・書き込み

rights reserved. まとめ • SageMaker は今は気軽に説明するのは不可能な規模感 • まずは、土台となる SageMaker Lakehouse のコンセプトを把握しよう • Lakehouse とはデータウェアハウス + データレイクの良いところを取り込んで外部 I/F に規律を生み出した（Apache Iceberg に感謝） 31

rights reserved. 32 オープンなレイクハウスを実現するIceberg

rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 33 SageMaker Next Generation の世界観豊富な連携パターンで幅広いデータソースに対応 AWS サービス Aurora DynamoDB Kinesis Kafka … 3rd Party DB SAP HANA Snowflake Teradata … SaaS Saelesforce Servicenow Zendesk … バッチデータレイクと DWH を統合するオープンなレイクハウスストリームクエリFederation Zero-ETL S3 汎⽤バケット Redshift Managed Storage Amazon SageMaker Lakehouse S3 テーブルバケットオープンテーブルフォーマットバッチとストリームのパイプライン統合データ、機械学習、AI 全体の統合開発 / コラボレーション環境⽬的別ストレージ Open API 仕様 Amazon SageMaker Unified Studio データ変換 , 操作 SQL 分析オ ! ケストレ ! ションビッグデータモデル管理 / 評価推論 MLOps 学習プロンプトフローナレッジベース AI エージェント 3 rd Party アプリケーション連携統合データカタログ Amazon SageMaker Data & AI Governance アクセスコントロールとデータ共有データ品質管理データリネージ AI ガバナンス安全かつ効率的なデータ活用を支えるガバナンス BI あらゆるデータの収集、管理、活⽤を実現データソースデータ収集

rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 34 オープンテーブルフォーマット / Iceberg の台頭 Apache Iceberg • オープンソースのテーブルフォーマット(OTF) • メタデータの⼯夫により、データレイクを効率的かつ便利に扱う様々な機構を備える • 2017 年、当時 S3 に 60 PB のデータを擁していた Netflix が開発 (後にApache Software Foundation 寄贈) データレイクの限界を超えて、様々なデータエコシステムを繋ぐ Iceberg が注⽬される背景 • データレイクの伝統的課題の解決 • ACID 、バージョン管理、レコード操作の⾼速化、継続的なデータ構造の変化への追従など • ツール/ユースケースを結ぶ共通フォーマットとして • データレイクと DWH、異なるクエリエンジン間のシームレスなデータ連携を可能にする

rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 36 AWS における Iceberg の活用 Redshift Managed Storage S3 汎⽤バケット S3 テーブルバケット⽤途別のストレージの選択肢統合データガバナンス SageMaker Lakehouse Catalog Iceberg REST endpoint Iceberg テーブルの性能とコストを⾃動最適化アクセスコントロールビジネスデータカタログデータ品質管理データリネージデータカタログとエンドポイント Amazon Data Firehose 多様なデータソースの Iceberg テーブルへの収集機能を提供 Amazon Managed Service for Apache Flink Amazon EMR Amazon Glue 多様なデータソースとの Zero-ETL 統合 SAP Odata, ServiceNow Zendesk, Zoho CRM, Salesforce … etc Iceberg をネイティブに利⽤できるクエリエンジン群 Amazon EMR Amazon Glue Amazon Redshift Amazon Athena 3 rd Party Data Source 既存の⾮ Iceberg テーブルとの統合管理

rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 37 グローバル各社で Iceberg 導入が進行中 https://pages.awscloud.com/rs/112-TZM-766/images/20241107-ANALYTICS-4-Nikkei.pdf https://www.youtube.com/watch?v=cFBSr-4pdBs https://www.youtube.com/watch?v=39GlEvvFAGs https://reinvent.awsevents.com/content/dam/reinvent/2024/slides/aut/AUT311_How-Ford-unlocked-real-time-insights-using-Apache-Iceberg-on-AWS.pdf Ford 社でのリアルタイム分析での活⽤事例 CloudStrike 社でのリアルタイムデータレイク事例⽇本経済新聞社でのデータマネジメントへの応⽤事例 eBay 社でのコンプライアンス要件での活⽤事例

rights reserved. Thank you! 38

次世代のSageMakerとは

次世代のSageMakerとは

Transcript

More Decks by kawaji

Other Decks in Technology

Featured