ビジネスを加速するSnowflake×AWSの活用のすゝめ

「データ活用の最大化で事業成長を加速～ Snowflake on AWSで実現する次世代データ戦略～」にて登壇した際の資料です。

Transcript

1. © 2024, Amazon Web Services, Inc. or its affiliates. © 2024, Amazon Web Services, Inc. or its affiliates. ビジネスを加速する Snowflake × AWS活⽤のすゝめ Kouki Kishida Startup Solutions Architect
2. © 2024, Amazon Web Services, Inc. or its affiliates. データ活⽤と聞くと何を思いうかべますか︖ 4 業務状況の評価 ⾃社プロダクトの評価 LLMの活⽤ ほかにも⾊々ありましたね
3. © 2024, Amazon Web Services, Inc. or its affiliates. データ活⽤と聞くと何を思いうかべますか︖ 5 マーケティングの効果測定 ⾃社プロダクトの評価 LLM＆機械学習の インサイト獲得 ほかにも⾊々… 頭ではやりたいことはあっても実現できない…
4. © 2024, Amazon Web Services, Inc. or its affiliates. データの分析のリテラシー・活⽤が広がらない • DWHを導⼊した︕けど分析する⼈はデータサイエンティスト⼀ ⼈だけ… • KPIを定めてみた︕けど特に社内のメンバーは意識せず… データ分析業務が特定のチームに集中する • マーケからのデータ出⼒の問い合わせが多すぎて通常の開発業 務ができない…マーケが⾃分で分析できるようになってほしい • ⼿動で分析したインサイトを⾃動化したい、効率的に業務改善 やエンドユーザーにアプローチしたい データの利活⽤が進まないケースは様々 7 分析初期 分析後期 データのガバナンス データの⺠主化 LLM・機械学習の ⼆次活⽤
5. © 2024, Amazon Web Services, Inc. or its affiliates. 活⽤が進まない具体的な壁 8 LLM・機械学習の⼆次活⽤ • 直接データを参照したくてもSQLがた たけない • データのアクセス権限がなく ⾃由に⾒たいデータにアクセスできな い データのガバナンス/⺠主化 • リコメンド機能がPMFするか試したい が開発する余裕がない、SaaSは⾼価す ぎる… • LLMを利⽤したいがセキュリティの関 係で機密情報と取り扱えない…
6. © 2024, Amazon Web Services, Inc. or its affiliates. © 2024, Amazon Web Services, Inc. or its affiliates. Snowflake×AWSでのアプローチ 9
7. © 2024, Amazon Web Services, Inc. or its affiliates. 10 Data Source ELT or ETL DWH Storage Machine Learning BI
8. © 2024, Amazon Web Services, Inc. or its affiliates. 11 Amazon Aurora Amazon S3 Amazon QuickSight Amazon SageMaker Amazon Personalize
9. © 2024, Amazon Web Services, Inc. or its affiliates. 再掲︓活⽤が進まない具体的な壁 13 LLM・機械学習の⼆次活⽤ • 直接データを参照したくてもSQLがた たけない • データのアクセス権限がなく ⾃由に⾒たいデータにアクセスできな い データのガバナンス/⺠主化 • リコメンド機能がPMFするか試したい が開発する余裕がない、SaaSは⾼価す ぎる… • LLMを利⽤したいがセキュリティの関 係で機密情報と取り扱えない…
10. © 2024, Amazon Web Services, Inc. or its affiliates. SnowflakeとAWSで始めるデータ⺠主化 14 Amazon QuickSight データのアクセス権限がなく ⾃由に⾒たいデータにアクセスできない 直接データを参照したくてもSQLがたた けない
11. © 2024, Amazon Web Services, Inc. or its affiliates. 15 U N I F I E D B I S E R V I C E A T H Y P E R S C A L E • サーバーレスで⼿軽にダッシュボード基盤を構築 することができるサービス • ユーザー単位の従量課⾦制 （セッション単位も別途あり）
12. © 2024, Amazon Web Services, Inc. or its affiliates. 16 Amazon QuickSightで SQLを叩かずダッシュボード上でKPIの進捗を可視化
13. © 2024, Amazon Web Services, Inc. or its affiliates. Amazon QuickSightを独⾃のアプリケーションに埋め込む 17 Amazon QuickSightを内部のポータルページやパブリックウェブサイトに埋め込むことが可能 • タグの埋め込み or APIのタグリクエストにより 実装可能（SDKの利⽤） • ビジュアルパーツ単位での埋 め込みも可能 • アクセス制御機能も利⽤可能
14. © 2024, Amazon Web Services, Inc. or its affiliates. SnowflakeとAmazon QuickSightで ⼿軽にデータガバナンスを実現 19 外部トークン化 ダイナミックデータ マスキング Classification Connector データの把握 データの保護 Amazon QuickSight ⾏レベルセキュリティ 列レベルセキュリティ
15. © 2024, Amazon Web Services, Inc. or its affiliates. 再掲︓活⽤が進まない具体的な壁 21 LLM・機械学習の⼆次活⽤ データのガバナンス/⺠主化 • 直接データを参照したくてもSQLがた たけない • データのアクセス権限がなく ⾃由に⾒たいデータにアクセスできな い • リコメンド機能がPMFするか試したい が開発する余裕がない、SaaSは⾼価す ぎる… • LLMを利⽤したいがセキュリティの関 係で機密情報と取り扱えない…
16. © 2024, Amazon Web Services, Inc. or its affiliates. AWSの機械学習サービスで開発・運⽤コストを減らす 22 リコメンド機能がPMFするか試したいが 開発する余裕がない SaaSは⾼価すぎる… LLMを利⽤したいがセキュリティの関係 で機密情報と取り扱えない… ⾃分でモデルを作らない選択肢を取る マネージド・サービスを利⽤ Amazon Bedrockを利⽤してセキュアに 様々な基盤モデルのアクセス
17. © 2024, Amazon Web Services, Inc. or its affiliates. Amazonは様々なマネージド・サービスを提供 23 Amazon Bedrock Amazon Personalize • ユーザーのプロフィールに合わせた レコメンデーション機能をマネージ ドで提供 • ユーザーの⾏動ログからデータの取 り込み・学習までを実⾏ • APIを叩くだけで動的なレコメンデ ーションを提供 • APIを介して様々な⼤規模⾔語モデル にアクセスすることができる • データセキュリティ機能による安全 なアクセス • RAG 機能、⾮公開でのモデルのカス タマイズなどさまざまな機能を提供
18. © 2024, Amazon Web Services, Inc. or its affiliates. 24 GoogleAnalytics 4 Amazon S3 Training data User activity log Amazon Personalize Inference log Inference log User Data Scientist Recommend Training copy Snowflake Amazon Personalizeを利⽤したリコメンドシステム
19. © 2024, Amazon Web Services, Inc. or its affiliates. 25 GoogleAnalytics 4 User activity log Amazon Personalize Snowflake copy Google Analytics 4 のRawデータを取り込む
20. © 2024, Amazon Web Services, Inc. or its affiliates. GoogleAnalytics 4 Amazon S3 Training data User activity log Amazon Personalize Snowflake Training copy Snowflakeから訓練データを取り込み Amazon Personalizeで学習
21. © 2024, Amazon Web Services, Inc. or its affiliates. 27 GoogleAnalytics 4 Amazon S3 Training data User activity log Amazon Personalize Inference log Inference log User Data Scientist Recommend Snowflake Training copy 推論結果をアプリケーションに組み込む 分析⽤にSnowflakeに推論結果を取り込む
22. © 2024, Amazon Web Services, Inc. or its affiliates. 28 Amazon Bedrockを利⽤したRAGの構築 Amazon S3 Documents Vector DB Amazon Bedrock AWS Lambda Snowflake Data Scientist Client Logs FAQ Document VPC VPC Endpoint Aggregate CLAUDE 3 Llama 3 etc… Query Copy Query Question Prompt with Data from Snowflake Embedding
23. © 2024, Amazon Web Services, Inc. or its affiliates. 29 ドキュメントデータをSnowflakeに取り込み ベクトル化する Amazon S3 Documents Vector DB Snowflake Data Scientist Logs FAQ Document Aggregate Query Copy Embedding ハンズオン︓ https://quickstarts.snowflake.com/guide/asking_questions_to_your_own_documents_with_snowflake_cortex/index.html#0
24. © 2024, Amazon Web Services, Inc. or its affiliates. 30 Amazon Bedrockにセキュアにアクセスする Vector DB Snowflake Amazon Bedrock AWS Lambda Client VPC VPC Endpoint CLAUDE 3 Llama 3 etc… Query Question Prompt with Data from Snowflake
25. © 2024, Amazon Web Services, Inc. or its affiliates. まとめ 31 • データ領域（ETL＋DWH＋ML＋BI）に対してSnowflakeとAWS で満遍なく対応できる • マネージドサービスを活⽤することで、データ分析の本質的な活 動に集中した作業を⾏い、会社全体にスケールする仕組みをつく れる
26. © 2024, Amazon Web Services, Inc. or its affiliates. © 2024, Amazon Web Services, Inc. or its affiliates. Thank you!