生成AIConf_SNOWFLAKE様「生成 AI でデータから価値を引き出す」

Transcript

1. © 2024 Snowflake Inc. All Rights Reserved SNOWFLAKE 生成 AI でデータから価値を引き出す 生成AI Conf様主催『生成AI時代を支えるプラットフォーム』 2024/12/16 Snowflake シニアセールスエンジニア 菅野 翼 (KANNO Tsubasa)
2. © 2024 Snowflake Inc. All Rights Reserved 必ずお読みください • 本資料には発表者個人の見解が含まれます。Snowflake の公式メッセージに ついては以下のドキュメントをご参照いただくようお願いいたします https://docs.snowflake.com/ja • 本資料の内容は2024/12/16時点の Snowflake の機能をベースとしておりま すのでご留意いただくようお願いいたします
3. © 2024 Snowflake Inc. All Rights Reserved Snowflake Senior Sales Engineer - 日系 SIer (PM / PL / インフラ) > - AWS (Solutions Architect) > - Snowflake (Sales Engineer) 菅野 翼 (Tsubasa Kanno) Zenn (技術ブログ): https://zenn.dev/tsubasa_tech LinkedIn (SNS): https://www.linkedin.com/in/tsubasa-kanno/
4. © 2024 Snowflake Inc. All Rights Reserved Agenda • SNOWFLAKE とは？ • Snowflakeで実現するデータと AI の融合 • Snowflake の 生成 AI 全体像 • データ活用からシームレスに利用できる AI • AI アプリケーションの展開 • 企業データ活用のこれから • 最後に
5. © 2024 Snowflake Inc. All Rights Reserved SNOWFLAKE とは？
6. Snowflake とは？ - データサイロを解消する シングルデータプラットフォーム - Data Ingest データ取り込み データソース 基幹系 /OLTP データベース エンタープライズ アプリケーション 3rd パーティ ウェブ・ ログデータ IoT Data Consumption データ分析・活用 データ利用者 オペレーショナル レポーティング アドホック分析 リアルタイム分析 アプリケーション データサイエンス Data Transformation データ変換 エンタープライズ データウェアハウス データマート データレイク バックアップ グループ会社等と のデータ共有 Snowpark データサイエンス Snowpark データエンジニアリング Streamlit Snowpark・Streamlit の拡充によりデータウェアハウスだけではない、様々なワークロードをシングルプラットフォームで実現 E T L SNOWFLAKE AI データクラウド
7. © 2024 Snowflake Inc. All Rights Reserved 7 © 2024 Snowflake Inc. All Rights Reserved なぜ “AI” データクラウドなのか？
8. データ戦略は AI 戦略に不可欠 データファウンデーション を強化 あらゆるデータと ワークロードに対応 エンタープライズ AI の促進 すべてのユーザーが 企業データを活用 アプリケーションの構築 と配布 開発、展開、配布を合理化
9. © 2024 Snowflake Inc. All Rights Reserved 生成 AI 及び ML のための統合プラットフォーム 効率 データと並行して実行される最先端のAIモデル、 フレームワーク、アプリで開発から展開までの ライフサイクルを合理化 簡単 ノーコードのStudio、SQL、Python、 REST APIインターフェースでアクセス可能な フルマネージド型AIインフラストラクチャー 高い信頼性 業界をリードするセキュリティと、何千もの組織が 信頼を置くデータとモデルの統合ガバナンスにより、 IPの価値を大規模に保護 機械学習 (ML) Snowflake ML 生成 AI Cortex AI アプリケーション開発 Studio | Notebooks | Streamlit | Copilot データとモデルガバナンス Snowflake Horizon | モデルレジストリ 選択の発生
10. © 2024 Snowflake Inc. All Rights Reserved Snowflake で実現する データと AI の融合
11. © 2024 Snowflake Inc. All Rights Reserved Snowflake の生成 AI 全体像
12. © 2024 Snowflake Inc. All Rights Reserved Snowflake の生成 AI の特徴 コード不要のStudio、SQL、 Python、REST APIのインター フェースからアクセス可能な、フ ルマネージドで緊密に統合され たデータとAI 数多の組織から信頼されている データとモデルのための業界を リードするセキュリティと 統合ガバナンス 簡単 信頼性 企業のユースケースと規模に 応じた費用対効果のために 設計された最先端のモデルと システム 効率的
13. © 2024 Snowflake Inc. All Rights Reserved Snowflake の生成 AI 全体概要 Snowflake Copilot Document AI Snowflake ML チャット モデル Studio RAG Cortex Search 構造化データ Cortex Analyst (*PuPr) タスク固有のモデルと 埋め込みモデル 基盤モデル ファインチューニング済み モデル (*PuPr) Snowflake Cortex AI *PuPr = Public Preview
14. © 2024 Snowflake Inc. All Rights Reserved データ活用から シームレスに利用できる AI
15. © 2024 Snowflake Inc. All Rights Reserved 普段のデータ活用の中で簡単に LLM を利用できる SQLやPythonなどから シンプルにLLMを利用可能 テーブルのデータを簡単に プロンプトとして渡せる 普段のデータ活用のワークの中で、 画面などを切り替えずにすぐにLLMを活用できる 機能の有効化や接続、認証などは不要！
16. © 2024 Snowflake Inc. All Rights Reserved Cortex AI で利用できる LLM ベースモデル モデル名 Context Window (トークン数) MMLU (推論) HumanEval (コーディング) GSM8K (算術能力) Spider 1.0 (SQL) llama3.1-405b 128,000 88.6 89 96.8 - reka-core 32,000 83.2 76.8 92.2 - llama3.1-70b 128,000 86 80.5 95.1 - mistral-large2 128,000 84 92 93 - mistral-large 32,000 81.2 45.1 81 81 reka-flash 100,000 75.9 72 81 - llama3.1-8b 128,000 73 72.6 84.9 - mixtral-8x7b 32,000 70.6 40.2 60.4 - llama-2-70b-chat 4,096 68.9 30.5 57.5 - jamba-instruct 256,000 68.2 40 59.9 - jamba-1.5-mini 256,000 69.7 - 75.8 - jamba-1.5-large 256,000 81.2 - 87 - Snowflake Arctic 4,096 67.3 64.3 69.7 79 llama3.2-1b 128,000 49.3 - 44.4 - llama3.2-3b 128,000 69.4 - 77.7 - gemma-7b 8,000 64.3 32.3 46.4 - mistral-7b 32,000 62.5 26.2 52.1 - ※2024/12/16現在
17. © 2024 Snowflake Inc. All Rights Reserved データ分析アシスタント機能 (Snowflake Copilot) 自然言語での テーブル情報の確認 自然言語での クエリ生成 生成された クエリの実行
18. © 2024 Snowflake Inc. All Rights Reserved AI アプリケーションの展開
19. © 2024 Snowflake Inc. All Rights Reserved 全ての人がデータ活用の主役であるべき これまでのデータ活用 Snowflake のデータ活用 データアナリスト AI/ML エンジニア ビジネスユーザー 経営層 DWH 分析依頼 分析結果 データアナリスト AI/ML エンジニア ビジネスユーザー 経営層 Snowflake データアプリ アプリを通じて主体的にデータ活用 ・遅い ・定型的 ・リアルタイム ・創造的
20. © 2024 Snowflake Inc. All Rights Reserved 最速でセキュアに AI / データアプリを用意できる Streamlit in Snowflake 概要： Streamlit はアプリ開発用のオープンソース Python ライブラリの1つで、Snowflake にネイティブに統合 されており、拡張性と信頼性に優れた安全な展開を可 能に メリット： Python を使用してデータと AI / ML モデルを Web ア プリに変えることができます。ビジネスユーザーはこ のアプリを使用してセルフサービスで分析できます 活用方法： コードエディターでコンポーネントをすばやくアプリ を作成したり、1クリックで URL を展開して同僚と共 有したりできる
21. © 2024 Snowflake Inc. All Rights Reserved 最速でセキュアに AI / データアプリを用意できる Streamlit in Snowflake Snowflake Streamlit ユーザー Cortex AI 商品 ユーザー マーケティング 履歴 Web アプリの利用 各種テーブルデータを呼び出して アプリで表示 シンプルに LLM を呼び出して アプリで表示
22. © 2024 Snowflake Inc. All Rights Reserved 企業データ活用のこれから
23. © 2024 Snowflake Inc. All Rights Reserved 持続可能なファインチューニング Cortex Fine-tuning メリット • LLM ベースモデルを調整する ことで出力結果の品質を高める ことが期待できる デメリット • 専門的なスキルの必要性、 教師データの準備と変換、 継続的なトレーニング、 ファインチューニングモデルの 管理、推論の制約など様々 一般的なファインチューニング Snowflakeのファインチューニング prompt completion 東京タワーの高さは？ 333メートル 東京タワーの海抜は？ 351メートル 教師データ SELECT SNOWFLAKE.CORTEX.FINETUNE( 'CREATE', 'finetuned_model', 'llama3.1-70b', 'SELECT prompt, completion FROM <教師データ>' ); トレーニングクエリ ファインチューニング モデル 推論 シェア 最低2カラムの通常のテーブルがあればOK！ In Dev Private Public GA
24. © 2024 Snowflake Inc. All Rights Reserved • 文字列や画像の検索 / LLMのRAGフレームワークなど企業データを踏み込 んで活用したい場合、データを数値情報に置き換えるEmbedding (ベクト ル化) が重要な役割を担います • Snowflakeはデータ型の1つとしてベクトルデータ型を持ち、またCortex AIのEmbedding関数により簡単にベクトル化することが可能です ベクトルデータ型の標準対応と Embedding ID 商談ログ 001 XX社へ製品パーツの営業を実施。先方は ... 002 △△社からトラブルの連絡を受け状況確認を ... 商談テーブル ID 商談ログ ベクトルデータ 001 XX社へ製品パーツの営業を実施。先方は ... 0.001, 0.320… 002 △△社からトラブルの連絡を受け状況確認を ... 0.0234, 0.54… SNOWFLAKE.CORTEX.EMBED_TEXT 商談テーブル ・商談ログをあ いまい検索した り比較すること が可能に！ ・ベクトルデー タベースを別に 用意しなくてOK
25. © 2024 Snowflake Inc. All Rights Reserved ハイブリッド検索を備えたフルマネージドの RAG Cortex Search 質問: “ECBの新たな 資本要件は？” フィルタ : “Year > 2022” ユーザークエリ ハイブリッド検索 結果の融合と 並び替え キーワード / 語彙検索 セマンティック 検索 結果1: weighted average of Pillar 2 requirements set at 1.1% in 2023, unchanged from last year…” 結果2: “Overall CET1 capital requirements and guidance increased from 10.7% to 11.1%...” 結果K:”...” 結果セット Documents
26. © 2024 Snowflake Inc. All Rights Reserved 非構造化データから価値を引き出す 概要 この新しいワークフローを使用すると、Snowflakeが 開発したビルトインのLLMにより、ドキュメントか らコンテンツを簡単に抽出できます。 メリット AIの専門知識がなくても、ドキュメントから分析の 価値を抽出できます。 活用方法 コード不要のUI上で、自然言語で質問して自動的に 回答を得られます。また、必要に応じて結果をファ インチューニングすることもできます。 自然言語で質問して、文書から要素 を自動抽出 LLMモデルをトレーニング・公開 従業員の名前は？ 従業員の住所は？ 従業員IDは？ Document AI
27. © 2024 Snowflake Inc. All Rights Reserved Snowflake Connector for SharePoint 概要 Microsoft 365 SharePointからファイルを取り込み、独自 のAIアシスタントに接続できるよう準備するコネクタ メリット Microsoft 365 Sharepointの最新情報を簡単かつ迅速にAI アシスタントに接続し、Sharepointのエンドユーザーアク セス制御に準拠しながら”ファイルと対話”することが可能 利用方法 • Snowflake Marketplaceから無料コネクタを取得 • Cortex Search APIにより好みのチャットUIを接続 Cortex Search <SERVICE> Snowflake Account Snowflake Connector for SharePoint (Native App) Workflow (Procedures, Tasks, Streams) File Content | Metadata | Permissions | Chunks Cortex Search what is a timing belt and what happens when it breaks? How can I help? チャットインターフェースの 選択 (Slack, Teams, etc. ) Fetch Content & Keep Up to Date M365 SharePoint PDF | PPTX | DOCX Cortex APIs In Dev Private Public GA
28. © 2024 Snowflake Inc. All Rights Reserved 最後に
29. © 2024 Snowflake Inc. All Rights Reserved 最後に 企業における生成AI活用において 企業データの活用は不可欠 企業における生成AI活用において トライ＆エラーは必ず必要になる 企業が安心してチャレンジするためには 統一したデータガバナンスが不可欠 Snowflakeは強力なデータガバナンスを適用した上で、 最先端のAIを用いた企業価値創造にチャレンジできる！
30. © 2024 Snowflake Inc. All Rights Reserved THANK YOU