Slide 1

Slide 1 text

© Finatext Holdings Ltd. What's New about AI/LLM ? 向山 拓実 2025年6月25日

Slide 2

Slide 2 text

© Finatext Holdings Ltd. ● はじめに ● AI/LLM関連 新機能/追加機能紹介 ● Snowflake Intelligence ● まとめ ● Appendix 1 アジェンダ

Slide 3

Slide 3 text

© Finatext Holdings Ltd. ● 名前:向山拓実 ○ X:@mmjjaadmm ○ Zenn:@shichimi ● 役職:Data Engineer / LLM Engineer @ Nowcast ○ 金融機関向けにデータ活用基盤構築 ○ LLMアプリケーションの開発・運用 ○ SIer→Nowcast ○ 修士で化学 機械学習の研究をしてました。 ● 最近興味ある技術・手法 ○ Diffusion Language Model ○ DTA(Divide-Then-Align) (集合写真貼りたかったけど、撮り忘れたので観光時の写真) 2 はじめに 自己紹介 ヨセミテ組 ナパバレー組

Slide 4

Slide 4 text

© Finatext Holdings Ltd. 3 はじめに ● 4日間のスケジュールは右の通りでした。 ● 金融機関ユースケース系のSession、ML、 LLM関連のWhat’s NewやHands Onに参加 しました。 ● 本日はAI/GenAI/LLM関連の新機能、追加 機能をラップアップします! Snowflake Summitでのスケジュール

Slide 5

Slide 5 text

© Finatext Holdings Ltd. ● Snowflake Intelligence ● Data Science Agent ● Cortex AISQL ● AI Observability ● AI Governance Gateway ● Snowflake ML ● Snow Convert AI ● Cortex Knowledge Extention 4 AI/LLM関連新機能・追加機能一覧

Slide 6

Slide 6 text

© Finatext Holdings Ltd. 5 AI/LLM関連の新機能・機能追加 Snowflake Intelligence (Private Preview) ● これはなに? ○ Snowflake上の構造化・非構造化データの両方を対象として、自然言語で質問し interactiveに分析できエージェント機能 ○ ビジネスユーザー向け ● 何がすごいの? ○ BI、SQLスキルを必要とせず、ビジネスユーザーが対話形式でデータにアクセスできる。 ○ ユーザーの権限を踏襲するため、ユーザーが見れない情報はエージェント経由でも見れない。 ● どんなユースケース? ○ 日常の業務でデータ駆動の洞察を得るための相談相手 ○ 「例:今四半期の売り上げ減少の原因を教えて。」 →関連する数値、テキストデータを組み合わせた回答を得られる。

Slide 7

Slide 7 text

© Finatext Holdings Ltd. ● これはなに? ○ 機械学習モデルの開発プロセス全体を自動化・支援する対話型AI エージェント ● 何がすごいの? ○ AnthropicのReasoning Modelを使って自動的にステップ分割して対応できる。 ○ 一定水準のパイプラインを誰でも構築可能。 ● どんなユースケース? ○ 新たな案件のプロトタイプとして迅速にPoCを行う。 6 AI/LLM関連の新機能・機能追加 Data Science Agent (近日Private Preview)

Slide 8

Slide 8 text

© Finatext Holdings Ltd. 7 Appendix Data Science Agent Fig. Data Science Agent generates ML pipelines in the Snowflake Notebooks cells. https://www.snowflake.com/en/blog/agentic-ai-ready-enterprise-data/ 顧客の解約を予測する機械学習 パイプラインを作って!! 実装方針をPlanningした上で実装。 (Claude Codeみたい。) Notebookのcellに そのまま書いてくれる!

Slide 9

Slide 9 text

© Finatext Holdings Ltd. 8 AI/LLM関連の新機能・機能追加 Cortex AISQL (Public Preview) ● これはなに? ○ 構造化、非構造化データ問わずSQL関数として直接扱えるようにした新機能 ● 何がすごいの? ○ SQLに画像を埋め込む黒魔術を使える! ○ テキスト、音声、画像分析を行うために必要な データエクスポート→ベクトル化の手順が不要に!! ● どんなユースケース? ○ カスタマーサポート分析 ■ 通話記録(音声)をそのままSQLで分析可能 ○ 製造業 ■ センサーデータ、画像検査をSQL一つで可能 AISQLハンズオンの様子は以下から見れます! [Snowflake Summit2025 参加記] AISQLとVLMでマルチモー ダル分析:ハンズオンレポート

Slide 10

Slide 10 text

© Finatext Holdings Ltd. 9 Appendix Cortex AISQL 実行例 SQL? Fig. Sample SQL for OCR (Optical Charactor Recognition) Fig. Sample SQL for ASR(Automatic Speech Recognition)

Slide 11

Slide 11 text

© Finatext Holdings Ltd. 10 Appendix Cortex AISQL 関数一覧 関数名 概要 ユースケース AI_COMPLETE 旧 : SNOWFLAKE.CORTEX.COMPLETE プロンプト/会話履歴(テキスト・画 像)の生成系タスクを汎用 LLM で実行 コード生成、SQL 生成、FAQ 応答、マ ルチモーダル説明生成 COMPLETE_MULTIMODAL 画像入力+プロンプトで比較・キャプシ ョン・分類などを実行 商品画像の比較レビュー、図表の要約、 画像 QA AI_CLASSIFY 旧 : SNOWFLAKE.CORTEX.CLASSIFY_TEXT テキストまたは画像をユーザー定義ラベ ルへ単一/複数分類 コールログタグ付け、画像カテゴリ分け AI_FILTER True/False を返すブール判定。 SELECT/WHERE/JOIN 句で自然言語フ ィルタリングが可能 求職者レジュメと求人票の適合判定 AI_SIMILARITY 2 つの入力(テキスト/画像)のベクト ル類似度(コサイン類似度)を算出 類似記事検索、重複画像検出 EMBED_TEXT_768 /EMBED_TEXT_1024 英語テキストを 768/1024 次元ベクトル にエンコード -

Slide 12

Slide 12 text

© Finatext Holdings Ltd. 11 Appendix Cortex AISQL 関数一覧 関数名 概要 ユースケース AI_AGG テキスト列をプロンプトに基づき要約・ 洞察抽出(スカラー/集計両対応) レビューの一覧の特徴抽出、サーベイ結 果のインサイト出力 AI_SUMMARIZE_AGG テキスト列全体を一括要約(コンテキス ト長制限を回避) 大量 CS チケットの週次要約、SNS コ メント集計 SUMMARIZE テキストを要約 記事プレビュー生成、レポート TL;DR TRANSLATE 多言語テキスト翻訳 グローバル UI 文言管理 SENTIMENT 全体のポジネガ判定(-1〜1) 顧客レビューのネガティブ検知、ブラン ド評価 ENTITY_SENTIMENT エンティティ粒度の詳細感情分析 製品別・機能別の顧客満足度分析 EXTRACT_ANSWER 非構造文書から Q&A 形式で回答を抽出 規約からポリシー条項を抽出、契約書 QA PARSE_DOCUMENT ステージ上 PDF/画像を OCR またはレ イアウト付きテキストとして抽出 RAG 用コーパス化、帳票データ化

Slide 13

Slide 13 text

© Finatext Holdings Ltd. 12 Appendix Cortex AISQL 関数一覧 関数名 概要 ユースケース FINTETUNE 事前学習済みモデルの追加チューニング を Snowflake 上で実行 ドメイン特化 LLM の軽量適応 COUNT_TOKENS 入出力トークン数を算出 コスト見積もり SEARCH_PREVIEW Cortex Search で検索プレビューを取得 RAG チューニング時の検索結果確認 SPLIT_TEXT_RECURSIVE_CHARACT ER RAG 向けにテキストを階層的に分割(チ ャンク分割) - TRY_COMPLETE 失敗時に NULL を返す COMPLETE の安 全ラッパー 大量バッチ処理での例外抑制

Slide 14

Slide 14 text

© Finatext Holdings Ltd. ● これはなに? ○ Cortex AIにおけるAIアプリの動作(LLMの振る舞い)を可視化・評価・監視するための機能 ● 何がすごいの? ○ ノーコードでsystem - user間の対話履歴、応答の品質評価指標、コスト消費をモニタリン グできる! ○ 開発者向けのカスタムメトリクス追加にも対応 ● どんなユースケース? ○ LLMを使ったアプリにおける品質、コスト管理 (今回はLLMのObservabilityについての言及だったけどMLについても追加されてそう。) 13 AI/LLM関連の新機能・機能追加 AI Observability (GA)

Slide 15

Slide 15 text

© Finatext Holdings Ltd. 14 Appendix TruLens : streamlitベースで、LLMの処理結果を見直せる。 Fig. Sample image about AI Observability

Slide 16

Slide 16 text

© Finatext Holdings Ltd. ● これはなに? ○ 企業が生成AIの利用において、細やかなポリシー制御を行うための機能 ● 何がすごいの? ○ LLMモデルに対するアクセス制御の実現可能 ○ モデル利用回数(費用)の上限設定可能 ○ LLM利用状況の監査ログ取得可能 ● どんなユースケース? ○ 金融機関 ■ AI Governance Gatewayでホワイトリスト化したモデルのみを利用可能にできる (Claudeのみ使える、GPT-4o のみ使えるみたいな制御が可能) 15 AI/LLM関連の新機能・機能追加 AI Governance Gateway (Private Preview)

Slide 17

Slide 17 text

© Finatext Holdings Ltd. ● これはなに? ○ 機械学習モデルの構築からデプロイまでのシームレスに実行可能なSnowflake MLプラット フォームの機能強化を発表した。(具体的な機能追加項目については次のページ) ● 何がすごいの? ○ データとモデルの一体化 ○ MLOpsの一元管理 ○ 大規模機械学習の効率化(データ規模、学習並列数が大きいほど効率が良くなる。) 16 AI/LLM関連の新機能・機能追加 Snowflake ML (大部分はGA soon、一部のみPrivate Preview)

Slide 18

Slide 18 text

© Finatext Holdings Ltd. ● 分散学習API: Snowpark Container Services上で複数ノードを用いた大規模データの分散学習やハイパーパラメータ チューニングが可能(AWS/AzureでGA)。 ● 実験管理: モデル学習の各試行結果を自動トラッキングし、ベストモデルを共有・再現できるネイティブな実験管理 機能(Private Preview)。 ● MLジョブ: 任意のコード(例:data_prep.pyやtrain.py)をSnowflake管理下のコンテナ環境で定期実行できるジョブ 機能(GA Soon)。 ● モデルデプロイ/提供: 学習済みモデルをSnowflake Model Registryに登録し、Snowpark Container Services上で REST APIエンドポイントとしてワンクリックでデプロイ可能。CPUまたはGPUを選択してリアルタイム推論サー ビスを提供でき、Hugging Face上の人気モデルもモデル名を指定するだけでSnowflake内にデプロイ可能(Private Preview)。 ● Feature Store: 特徴量ストアに蓄積した特徴量をオンライン推論(リアルタイム予測)向けにも提供可能に拡張 (Private Preview)。 ● MLモニタリング: モデルの推論結果はSnowflakeのML Observability機能(モデル監視)と統合されており、精度劣 化やデータドリフトを検知してアラートを上げる仕組みも組み込まれている(GA) 。 17 Appendix Snowflake ML の機能追加、拡張一覧

Slide 19

Slide 19 text

© Finatext Holdings Ltd. ● これはなに? ○ 既存のシステム(オンプレ、クラウド問わず)から、Snowflakeへの以降を支援するツール ○ AIを使ってコード変換や検証を自動化する。 ● 何がすごいの? ○ 移行プロジェクトの工数を劇的に削減可能! ○ DB(SQL)だけじゃなくて、ETL、BIについてもサポート対象。 ● どんなユースケース? ○ オンプレDWH→Snowflakeへの移行 Oracle SQL→Snowflake SQLへの変換を自動でやってくれる。 (DB初期パラについても該当するものがあれば、自動でやってくれるのだろうか?) 18 AI/LLM関連の新機能・機能追加 SnowConvert AI(Public Preview) 具体的な操作画面等は以下のテックブログから見れます! [Snowflake Summit 2025参加レポート]新機能 SnowConvert AI の概要を紹介!

Slide 20

Slide 20 text

© Finatext Holdings Ltd. ● これはなに? ○ Snowflake Marketplace経由で利用できる外部データパッケージ ● 何がすごいの? ○ 最新かつ豊富な知識をSnowflake上で完結する形でAIへ付与可能 ○ 生成AI活用における著作権・利用許諾上の問題なく利用可能 ● どんなユースケース? ○ 市場分析AI ■ CB Insightsの市場データを使って最新の市場トレンド、ベンチマークを考慮に入れた 分析が可能 ○ カスタマサポート ■ 製品を製造している内部でしかわからないような事象についても、コンテンツを参照す ることで回答が可能 19 AI/LLM関連の新機能・機能追加 Cortex Knowledge Extension (GA Soon)

Slide 21

Slide 21 text

© Finatext Holdings Ltd. 20 Snowflake Intelligenceについて深掘り そもそも何者?

Slide 22

Slide 22 text

© Finatext Holdings Ltd. ● 構造化・非構造化データに自然言語で問い かけ可能なAIエージェントを構築・運用す るプラットフォーム ● ChatGPT-LikeなUIでデータに関する相談 が可能なプロダクト ● https://ai.snowflake.com/ からアクセス可能 ● もうすぐPublic Preview 21 Snowflake Intelligenceとは? 概要 Fig. The position of Snowflake Intelligence in Cortex Family

Slide 23

Slide 23 text

© Finatext Holdings Ltd. 22 Snowflake Intelligenceとは? Snowflake Intelligenceの立ち位置 (Snowflake AI Applications Frameworkより) Fig. The position of Snowflake Intelligence in Snowflake AI APP Framework

Slide 24

Slide 24 text

© Finatext Holdings Ltd. ● (ある程度)ノーコードでエージェント構築可能 ○ GUIベースでエージェントを構築可能。 ○ ツール(Cortex Analyst)追加もGUIベースで可能。 ○ ツールを追加するときにはSemantic View必須。 23 Snowflake Intelligenceの特徴 ● 既存のRBACを踏襲したアクセス制御が可能 ○ エージェント構築用にROLEを新規作成する必要なし! ○ ユーザーが見れないデータはエージェント経由でも見えない!

Slide 25

Slide 25 text

© Finatext Holdings Ltd. ● AIが組織のデータを理解して、活用するために不可欠なもの ○ 独自のビジネスロジックや用語の定義をデータに付与する ○ 自然言語から高品質なSQLを生成するために大切 ○ 個人的にはInfra側に作れるのありがたい→ETLツールに作ると別場所から参照できないので。 ○ TableauやPDFの様な非構造化データから自動でSemantic Viewを作ってくれる!! 24 Semantic View Semantic View(Model) とは?

Slide 26

Slide 26 text

© Finatext Holdings Ltd. 例:「A社におけるファンドの年間直販額を教えて」 25 Appendix Semantic Modelがなぜ重要なのか Semantic Modelを定義しない場合 Semantic Modelを定義した場合 ER図を理解している人(エンジニア)が、 1. ファンドマスタテーブルと取引履歴 テーブルをファンドIDでJOIN 2. 1のテーブルと運用会社マスタテー ブルを運用会社IDでJOIN 3. その中で、2025年A社の物をWhere 句でFilter 4. SUMを計算 の様なロジックを組む必要がある。 ビジネスユーザーによる自然言語での 問い合わせが容易になる!!!

Slide 27

Slide 27 text

No content