（金融庁共催）第4回金融データ活用チャレンジ勉強会資料

（金融庁共催）第4回金融データ活用チャレンジのSnowflake勉強会で用いた資料

Transcript

1. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. （⾦融庁共催）第4回⾦融データ活⽤チャレンジ 2026年01⽉26⽇(⽊) 株式会社ナウキャスト 向⼭拓実 Snowflake勉強会 1
2. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. アジェンダ • ⾃⼰紹介 • 会社概要 • 今回のデータ分析コンペ テーマおさらい • ベースラインソリューションご紹介 • デモ • この後できる⼯夫 2
3. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. ⾃⼰紹介 3 • 名前：向山拓実 • お仕事：Nowcastという会社でSnowflakeを使っ たデータ基盤構築、LLMを使った機能開発、Web アプリ開発とか色々やっています。 • 好きなSnowflakeの機能：Cortex Analyst • X: https://x.com/mmjjaadmm • Zenn: https://zenn.dev/shichimi • Snowflake Squad
4. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. 会社概要 4 フィンテックソリューションを提供するFinatextグループの会社です 全グループの従業員は385名。福利厚生や、給与水準は全グループ共通です。 親会社 事業概要 代表者 金融サービスの開発・運営 (4419) データ&AIのプロダクトとソリューション リテール向けオンライン証券会社 少額短期保険会社 木下あかね 辻中仁士 小林紀子 ベトナムの開発チームの統括 Thai Lam 小山宏人 レンディングビジネス 高平大輔
5. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. 5 会社概要 Data Service事業 ビッグデータを用いたプロダクトを提供する事業。 Data AI Solution事業 データとAIで顧客のDXを支援する事業。 Data Service Platform Unit 事業横断でデータ基盤の高度化、R&Dなどを行うチーム。 Financial Research Unit 内閣府や日本銀行、シンクタンクにマクロ経済分析 のデータ提供。また、機関投資家の投資意思決定を サポートするサービスを提供。 Real Estate Unit 商圏分析や売上予測モデルに よる店舗物件の診断サービス を不動産会社に提供する。 Data Holder Unit 提供元からデータを受領し、データパイプラインの構築を行うチーム。 Engineering Team データエンジニアリングと生成AI活用に精通した エンジニアリングチーム。 Consultant Team データとAIを用いたDXに特化したコンサルティン グチーム。 ナウキャストはデータとAIを軸にサービスとソリューションを提供しております • Data Service事業では様々な企業からデータをいただき、SaaSとして顧客に提供することでビッグデータのマネタイズを実現 • Data AI Solution事業ではナウキャストが培った知見を活かしてエンタープライズのDXを支援。
6. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. データウェアハウス データホルダー 解析 POSデータ 日本経済新聞 1,500店舗の スーパーマーケット True Data 4,000店舗の スーパー、 ドラックストア 2,600店舗の 家電小売 クレジットカードデータ JCB JCBカードの 所有者・加盟店 クレディセゾン セゾンカードの 所有者 求人データ 人流データ TV広告データ KDDI 携帯搭載の 地理データ フロッグ 130超の日本の web求人広告 サイト エムデータ 日本の全無料 チャンネンルの TV広告データ 会社概要：データ事業 ビッグデータ解析事業を推進する上でDWHの活用、AI活用の知見を溜めながらプロダクト構築を実施 ライセンスデータ 官公庁・シンクタンク・投資家 エンドユーザー 投資家 不動産事業者
7. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. データ事業：官公庁・シンクタンク・投家向けマクロ経済動向プロダクト マクロ経済サービスは物価・消費・求人、賃金の3つの視点で提供 物価動向なら 消費動向なら 求人・賃金動向なら POSデータを用いて物価指数を作成 クレジットカードデータを用いて 消費指数を作成 web求人広告データを用いて求人数 指数、募集賃金指数を作成 ある日の物価を翌々日に公表できる 速報性の高さ データヒストリーが1989年からと 時系列が長い 品目別の物価・販売動向の把握 ができる 消費動向を2週間ごとに公表できる 速報性の高さ クレジットカードの決済情報を元に 業界別・消費者属性別に分析 消費されたお店、消費者居住地を 地域・都道府県別に分析 求人動向を1週間ごとに公表できる 速報性の高さ 民間の求人広告サイトを集計しており カバレッジが広い 求人内容に基づいて 雇用形態、業界別・都道府県別に分析
8. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. データ事業：官公庁・シンクタンク・投資家向けマクロ経済動向プロダクト　ユースケース 内閣府や日本銀行に日本全体の動向把握のために活用いただいたり、 シンクタンクにマクロ経済分析の際にデータとして活用いただく ▲みずほリサーチ&テクノロジーズ 　MHRT Global Watch(2024/11/6) 日経CPINowの事例 JCB消費NOWの事例 HRog賃金Nowの事例 ▲日本銀行 　経済・物価情勢の展望(2024/11/1) ▲内閣府 　月例経済報告等に関する関係閣僚会議資料 (2024/10/29)
9. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. データ事業：機関投資家向けサービス オルタナティブデータを機関投資家のニーズに合わせた様々な形で提供 銘柄詳細分析サービス POSデータ、クレジットカードデータで 200以上の銘柄をカバー アナリストレポートサービス 特に特徴的な動きをする銘柄について ナウキャストのアナリストが 毎月2-3本レポートを提供 データ納品サービス ナウキャストでカバーしている データを加工し納品 銘柄・ブランドで検索しセクター別の 売上・価格・販売量の変動を把握 チャートとテーブルをダウンロードし 手元でカスタム分析 個別に質問、意見を聞ける アナリストコール実施 月次・四半期決算前に合わせて 決算の予測値を閲覧 ニーズに合わせて ローデータ・集計データで提供 多種多様な文言で混在しているローデータの マッピングを高精度で実施 求人データ
10. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. 10 DataLensHubシリーズ 業界特化型のデータ活用SaaS『DataLensHub』シリーズを展開 テナント 法人営業DX　AI・データ活用 DataLens商業リーシング 求人データ、従業員数データ、 過去移転情報、財務データ等を組み合 せ、移転ニーズをスコア化 オフィス営業特化サービス 出店意向の高い 企業がわかる！ オフィスの移転ニーズが高い 企業がわかる！ 物件情報の整理〜選定 の作業負担が減少 ！ DataLensオフィス営業 DataLens店舗開発 日本全国の開業データ、商業施設情報 にナウキャスト独自のブランドマスタを組 み合わせ テナントリーシング営業特化サービス AIによる物件の自動取り込み機能と クラウド上での物件管理 さらにクレジットカードデータ、 人流データで出店判断が可能 店舗出店・管理のDXサービス 事業会社 デベロッパー 企業の動向 がわかる！ DataLens法人営業 高頻度で更新される従業員数、会社概 要、財務情報、求人情報、インテント データなどを掛け合わせ 法人営業特化サービス
11. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. データAIソリューション事業 11 データAIソリューション事業では、データ基盤構築から⽣成AIソリューションの導⼊までサポート。活⽤する データの整備から⾏うことでより適切な形でお客様の売上向上/業務効率化を実現している。 ⽣成AIソリューション データ基盤構築 データ整備/パイプライン構築 モダンな技術を活⽤した基盤整備、 データ加⼯及びパイプラインの構築を実施 データ 収集 データ 蓄積 データ 加⼯ 可視化 AI コンサルティング/ソリューション提供 お客様の要件に合わせて⽣成AIを導⼊、 ⼀部はプロダクト化した上でご提供
12. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. 12 データAIソリューション事業：データエンジニアリングの取り組み 250社のパートナーの中から「Industry Solution Partner of the Year – Japan」を受賞 • Snowflake AIデータクラウド上で、金融・小売に特化した革新的 ソリューションが評価されました（2025年9月12日発表 ／Snowflake World Tour Tokyo 2025）。 • Snowflakeが日本のパートナーの中から、業界特化の解決力と実 績を評価して授与するアワード • POS・クレジットカード等のリアルタイム/オルタナティブデータを Snowflake上で分析し、消費動向の把握や経済予測を実現。顧客 のデータドリブンな意思決定を高速化。
13. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. 今回のデータ分析コンペのテーマ おさらい 課題：提供される財務データ、企業属性データと⽣成AIを使って、提案書を作成する。 13
14. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. ベースラインソリューションご紹介 全体概要図 14 Unstructured Cortex Search AI_PARSE_DO CUMENT Extracted Data Cortex Agents Cortex Analyst Structured データの問い合わせ〜考察〜Word出力 までEtoEで実現。 Stored Procedure （Custom Tool）
15. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. ベースラインソリューションご紹介 使⽤したSnowflakeの機能 15 Cortex Agent Cortex Search Snowflake Intelligence Cortex Analyst 自然言語でのデータ分析を可能に する機能。 Semantic View を構築することで 利用可能。 ベクトル検索とキーワード検索を組 み合わせた高品質な検索を提供 する機能。 マネージドなRAGとして利用。 構造化・非構造化データ両方を対 象に問い合わせ可能な UI を提供 する機能。 Summit 2025 発表の新機能。 Cortex Analyst/Searchをツールと して利用し、タスクの計画やオーケ ストレーションをするAgent 機能。 PDFなどの非構造化データに記載 されているテキストを全文抽出す る。 AI_PARSE_DOCUMENT Cortex Agentで使うCustom Tool を構築する。Agentが考えた資料 をWord形式で出力する。 Stored Procedure
16. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. ベースラインソリューションご紹介 全体概要図 16 Unstructured Cortex Search AI_PARSE_DO CUMENT Extracted Data Cortex Agents Cortex Analyst Structured データの問い合わせ〜考察〜Word出力ま でEtoEで実現。 Stored Procedure （Custom Tool） ① PDFファイルの前処理
17. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. ベースラインソリューションご紹介 ① PDFファイルの前処理 17 • 今回、レポートを書くにあたって、有価証券 報告書全体を⾒せることで観点の抜け漏れが ないようにしたかった。 • RAGだと検索に対して断⽚的な情報をとって きてしまうので、全体の流れを踏まえた⽂章 を⽣成しにくい。 • ということで、Snowflakeの AI_PARSE_DOCUMENT関数を使って、 PDF→テキストへの⽂字起こしを⾏った。 • 10ファイルを24 sで処理。 Fig. データ抽出の精度をGUIで確認できる機能 Document Processing Playground
18. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. ベースラインソリューションご紹介 全体概要図 18 Unstructured Cortex Search AI_PARSE_DO CUMENT Extracted Data Cortex Agents Cortex Analyst Structured データの問い合わせ〜考察〜Word出力ま でEtoEで実現。 Stored Procedure （Custom Tool） ② csvファイルのデータを動的に取り出せ るような機能
19. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. ベースラインソリューションご紹介 ② csvファイルのデータを動的に取り出せるような機能(Cortex Analyst) 19 Fig. Cortex Analystのデモ動画 概要 ⾃然⾔語でSnowflake内の構造化データを分析(Text2SQL)できるフル マネージド型ソリューション。今回は、会社の基本的な情報がcsv ファイルとして与えられていたため、そちらをテーブルへ加⼯した上 で、Cortex Analystを使えるように整備した。 特徴 • より迅速なインサイトの取得と、分析の質問に対するデータ専 ⾨チームへの依存を軽減。 • ロールベースのアクセスコントロールが適⽤できるため、ユー ザーに対して不必要なデータを⾒られる危険性が低い。 • 正確なSQLを⽣成するために、基礎となるスキーマやビジネス 特有の⽤語を説明するSemantic Viewの整備が必要
20. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. Appendix. Semantic Viewとは？ 20 ビジネス⽤語の意味（セマンティクス）をデータベース内に格納するために使うもの。 物理データとビジネス的な意味のマッピングをすることで、データ⇄ユーザーが使う⾔葉間の意味的なずれを矯正 する。 Fig. データ基盤におけるSemantic Viewの⽴ち位置
21. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. Appendix. Cortex Analystの仕組み 21 1 リクエスト ユーザーの質問とセマンティックモデル（YAMLファ イル）をCortex AnalystのREST APIへ送信 2 質問理解と補強 ・質問に回答可能か、分類エージェントが判断 ・回答不可の場合は、類似質問を提示 ・回答可能な場合は、質問を追加エージェントで補強 3 SQL生成とエラー修正 ・複数のSQL生成エージェントが並列で動作 ・エラー修正エージェントによるSQLチェックと修正 ・統合エージェントが最適なSQLクエリを生成 4 レスポンス ・SQLクエリと質問の解釈をAPIの応答として提示 ・クエリを実行、または追加処理後に最終結果を 　ユーザーへ提示 CORTEX ANALYST セマンティック ビュー 質問理解 分類 / 補強 / 抽出 データベース & ウェアハウス REST API 質問 回答 SQL生成 生成 / 修正 / 統合 SQLクエリ セマンティッ ク情報で補強 した回答可能 な質問 1 2 3 4 エージェント 生成SQL + 解釈
22. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. ベースラインソリューションご紹介 全体概要図 22 Unstructured Cortex Search AI_PARSE_DO CUMENT Extracted Data Cortex Agents Cortex Analyst Structured データの問い合わせ〜考察〜Word出力ま でEtoEで実現。 Stored Procedure （Custom Tool） ③ RAGの構築
23. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. Fig. 今回構築したCortex Search ServiceのGUI（ここで設定変更が 容易に可能。） ベースラインソリューションご紹介 ③ RAGの構築 (Cortex Search) 23 概要 ⾮構造化データに対する低レイテンシーで⾼品質のハイブ リッド検索（セマンティック＋キーワード）を可能にするフ ルマネージド型のテキスト検索ソリューション。 今回は、レポートを書き進めるにあたって⾜りない情報を取 得させるために構築。 特徴 • 埋め込みレコードの作成と維持を１プラットフォームで 実現可能。構築するために個別のベクトルDBを設定、 管理する必要がない。 • 低レイテンシー、ハイブリット検索とリランキングを活 ⽤した⾼精度検索を両⽴。
24. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. Appendix. Cortex Searchの仕組み 24 CORTEX SEARCH エージェント 構築 提供 テキスト& ベクトル オーケストレーション 上位K件の 結果 SQL関数 PARSE_DOCUMENT() SQL関数 SPLIT_TEXT_RECURSIV E_CHARACTER () 抽出 チャンク ベクトル化と インデックス 構築 [ 0.01, -0.03, 0.02 ] ベクトル化と ハイブリッド 検索 テーブル データ 質問 コンテキスト化された回答 🙂 レスポンス 生成
25. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. ベースラインソリューションご紹介 全体概要図 25 Unstructured Cortex Search AI_PARSE_DO CUMENT Extracted Data Cortex Agents Cortex Analyst Structured データの問い合わせ〜考察〜Word出力ま でEtoEで実現。 Stored Procedure （Custom Tool） ④ Agentの構築
26. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. 概要 Snowflake内で提供されるフルマネージドなエージェン トサービス。ユーザーの質問を理解して、適切なデータ ソースを選択することでデータを横断した回答の⽣成が 可能。 今回はCortex AnalystとCortex Searchに加えてCustom Tool(ReportをWardファイルとして出⼒させるツール)を 追加して、EtoEでレポート⽣成できるようにした。 特徴 • エージェントの状態管理、コンテキストの維持、 ツールの選択といったバックエンド処理を構築しな いため、開発‧運⽤コストの削減が可能 • ユーザー権限に基づいた安全な回答⽣成が可能 • Custom Toolを実装することで、柔軟にToolをカス タマイズすることが可能 Fig. 今回構築したCortex Agent のGUI（ここで設定変更が容易に可 能。） ベースラインソリューションご紹介 ④ Agentの構築 (Cortex Agent) 26
27. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. Appendix. Cortex Agentの仕組み 27 Cortex Agent ツール活用 オーケストレーション リフレクション REST API or SQL関数 質問... どのような質問ができますか？ 何かお手伝いしますか？ 回答... YES NO 質問に正確に回答するための 必要な情報を全て取得しているか？ Tool 1 Cortex Analyst (構造化データ) Tool 2 Cortex Search (非構造化データ) Tool “N” …
28. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. ベースラインソリューションご紹介 全体概要図 28 Unstructured Cortex Search AI_PARSE_DO CUMENT Extracted Data Cortex Agents Cortex Analyst Structured データの問い合わせ〜考察〜Word出力ま でEtoEで実現。 Stored Procedure （Custom Tool） ⑤ UIの構築
29. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. 概要 Snowflake Cortex AI機能をSnowflake内で完結した形で 扱うためのサービス。SQLのコーディング、ダッシュ ボード構築をせずに⾃然⾔語での質問〜インサイト⽣ 成〜可視化までを1つの画⾯で実現可能。 特徴 • 画⾯構築と保守が不要であるため、運⽤コストを削 減可能 • 分析軸によって使うデータソースを変えれば、⼀つ のUIで複数ユースケースのデータ分析が可能 Fig. Snowflake Intelligenceの画⾯ ベースラインソリューションご紹介 ⑤ UIの構築 (Snowflake Intelligence) 29
30. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. デモ 30
31. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. この後できる⼯夫 31 • データの追加 ◦ Snowflake MarketPlaceでは、いくつかのデータがFreeで利⽤ 可能！外部データとして新しく与えてもいいかもしれない。 • Cortex Agentのプロンプト修正 ◦ 作成したAgentのOrchestrationタブからAgentの振る舞いを指 定することが可能。よりいい動きをさせることができるかも。 • Web検索ツール（Custom Tool）を実装して追加 ◦ ベースラインソリューションで⾒せているデータは、配布され たデータ(有価証券報告書と財務データ)のみです。ニュースの データとかは⼊ってないので、そこも参照できるようになると より根拠が強い状態にできそう。
32. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. まとめ 32 • Snowflakeを使ってデータ分析〜レポート作成までEtoEでできるようなシス テムを作った。 • Snowflakeは単なるDWH製品ではなく、AI機能の構築、可視化、使う チャット画⾯まで簡単に作ることができる！ • 本⽇紹介したソリューションは以下Repositoryで公開してるのでご活⽤く ださい！ https://github.com/TakumiMukaiyama/FDUA-competition-template
33. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. アンケートへのご協⼒をお願いします ご清聴いただきありがとうございました。 ナウキャストパートについて、以下の2次元コードからアンケートへのご協⼒をお願いいたします。 33
34. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. 34 テキスト テキスト テキスト テキスト テキスト スライドルール テキスト テキスト テキスト ⾊規定 テキスト • 箇条書き ◦ 箇条書き ▪ 箇条書き 修正中 修正中記載 修正中 修正中
35. CONFIDENTIAL © 2015 - 2026 Nowcast Inc. 35