Semantic_Viewは_作るもの_から_育てるもの_へ___Snowflakeで考えるSemantic_Viewの継続的な運用__.pdf

Transcript

1. Semantic Viewは“作るもの”から“育てるもの”へ Snowflakeで考えるSemantic Viewの継続的な運⽤ 2026年09⽉11⽇(⾦) 株式会社ナウキャスト 向⼭拓実 © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 1
2. ⾃⼰紹介 • 名前：向山拓実 • お仕事：エンジニア • Nowcastという会社でSnowflakeを使ったデータ基盤 構築、LLMを使った機能開発、Webアプリ開発、技術広 報お手伝いとか色々やっています。 • X: https://x.com/mmjjaadmm • Zenn: https://zenn.dev/shichimi • Snowflake Squad Member 兼 Snowflake Partner Champion 2026 © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 2
3. アジェンダ 1. Semantic Viewを「育てる」とは 2. Semantic Viewを育てる仕組み 3. Semantic View運⽤のこれから © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 3
4. Semantic Viewを「育てる」とは Semantic Viewに限らず⽣成AIを使ったプロダクトあるある 最初の誤った回答 利⽤率 2回⽬の誤った回答 新しさ‧興味 質問するのをやめる 利⽤が⽌まる システム廃⽌ 時間 → © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 4
5. Semantic Viewを「育てる」とは ⼈⼿による運⽤の限界 PoC 本番運⽤ ユーザー数 •• ユーザー数 ••••••• 質問数 ••••• 質問数 •••••••••••••…… FB数 ••• FB数 ••••••••••••••…… 運⽤担当者 運⽤担当者 AIの利⽤はスケールしても，⼈⼿による運⽤はスケールしない © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 5
6. Semantic Viewを「育てる」とは Semantic Viewのライフサイクル 設計 構築 精度評価 デプロイ 継続的に回すことで、 Semantic Viewを育てていく 改善 課題特定 © 2015 - 2026 Nowcast Inc. ユーザー利⽤ (FB収集) CONFIDENTIAL 6
7. Semantic Viewを「育てる」とは Semantic Viewのライフサイクル 設計 今⽇話すのはこのサイクルの話 構築 精度評価 デプロイ 改善 課題特定 ユーザー利⽤ (FB収集) © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 7
8. Semantic Viewを育てる仕組み 継続改善アーキテクチャ 利⽤フロー ② 参照 ① 質問 ユーザー ④ 回答 Cortex Agent (回答⽤) Semantic View ③ SQL⽣成‧実⾏ ⑤ 実⾏Trace記録 Database ⑨ Merge後 Deploy 改善フロー ⑥ テーブル整形 AI Obervability ⑧ PR作成 ⑦ 改善対象を取得 Feedback格納View © 2015 - 2026 Nowcast Inc. Cortex Agent (改善⽤) CONFIDENTIAL 8
9. Semantic Viewを育てる仕組み 継続改善アーキテクチャ 利⽤フロー ② 参照 ① 質問 ユーザー ④ 回答 Cortex Agent (回答⽤) Semantic View ③ SQL⽣成‧実⾏ ⑤ 実⾏Trace記録 Database ⑨ Merge後 Deploy 改善フロー ⑥ テーブル整形 AI Obervability ⑧ PR作成 ⑦ 改善対象を取得 Feedback格納View © 2015 - 2026 Nowcast Inc. Cortex Agent (改善⽤) CONFIDENTIAL 9
10. Semantic Viewを育てる仕組み(SQL全⽂は⻑かったので割愛) Feedback Tableの具体的な話 ⑥ テーブル整形 AI Obervability • • • Feedback Table AgentV2RequestResponseInfo(質問/回答) CORTEX_AGENT_FEEDBACK(Good/Bad‧ FBコメント) SystemExecuteSQLTool_system_execute _sql(⽣成SQL実⾏ログ) Fig. AI ObservabilityからAgentのeventが記録されたテーブルを作るSQL © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 10
11. Appendix. FBテーブルのテーブル定義 カラム名 型 説明 agent_request_id STRING 結合キーとなるAgent呼び出しID thread_id NUMBER 会話スレッドID answered_at TIMESTAMP 回答生成時刻 feedback_at TIMESTAMP FB送信時刻 question_text STRING 質問文 answer_text STRING 回答文 rating STRING positive / negative positive BOOLEAN FBがポジティブか feedback_text STRING FBの自由記述 feedback_categories ARRAY FBカテゴリタグ feedback_user_name STRING FB送信者 semantic_models ARRAY<STRING> 参照したSemantic View一覧 sql_executions ARRAY<OBJECT> SQL実行ログ（右表を参照） sql_execution_count NUMBER SQL実行回数 sql_executions[] の中⾝ © 2015 - 2026 Nowcast Inc. フィールド名 型 説明 called_at TIMESTAMP SQL実行時刻 semantic_model STRING 使われたSemantic View generated_sql STRING 生成された最終SQL query_id STRING クエリID status STRING 実行ステータス verified_query_used BOOLEAN Verified Queryを使ったか CONFIDENTIAL 11
12. Appendix. FBテーブルの中⾝ © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 12
13. Semantic View運⽤のこれから Semantic View改善を⽀える機能 設計 構築 精度評価 デプロイ 改善 課題特定 ユーザー利⽤ (FB収集) © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 13
14. Semantic View運⽤のこれから Semantic View改善を⽀える機能 設計 Semantic View Auto Pilot 構築 改善 精度評価 デプロイ 課題特定 ユーザー利⽤ (FB収集) © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 14
15. Semantic View運⽤のこれから Semantic View改善を⽀える機能 設計 Semantic View Auto Pilot 構築 改善 Cortex Agent Evaluations 精度評価 課題特定 © 2015 - 2026 Nowcast Inc. デプロイ ユーザー利⽤ (FB収集) CONFIDENTIAL 15
16. Semantic View運⽤のこれから Semantic View改善を⽀える機能 設計 Semantic View Auto Pilot 構築 改善 Cortex Agent Evaluations 精度評価 課題特定 © 2015 - 2026 Nowcast Inc. デプロイ ユーザー利⽤ 専⽤VIEW を使って計測 (FB収集) CONFIDENTIAL 16
17. Semantic View運⽤のこれから Semantic View改善を⽀える機能 設計 Semantic View Auto Pilot 構築 Cortex Agent Evaluations 精度評価 Snowflake Semantic 改善 Studio(PuPr) 課題特定 © 2015 - 2026 Nowcast Inc. デプロイ ユーザー利⽤ 専⽤VIEW を使って計測 (FB収集) CONFIDENTIAL 17
18. Semantic View運⽤のこれから Semantic View改善を⽀える機能 設計 Semantic View Auto Pilot 構築 Cortex Agent Evaluations 精度評価 Snowflake Semantic 改善 Studio(PuPr) 課題特定 CoCo (in SnowSight) © 2015 - 2026 Nowcast Inc. デプロイ ユーザー利⽤ 専⽤VIEW を使って計測 (FB収集) CONFIDENTIAL 18
19. Semantic View運⽤のこれから 何から始めるか 設計 まずは， • 組織のどこに課題があって • ⼊⼒のデータは何で • 構築 データを使って何をしたいのか 精度評価 の整理から始めましょう。 with CoCo! 改善 課題特定 © 2015 - 2026 Nowcast Inc. デプロイ ユーザー利⽤ (FB収集) CONFIDENTIAL 19
20. まとめ まだ⼈間にやることはありそう。 © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 20
21. スライドルール テキスト ⾊規定 テキスト 修正中記載 修正中 テキスト • 箇条書き ◦ 箇条書き ▪ 箇条書き テキスト テキスト テキスト 中 正 修 テキスト テキスト 中 修正 テキスト © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 21
22. © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 22