Share
Embed
Transcript
22 slides
-
Semantic Viewは“作るもの”から“育てるもの”へ Snowflakeで考えるSemantic Viewの継続的な運⽤ 2026年09⽉11⽇(⾦) 株式会社ナウキャスト 向⼭拓実 © 2015 -
2026 Nowcast Inc. CONFIDENTIAL 1 -
⾃⼰紹介 • 名前:向山拓実 • お仕事:エンジニア • Nowcastという会社でSnowflakeを使ったデータ基盤 構築、LLMを使った機能開発、Webアプリ開発、技術広 報お手伝いとか色々やっています。 •
X: https://x.com/mmjjaadmm • Zenn: https://zenn.dev/shichimi • Snowflake Squad Member 兼 Snowflake Partner Champion 2026 © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 2 -
アジェンダ 1. Semantic Viewを「育てる」とは 2. Semantic Viewを育てる仕組み 3. Semantic View運⽤のこれから
© 2015 - 2026 Nowcast Inc. CONFIDENTIAL 3 -
Semantic Viewを「育てる」とは Semantic Viewに限らず⽣成AIを使ったプロダクトあるある 最初の誤った回答 利⽤率 2回⽬の誤った回答 新しさ‧興味 質問するのをやめる 利⽤が⽌まる
システム廃⽌ 時間 → © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 4 -
Semantic Viewを「育てる」とは ⼈⼿による運⽤の限界 PoC 本番運⽤ ユーザー数 •• ユーザー数 ••••••• 質問数
••••• 質問数 •••••••••••••…… FB数 ••• FB数 ••••••••••••••…… 運⽤担当者 運⽤担当者 AIの利⽤はスケールしても,⼈⼿による運⽤はスケールしない © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 5 -
Semantic Viewを「育てる」とは Semantic Viewのライフサイクル 設計 構築 精度評価 デプロイ 継続的に回すことで、 Semantic
Viewを育てていく 改善 課題特定 © 2015 - 2026 Nowcast Inc. ユーザー利⽤ (FB収集) CONFIDENTIAL 6 -
Semantic Viewを「育てる」とは Semantic Viewのライフサイクル 設計 今⽇話すのはこのサイクルの話 構築 精度評価 デプロイ 改善
課題特定 ユーザー利⽤ (FB収集) © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 7 -
Semantic Viewを育てる仕組み 継続改善アーキテクチャ 利⽤フロー ② 参照 ① 質問 ユーザー ④
回答 Cortex Agent (回答⽤) Semantic View ③ SQL⽣成‧実⾏ ⑤ 実⾏Trace記録 Database ⑨ Merge後 Deploy 改善フロー ⑥ テーブル整形 AI Obervability ⑧ PR作成 ⑦ 改善対象を取得 Feedback格納View © 2015 - 2026 Nowcast Inc. Cortex Agent (改善⽤) CONFIDENTIAL 8 -
Semantic Viewを育てる仕組み 継続改善アーキテクチャ 利⽤フロー ② 参照 ① 質問 ユーザー ④
回答 Cortex Agent (回答⽤) Semantic View ③ SQL⽣成‧実⾏ ⑤ 実⾏Trace記録 Database ⑨ Merge後 Deploy 改善フロー ⑥ テーブル整形 AI Obervability ⑧ PR作成 ⑦ 改善対象を取得 Feedback格納View © 2015 - 2026 Nowcast Inc. Cortex Agent (改善⽤) CONFIDENTIAL 9 -
Semantic Viewを育てる仕組み(SQL全⽂は⻑かったので割愛) Feedback Tableの具体的な話 ⑥ テーブル整形 AI Obervability • •
• Feedback Table AgentV2RequestResponseInfo(質問/回答) CORTEX_AGENT_FEEDBACK(Good/Bad‧ FBコメント) SystemExecuteSQLTool_system_execute _sql(⽣成SQL実⾏ログ) Fig. AI ObservabilityからAgentのeventが記録されたテーブルを作るSQL © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 10 -
Appendix. FBテーブルのテーブル定義 カラム名 型 説明 agent_request_id STRING 結合キーとなるAgent呼び出しID thread_id NUMBER
会話スレッドID answered_at TIMESTAMP 回答生成時刻 feedback_at TIMESTAMP FB送信時刻 question_text STRING 質問文 answer_text STRING 回答文 rating STRING positive / negative positive BOOLEAN FBがポジティブか feedback_text STRING FBの自由記述 feedback_categories ARRAY FBカテゴリタグ feedback_user_name STRING FB送信者 semantic_models ARRAY<STRING> 参照したSemantic View一覧 sql_executions ARRAY<OBJECT> SQL実行ログ(右表を参照) sql_execution_count NUMBER SQL実行回数 sql_executions[] の中⾝ © 2015 - 2026 Nowcast Inc. フィールド名 型 説明 called_at TIMESTAMP SQL実行時刻 semantic_model STRING 使われたSemantic View generated_sql STRING 生成された最終SQL query_id STRING クエリID status STRING 実行ステータス verified_query_used BOOLEAN Verified Queryを使ったか CONFIDENTIAL 11 -
Semantic View運⽤のこれから Semantic View改善を⽀える機能 設計 構築 精度評価 デプロイ 改善 課題特定
ユーザー利⽤ (FB収集) © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 13 -
Semantic View運⽤のこれから Semantic View改善を⽀える機能 設計 Semantic View Auto Pilot 構築
改善 精度評価 デプロイ 課題特定 ユーザー利⽤ (FB収集) © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 14 -
Semantic View運⽤のこれから Semantic View改善を⽀える機能 設計 Semantic View Auto Pilot 構築
改善 Cortex Agent Evaluations 精度評価 課題特定 © 2015 - 2026 Nowcast Inc. デプロイ ユーザー利⽤ (FB収集) CONFIDENTIAL 15 -
Semantic View運⽤のこれから Semantic View改善を⽀える機能 設計 Semantic View Auto Pilot 構築
改善 Cortex Agent Evaluations 精度評価 課題特定 © 2015 - 2026 Nowcast Inc. デプロイ ユーザー利⽤ 専⽤VIEW を使って計測 (FB収集) CONFIDENTIAL 16 -
Semantic View運⽤のこれから Semantic View改善を⽀える機能 設計 Semantic View Auto Pilot 構築
Cortex Agent Evaluations 精度評価 Snowflake Semantic 改善 Studio(PuPr) 課題特定 © 2015 - 2026 Nowcast Inc. デプロイ ユーザー利⽤ 専⽤VIEW を使って計測 (FB収集) CONFIDENTIAL 17 -
Semantic View運⽤のこれから Semantic View改善を⽀える機能 設計 Semantic View Auto Pilot 構築
Cortex Agent Evaluations 精度評価 Snowflake Semantic 改善 Studio(PuPr) 課題特定 CoCo (in SnowSight) © 2015 - 2026 Nowcast Inc. デプロイ ユーザー利⽤ 専⽤VIEW を使って計測 (FB収集) CONFIDENTIAL 18 -
Semantic View運⽤のこれから 何から始めるか 設計 まずは, • 組織のどこに課題があって • ⼊⼒のデータは何で •
構築 データを使って何をしたいのか 精度評価 の整理から始めましょう。 with CoCo! 改善 課題特定 © 2015 - 2026 Nowcast Inc. デプロイ ユーザー利⽤ (FB収集) CONFIDENTIAL 19 -
スライドルール テキスト ⾊規定 テキスト 修正中記載 修正中 テキスト • 箇条書き ◦
箇条書き ▪ 箇条書き テキスト テキスト テキスト 中 正 修 テキスト テキスト 中 修正 テキスト © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 21