「AIに仕事を任せる」は、どこまでできる？｜Tableauで始めるAI×データ活用 実践ガイド

https://azest.connpass.com/event/405225/

Transcript

2. 登壇者紹介 株式会社アゼスト データアナリスト‧DATA Saber ⽥畑 有佳⼦ DATA SaberとしてTableauを⽤いた ビジュアル分析とユーザ育成を推進。 データの⾒せる化から現場への定着、意思決定 プロセスの⽀援まで伴⾛。 https://www.salesforce.com/jp/events/webi nars/tableaumcp-azest/
3. この分析をAIに任せることはできるでしょうか？ 「関東エリアの売上が落ちた原因を調べて」 ⼈間が分析するなら… 01 02 03 04 05 06 07 08 売上確認 地域比較 前年比比較 商品別分析 店舗別掘下 異常値特定 仮説立案 データ検証 AIはどこまで⾃律的に考え、これらの「仕事」を実⾏できるのか。 技術的な現在地から逆算します
4. AIを回答マシンから業務実⾏者へ進化させる構造 RAG Text-to-SQL Tool Calling 知識を読む データを調べる システムを動かす 膨⼤なテキストから必要な⽂脈 （コンテキスト）を動的に検索‧ 注⼊し、最新かつ事実に基づいた 正確な回答を⽣成する ⾃然⾔語から正確なSQLクエリを ⾃動⽣成してデータベースに直結。 曖昧さを排除し、数値集計や 定量的トレンドを瞬時に抽出する APIや専⽤関数をAIから直接キック。 メール送信、チケット起票、 CRM更新など、 実際のビジネスアクションを実⾏。 社内規程‧マニュアル‧PDF‧⽂書 RDB‧DWH‧BI‧売上実績テーブル SaaS API‧通知‧外部関数‧ワークフロー Agent ⾃律計画‧オーケストレーション ゴール達成に向けて、どの順で⽂書を読み、DBを引き、ツールを動 かすかをAI⾃⾝が思考‧試⾏錯誤しながら⾃律完遂させる仕組み MCP 接続の標準プロトコル （AIのUSB規格） ツールやデータソースを統⼀仕様でプラグ＆プレイ接続する 業界標準規格。個別開発コストを⼤幅削減。 単体では会話しかできないLLMに、RAGなど3つの⼿段を加え、 Agent（頭脳）とMCP（神経系）で統括することで、実務を⾃律完遂させる
5. サービス例：AIを回答マシンから業務実⾏者へ進化させる構造 RAG Text-to-SQL Tool Calling 知識を読む データを調べる システムを動かす Amazon Kendra、 Salesforce Einsteinなど Databricks SQL、 Amazon Redshiftなど Jira、UiPath、 Slackなど 社内規程‧マニュアル‧PDF‧⽂書 RDB‧DWH‧BI‧売上実績テーブル SaaS API‧通知‧外部関数‧ワークフロー Agent ⾃律計画‧オーケストレーション Agentforce、Microsoft365 Copilot、 Amazon Bedrock Agentsなど MCP 接続の標準プロトコル （AIのUSB規格） Tableau MCP、GitHub MCP、 Slack MCP、Notion MCPなど 単体では会話しかできないLLMに、RAGなど3つの⼿段を加え、 Agent（頭脳）とMCP（神経系）で統括することで、実務を⾃律完遂させる
6. RAGだけでは分析は難しい STEP 01 ⽂書のチャンク分割‧埋め込み 社内PDF‧マニュアルを⼀定⽂字数ごとに刻んでベクトルDBに格納 STEP 02 類似度上位の数件しか⾒ないため、例えば「全体の平均」や 「全顧客の総計」などを正しく⺟集団として集計できない 類似度検索による断⽚抽出 質問⽂とコサイン類似度が⾼い上位3〜5件のテキスト断⽚を検索 STEP 03 ❌ ⺟集団‧全体網羅性の⽋落 プロンプトへ⽂脈注⼊ ❌ 数値計算‧四則演算のハルシネーション LLMは⽂章⽣成エンジンであり計算機ではない。 抽出した数字の⾜し算や前年⽐の計算で嘘の数字を捏造する 取得した断⽚テキストを指⽰プロンプトのコンテキスト欄へ流し込む ❌ 表構造（⾏‧列）の分断と⽂脈喪失 STEP 04 LLMによる要約‧回答⽣成 注⼊された断⽚テキストを根拠にしてユーザーへの回答⽂章を作成 PDFやExcelの表データがチャンク分割で途中で分断され、 ⾒出し⾏と値の紐づきが消失して読み違える ⽂書が探せるAI ≠ データを分析できるAI 。 定量分析（売上‧件数‧KPI推移）はセマンティックレイヤーやDWHに棲み分ける
7. Text-to-SQLだけでも分析は難しい STEP 01 ⾃然⾔語⼊⼒（LLM Reasoning） ユーザー質問（「今期の解約予兆は？」等）の意図を解析 STEP 02 SQLクエリ⽣成‧スキーママッピング テーブル構造を推測してSQL⽂を⾃動作成 STEP 03 クエリ実⾏‧データ抽出 DWH / Lakehouse に対して直接SQLを発⾏ STEP 04 結果解釈 / ユーザー回答⽣成 抽出されたデータ結果を集計して回答⽂章を作成 ❌ 指標定義の乖離 出荷⽇‧計上⽇基準など部署ごとの定義差をLLMが誤集計 ❌ データの粒度と重複 複数テーブル結合で⾏が重複増殖、NULL値で集計値が狂う ❌ 業務例外‧ビジネス⽂脈 「キャンセル除外」「テストアカウント除外」等のルールが漏れる ❌ データの鮮度とアクセス権 更新タイミングのズレや、閲覧⾮推奨レコードの混⼊リスク SQLが書けるAI ≠ 正しい分析ができるAI セマンティックレイヤーがなければ、実務で信⽤される分析は成⽴しない
8. 解決策：セマンティックレイヤー！ LLM ⾃然⾔語プロンプト / AI Agent 「今期の解約予兆と、その背景理由を教えて」 といった複合的な質問 MCP SEMANTIC セマンティックレイヤー 全社統⼀の指標定義（メトリクス）、JOINロジック、 業務ルール、閲覧権限（RBAC）を⼀元管理 何が嬉しいか？ 指標定義（メトリクス）の⼀元管理 TableauやData Cloudなどに、 「売上」「解約率」等の計算式を定義。 AIは定義済みメトリクスを参照するだけで計算ブレがゼロに 粒度‧JOINロジックの⾃動担保 複雑な複数テーブル結合やNULL値の扱い、キャンセル除外 ロジック等を、中間エンジンが⾃動処理。 重複カウントを物理的に遮断 確定した正しい指標と定性コンテキストを結合 FACT DATA 構造化DWH ＆ ⾮構造化ナレッジ DWH (正確な数値) ＋ ベクトルDB (顧客の声/議事録など) MCPプロトコルによる安全接続 Tableau MCP等を介し、認証‧ガバナンスが効いた確定数値を AIへ供給。RAGによる定性ナレッジと組み合わせて説得⼒あるイ ンサイトを⽣成
9. セマンティックレイヤーがあるとき‧ないとき ✕ ないとき… Text-to-SQLでDBに直接クエリ カラム名から集計式を推測するため、売上計上タイミングや キャンセル除外が抜け落ち、ダッシュボードと数字が 合わない RAGでテキストから数値を拾って集計 Top-Kで拾った断⽚的なレポートの数字をLLMが電卓計算し、 ⺟集団漏れや計算ハルシネーションが発⽣ 数字の不信感から現場で使われなくなる BIの数字とAIの出した数字が⾷い違い、ハルシネーションを 警戒して利⽤停⽌ ✓ あるとき〜！ ✓ 数値の正確さを担保 売上やKPIの計算はセマンティック層の公式定義を参照し、 確実な集計値とグラフをAIへ提供 ✓ その背景理由（なぜ）をRAGナレッジで補完 例えば「売上が下がった」という事実に対し、 営業⽇報や顧客アンケート（RAG）から定性的な原因を 特定して紐付ける ✓ 正確な数字 × 深い洞察 の両⽴ 公式BIの確定値に基づいているため社内信⽤が⾼く、 現場の⽣の声に裏打ちされた説得⼒あるアクションを 提案できる
10. AIによる⾃律分析の技術的な限界 4つのリスク 分析エラーの例 1. データ品質 2. 定義の誤り そもそもデータが間違って いる‧⽋損しているリスク 売上、顧客、当⽉などの 定義や解釈を誤るリスク 特定製品の売上が突如急減した ❌ AIエージェントの誤った⾃律推論 「競合の販促活動による広告効果の低下が原因と考えられます」 3. 統計的なミス 4. ハルシネーション ⭕ 実際のボトルネック（データの死⾓） 相関関係と因果関係を混同 する統計的な誤謬リスク 架空の因果関係をもっとも らしく⽣成するリスク 「単なる倉庫での⼀時的な在庫切れ（在庫データが未連携）」 分析品質を決めるのはAIの推論⼒ではなく、 意味定義を担保するセマンティックレイヤーの統制
11. セマンティックレイヤーとAIを繋ぐのがMCP 導⼊メリット：複数モデル対応‧メンテナンスの効率化
12. ⼈間とAIの役割分担（データ分析の場合） ⼈間が分析するなら… 01 02 03 04 05 06 07 08 売上確認 地域比較 前年比比較 商品別分析 店舗別掘下 異常値特定 仮説立案 データ検証 AIと分担するなら… 「関東エリアの売上が落ちた原因と、 その背景を調べて」 1. 定量分析 (MCP × セマンティック層) 公式メトリクスを参照し、 店舗‧商品カテゴリの要因を特定 2. 定性分析 (RAG) 営業⽇報やアンケートから 「なぜ起きたか」の理由を探索 売上減（-15%）主因： A店舗の特定商品⽋品 ⽇報データ： 配送遅延が発⽣している可能性 ⼈間が8ステップかけていた「データ集計‧要因特定」をAIが数秒で代⾏
13. AIにどこまで「仕事」を任せられる？ ⾃律性の段階と実⽤性 LEVEL 1 : 実⽤的 情報検索 特定データや資料の瞬時な呼び出し LEVEL 2 : 条件付きで実⽤的 LEVEL 3 : Human-in-the-loopが重要 多⾓的な分析 最終意思決定 変数や軸を⾃律変更した要因探査 提⽰されたシナリオから実⾏計画を選択‧確定 論理的推論 重⼤な実⾏処理 ビジネス背景を踏まえた仮説構築 外部システムへの反映、資⾦移動や対外発信 データ問い合わせ（クエリ） 構造化データへの⾃然⾔語照会 システム操作 定型的なAPI連携‧⾃動処理 明確な命令や既存データに基づく処理 であり、エラー率が低く、 即座に現場に導⼊可能なレベル プロンプトや前提知識、 データ記述（セマンティックレイヤー） の整備が必要 最終判断やビジネスリスクの⾼い アクションにおいては、⼈間の介在 （承認‧監視）が必須 リスクと⾃律性のレベルに応じた⼈間の介⼊設計（Human-in-the-loop）が現実的
14. 今始められること STEP 1 : 今できる STEP 2 STEP 3 既に提供中のAI機能 ⾃律型分析アプローチ ⾃律的実⾏モデル ⽇常的な集計やViz作成をAIで効率化 「対話」から「意思決定の⾃動化」へ進化 推論から業務システムへの反映まで⼀気通貫 Tableau Agent ⾃然⾔語でのViz作成‧計算式⾃動⽣成 Tableau Pulse KPIメトリクスの⾃動抽出‧個別配信 Tableau MCP Agentic Analytics 複数ステップに及ぶ仮説検証プロセスの⾃律 化 Semantic Model / MCP 全社共通の指標定義で計算ハルシネーション 根絶 INPUT THINK ACTION 探索 (AI) 推論‧判断 実⾏ (Act) AIが異常値を⾃律検知し、 原因を分析して最適な打ち⼿を 意思決定、承認のもと システムへ⾃動反映 AI-ready Data ClaudeやChatGPT等の外部エージェント接続 AIが迷わず解釈できる整理されたメタデータ 基盤 ✔ 今すぐ特定の定型業務からスタート可能 ✔ 単⼀の質問回答を超えた複合分析の実現 ✔ ⼈間とAIが⾼度に協働する⾃律運⽤基盤
15. AI×データ活⽤を成功させる4つの推進ステップ STEP 01 STEP 02 STEP 03 STEP 04 指標定義の⼀元化 安全な接続環境 スモールスタート ⼈間承認を前提に展開 (AI-ready環境の整備) (Tableau MCP / Agent) (Level 1〜2での実証) (Human-in-the-loop) 全社指標の定義: TableauやData Cloudで売上‧粗利‧解約率等の計 算ロジックを統⼀ MCP接続: AIエージェント（LLM）と TableauをMCPプロトコルでセキュ アに連携 低リスク業務の移管: 定型レポート 呼び出しや簡易な要因探査からAIに 委任 運⽤フロー確⽴: AIによる⾃動提案を 受け、⼈間が承認してアクションを 実⾏ 基盤の構築: 「AIが正しく計算‧参照 できる状態」を最優先で確⽴ ガバナンス担保: 閲覧権限（RBAC） や厳格なアクセス制御で情報漏洩を 防⽌ PoCの検証: 実務での回答精度と具体 的な業務時間削減効果を測定 全社‧他部⾨展開: 成功パターンを他 部署や横断業務へスケール ゴール ゴール ゴール ゴール 意味のブレを排除 安全なデータ流通 早期の投資対効果証明 安⼼‧確実な全社展開 まずは指標定義の⾒直しから始める
16. Thank You