Upgrade to Pro — share decks privately, control downloads, hide ads and more …

生成AI×財務経理:PoCで挑むSlack AI Bot開発と現場巻き込みのリアル

生成AI×財務経理:PoCで挑むSlack AI Bot開発と現場巻き込みのリアル

JAWS DAYS2025で登壇させていただいた資料を公開します!

POHD-CCoE

March 01, 2025
Tweet

Other Decks in Technology

Transcript

  1. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 会社紹介|株式会社ポーラ・オルビスホールディングス 株式会社ポーラ・オルビスホールディングス 設立 本社 代表 2006年9月29日 東京都中央区銀座1-7-7

    ポーラ銀座ビル 横手 喜一 資本金 100億円(資本準備金含む) 従業員数 278名(2023年12月31日現在) 主要グループ会社 株式会社ポーラ オルビス株式会社 ポーラ化成工業株式会社 他計11社 (2023年4月1日現在)
  2. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 会社紹介|株式会社エヌデーデー 1971年4月1日 塚田 英貴 380名(2024年9月時点) 設立 代表者

    社員数 東京都中野区(本社)・水戸事業所・世田谷分室 所在 社会インフラに係わるシステムを開発 • 医療 • 公共 • 金融/鉄道 • 解析/制御 • 研究開発 事業分野
  3. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 私達が取り組んだ生成AI関連の取り組み 2023.05 社内Slack向け 生成AI Chatbotアプリ開発/公開 2023.11 社内向け

    生成AI活用勉強会開催 2024.01 社内テクニカルサポートデスク RAG bot PoC開始(~2024.05) 2024.02 議事録生成 PoC 2024.08 生成AI活用勉強会開催 詳細は後半パートでお話いたします!
  4. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 想定ステップ 1 2 3 過去のやり取りがナレッジとして 貯蓄されている1社をターゲットに Slack

    AI botの開発を行う 全社展開 Slack未導入各社向け bot企画・開発・導入 Slack bot 企画・開発・導入 Slackを導入していない各社に 対する解決策の企画/導入 1,2の知見を元に全社展開を進める
  5. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 今回お話するPoCの範囲 1 2 3 過去のやり取りがナレッジとして 貯蓄されている1社をターゲットに Slack

    AI botの開発を行う 全社展開 Slack未導入各社向け bot企画・開発・導入 Slack bot 企画・開発・導入 Slackを導入していない各社に 対する解決策の企画/導入 1,2の知見を元に全社展開を進める
  6. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a PJ開始時に行ったこと ビジネスユースケースの整理 (財務経理と認識をあわせる) PoC対象範囲の明確化 ⚫ 整理項目(一部) ⚫

    概要 ⚫ 登場人物 ⚫ 前提条件 ⚫ 成功シナリオ ⚫ 制約/規約等 ⚫ 非機能要件 ⚫ 今回のPoCで行う業務範囲を明確化する ⚫ 開発範囲の認識合わせ ⚫ どの状態まで準備が整えば検証フェーズを スタートするのか?の基準
  7. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 【参考】今回のPoCで定めた評価基準 従業員からの問い合せレベル AI Bot 回答精度評価 高 担当者から直接回答必須の質問

    中 Botの回答を参考に回答したい質問 低 Botに回答をまるっと任せたい質問 5 正答👏 4 概ね正解だが、若干補足説明が必要 3 回答に情報が不足している 2 回答の一部情報に誤りがある 1 誤答 ☹️
  8. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷 2023.11 社内向け 生成AI活用勉強会開催 2024.02 議事録生成 PoC

    2024.08 生成AI活用勉強会開催 Step① 2023.05 社内Slack向け 生成AI Chatbotアプリ開発/公開 2024.01 社内テクニカルサポートデスク RAG bot PoC開始(~2024.05)
  9. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷:Step① • 最初の生成AIアプリ • OpenAI-APIリリース(2023.03)をきっかけに開発スタート • Slack経由でシンプルにOpenAIを利用するチャットボット

    • 生成AIを企業内でセキュアに利用することが目的 【2023.05】 社内Slack向け 生成 AI Chatbotアプリ Slack Lambda OpenAI DynamoDB User オプトアウト することで 学習させない 会話履歴を保持
  10. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷 2023.11 社内向け 生成AI活用勉強会開催 2024.02 議事録生成 PoC

    2024.08 生成AI活用勉強会開催 Step② 2023.05 社内Slack向け 生成AI Chatbotアプリ開発/公開 2024.01 社内テクニカルサポートデスク RAG bot PoC開始(~2024.05)
  11. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 社内知識 アーキテクチャの変遷:Step② Slack Slack Lambda OpenAI Kendra

    User S3 Backlog 社内知識を Kendraに登録 • 最初のRAGアプリ • SlackやBacklogに過去の問合せと回答が蓄積 • PCや社内システムに関する様々な問合せへ回答する 【2024.05】 社内テクニカルサポ ートデスクRAG bot
  12. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 特徴:データソース SharePoint 情報 データ量 形式 1. PDF

    2. Excel 3. PowerPoint 4. Text マニュアル 50ファイル 60MB Slack 1. Text 2. 画像 3. PDF 4. Excel 過去の 質問・回答 2020年~
  13. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 特徴:問合せの傾向 件数 平均 5件/日 月末に集中 対応時間 10分/件

    マニュアル見ればわかるレベルの簡易なものの場合 受け方 フリーフォーマット 一部のみ定型フォーマット
  14. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷:Step③ Slack DynamoDB S3 Lambda Bedrock Agent

    User Slack Share Point S3 Athena QuickSight 【2024.12】財務経理Slack AI Bot Knowledge Base S3 Claude Cohere Aurora
  15. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷:Step③ Slack DynamoDB S3 Lambda Bedrock Agent

    User Slack Share Point S3 Athena QuickSight 【2024.12】財務経理Slack AI Bot Knowledge Base S3 Claude Cohere Aurora
  16. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷:Step③ 2024年Bedrockアップデート情報一部抜粋 9月 AgentがClaude 3.5 Sonnetに対応 8月

    Knowledge BaseがClaude 3.5 Sonnetに対応 7月 Knowledge Baseが高度なRAG機能をサポート 6月 BedrockでClaude 3.5 Sonnetが利用可能 5月 Converse APIリリース 4月 Knowledge Baseが複数のデータソースをサポート Knowledge BaseがCloudFormationをサポート 3月 Knowledge Baseがメタデータフィルタリングをサポート Knowledge Baseがハイブリッド検索をサポート PDF取込 セマンティックチャンク 階層的チャンク クエリ分割
  17. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4.

    チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 8. AgentアクショングループLambdaの制約 9. Boto3タイムアウト 10.同じ質問に答えられたり答えられなかったり 11.LLMに現在日時を認識させる 12.参考ドキュメントへのリンクをユーザに提供する 13.Knowledge Base自動クエリフィルタの挙動 ポイント
  18. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4.

    チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 8. AgentアクショングループLambdaの制約 9. Boto3タイムアウト 10.同じ質問に答えられたり答えられなかったり 11.LLMに現在日時を認識させる 12.参考ドキュメントへのリンクをユーザに提供する 13.Knowledge Base自動クエリフィルタの挙動 ポイント
  19. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4.

    チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント
  20. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a ポイント1:Slack情報の活用方法 検索 スレッド メッセージ スレッド メッセージ Slack

    メッセージ メッセージ ドキュメント ドキュメント Kendra ドキュメント ドキュメント 文脈 文脈 Hit Hit KendraのSlackコネクタ 利用時の問題点 文脈が失われること
  21. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a ポイント1:Slack情報の活用方法 検索 スレッド メッセージ スレッド メッセージ Slack

    メッセージ メッセージ ドキュメント ドキュメント Kendra ドキュメント ドキュメント 文脈 文脈 Hit Hit KendraのSlackコネクタ 利用時の問題点 文脈が失われること Slackコネクタのデータ取込部分は カスタマイズ不可
  22. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a ではどうするか? or ポイント1:Slack情報の活用方法 Slack情報 「取込」 を実装 Slack情報

    「検索」 を実装 ※下記ブログを拝見してアイデアを知りました ありがとうございます 社内用AIアシスタント「おっさんずナビ」を作った話、そして人間らしく振る舞う重要性を認識した話 こちらを選択
  23. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a ポイント1:Slack情報の活用方法 対策 文脈を渡す部分を実装 スレッドA メッセージ スレッドB メッセージ

    Slack メッセージ メッセージ 検索 Hit Hit LLM 回答用プロンプト LLM 評価用プロンプト スレッドA 文脈を インプット 関連するものだけを 回答の生成に利用 Slack 検索API
  24. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4.

    チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント
  25. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a ポイント2:コスト抑制 S3 Lambda Bedrock Agent Knowledge Base

    S3 Claude Cohere Aurora AWS利用料の90%程度がベクトルDB ※Step③アーキテクチャー図抜粋
  26. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a AuroraServerless Knowledge BaseのベクトルDBにAuroraを採用 ポイント2:コスト抑制 Kendra Step② Step③

    約$100/月~ $/月 Kendra ※試算条件 0.5ACU 常時稼働 オレゴンリージョン 約$1,000/月~ いくつかある選択肢から なぜAuroraを選択したか? ✓ まずはAWSサービスを候補とした (3rd Partyもあるが) ✓ OpenSearch Serverlessより低コスト ➢ OpenSearch Serverlessのハイブリッド検索は今後必要に応 じて利用検討
  27. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4.

    チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント
  28. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4.

    チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント
  29. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a ポイント4:チャンキング戦略 ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥

    子 子 Knowledge Baseで利用できるチャンキング戦略 セマンティック 階層 文章の意味 に基づいて分割 検索は子 回答生成は親 固定サイズ で分割 親 固定
  30. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a ポイント4:チャンキング戦略 ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥

    子 子 Knowledge Baseで利用できるチャンキング戦略 セマンティック 階層 文章の意味 に基づいて分割 検索は子 回答生成は親 固定サイズ で分割 親 固定 Slackの経験から階層チャンキングを選択 でも・・・ドキュメントの構成次第では? 今後チューニングの必要がありそう
  31. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4.

    チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント
  32. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4.

    チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント
  33. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a ポイント6:検証方法 財務経理 担当者 Slack メッセージ AI Bot

    ③検索 ①引用 ②質問 ④回答 ▪背景 テスト用の質問/回答を用意するのは 財務経理担当者にとって負担が大きい ▪検証方法 過去の問合せを引用した ▪結果 • ①③一致のため正答率は当然高い • 新規や類似の問合せに回答できるか は不明 一致
  34. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 本番の問合せに対して検証Chで回答生成と評価を行う仕組みにした ポイント6:検証方法 転記Slackアプリ 本番チャンネル 本番Slackアプリ 検索Slackアプリ 転記Slackアプリ

    開発Slackアプリ 検証チャンネル 検証Slackアプリ 開発チャンネル 本番 開発 転記 ①メッセージ に反応して Lambda実行 ②転記+検証アプリ にメンション ③メンション に反応して Lambda実行 検索 検証
  35. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト 3. モデル選定 4.

    チャンキング戦略 5. 継続的なアップデート 6. 本物の問合せを利用 7. 評価結果の収集・分析 ポイント
  36. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a ポイント7:評価結果の収集・分析 • 質問 • 回答 • 参照ドキュメント

    • 難易度 • 回答の評価 • 検索結果の評価 • コメント 収集項目 特に評価の低い結果へのコメントを改善検討に活用 特に評価の低い結果へのコメントを改善検討に活用
  37. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a その後自動化 Oregon ポイント7:評価結果の収集・分析 DynamoDB S3 Athena QuickSight

    Lambda Slack AI Bot Account Common Account Tokyo エクスポートは リージョンも アカウントも 跨げる 既存環境に 相乗りして コスト削減 TTL設定で 自動削除
  38. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a ① ドキュメントの整備 最新化・必要に応じて前処理 ② マルチモーダル対応 問合せ添付ファイルも理解して回答する 回答時に画像も添付する

    ③ 評価ツール導入 評価改善サイクルを継続的に回していくために ユーザーによる評価だけではなく評価ツールも活用 更なる改善のために
  39. ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_a Good • AI botの回答をきっかけに確認不足 だった観点に気づくことができた • FB箇所をスピーディーに改修してもらえ

    た為、精度向上を短期間で体感できた • どのように生成AIを活用できるか、 実際に操作することでイメージできた 財務経理スタッフの声 More • 生成AIの回答そのままでは従業員にとっ てわかりづらいことがあり、適切に伝え るためには手動修正が必要だと感じた • AI botの回答を読み直すのは 分量が多くて大変