生成AI×財務経理：PoCで挑むSlack AI Bot開発と現場巻き込みのリアル

JAWS DAYS2025で登壇させていただいた資料を公開します！

Transcript

1. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 生成AI×財務経理：PoCで挑む Slack AI Bot開発と現場巻き込みのリアル 株式会社ポーラ・オルビスホールディングス 堀 瑞希・株式会社エヌデーデー 池ノ上 寿志 ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a
2. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 弊社非公式CCoEキャラクター TORUくんTシャツを来た メンバーに是非お声がけください！ 池ノ上 寿志 TODAY’S SPEAKER 堀 瑞希 TODAY’S SPEAKER
3. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 会社紹介｜株式会社ポーラ・オルビスホールディングス 株式会社ポーラ・オルビスホールディングス 設立 本社 代表 2006年9月29日 東京都中央区銀座1-7-7 ポーラ銀座ビル 横手 喜一 資本金 100億円（資本準備金含む） 従業員数 278名（2023年12月31日現在） 主要グループ会社 株式会社ポーラ オルビス株式会社 ポーラ化成工業株式会社 他計11社 （2023年4月1日現在）
4. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 会社紹介｜株式会社ポーラ・オルビスホールディングス 2029年に創業 100周年を迎える 化粧品・ビューティブランド企業グループ 多様化する「美」の価値観に応える 個性的な事業の集合体
5. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 会社紹介｜株式会社エヌデーデー 1971年4月1日 塚田 英貴 380名（2024年9月時点） 設立 代表者 社員数 東京都中野区(本社)・水戸事業所・世田谷分室 所在 社会インフラに係わるシステムを開発 • 医療 • 公共 • 金融/鉄道 • 解析/制御 • 研究開発 事業分野
6. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 生成AI×財務経理： PoCで挑むSlack AI Bot開発と現場巻き込みのリアル
7. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 生成AIの勢い凄すぎませんか？
8. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a AWS re:Invent2024 1 / 3 生成AI関連のセッション/アップデート (Session数1,000+/3,000+ | アップデート 30+/100+)
9. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a しかし・・・ 生成AIを実業務でがっつり活用するには 通常の開発より難しさや壁がある
10. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 何が難しい？
11. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 何が難しい？ - 事業部門の生成AIに対する期待値 - 満点回答を常に出力する神ツール というイメージを持たれている
12. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 生成AIは神ツールではないですよね・・？ 満点回答を生成できないと 業務利用できないと判断されがち・・ とはいえ業務で利用するとなると ある程度の精度は必要
13. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 私達が取り組んだ生成AI関連の取り組み 2023.05 社内Slack向け 生成AI Chatbotアプリ開発/公開 2023.11 社内向け 生成AI活用勉強会開催 2024.01 社内テクニカルサポートデスク RAG bot PoC開始（~2024.05） 2024.02 議事録生成 PoC 2024.08 生成AI活用勉強会開催 詳細は後半パートでお話いたします！
14. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a PoC貧乏状態 業務実用化事例はゼロ
15. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a そんなとき 2024年残暑が残る頃・・ 財務経理部門から相談が舞い込む
16. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 財務経理の相談事項 従業員問い合わせ 対応時間を軽減したい 各社 100+/月 の問い合わせ (グループ10数社) マニュアルが充分に 活用されていない
17. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 解決策 財務経理 AI Bot
18. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 財務経理 AI Botの思い描く姿 既存マニュアル 従業員問い合せ 対応履歴 既存のナレッジをフル活用し、 常に最新情報をbotの回答に反映できる状態を目指す
19. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 想定ステップ 1 2 3 過去のやり取りがナレッジとして 貯蓄されている1社をターゲットに Slack AI botの開発を行う 全社展開 Slack未導入各社向け bot企画・開発・導入 Slack bot 企画・開発・導入 Slackを導入していない各社に 対する解決策の企画/導入 1,2の知見を元に全社展開を進める
20. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 今回お話するPoCの範囲 1 2 3 過去のやり取りがナレッジとして 貯蓄されている1社をターゲットに Slack AI botの開発を行う 全社展開 Slack未導入各社向け bot企画・開発・導入 Slack bot 企画・開発・導入 Slackを導入していない各社に 対する解決策の企画/導入 1,2の知見を元に全社展開を進める
21. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 9月 10月 11月 12月 POC進行スケジュール STEP①スコープ/実装方針決定 STEP②開発(約1ヶ月) STEP③ 検証(約3週間) PJ続投 可否判断 精度改善を目的とした 開発は並行して実施
22. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a STEP① スコープ/実装方針決定
23. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a PJ開始時に行ったこと ビジネスユースケースの整理 （財務経理と認識をあわせる） PoC対象範囲の明確化 ⚫ 整理項目（一部） ⚫ 概要 ⚫ 登場人物 ⚫ 前提条件 ⚫ 成功シナリオ ⚫ 制約/規約等 ⚫ 非機能要件 ⚫ 今回のPoCで行う業務範囲を明確化する ⚫ 開発範囲の認識合わせ ⚫ どの状態まで準備が整えば検証フェーズを スタートするのか？の基準
24. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 大切にしていたこと IT部門(私達) 財務経理部門 - 両部門が“一緒に”PoC/プロジェクトを進行する -
25. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a PJ開始当初目指していたbot活用フロー 従業員 AI Bot 財務経理 問い合わせ送信 回答送信 補足事項等あれば回答 このフローは（現時点では）現実的ではなかった
26. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 財務経理部門とのディスカッションを通して浮かんできた課題 ⚫ 財務経理の問い合わせの性質上 緊急レベルに合った個別対応がある為 直接従業員に回答するにはリスク大 ⚫ 誤った回答を直接回答すると従業員に 対して手間を増やしてしまう可能性も
27. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 回答送信 ディスカッション後に定めた新フロー 従業員 財務経理 問い合わせ送信 従業員に間違った回答をせず、業務効率化を促進する Slack Ch 自動転送 回答生成 Botの回答を参考に、従業員へ回答を送信 AI Bot
28. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 財務経理 AI Botの建付け確定 財務経理 AI Bot ｜｜ 財務経理スタッフの業務アシストツール
29. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a STEP② 開発 → 後半にお話します！
30. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a STEP③ 検証期間
31. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 一緒にPoCを進める上で意識したこと 1. Botの回答評価が業務負担にならない工夫をする 2. 検証フェーズで出てきた財務経理からのFBは、 なるべく検証期間中に改善する
32. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 一緒にPoCを進める上で意識したこと 1. Botの回答評価が業務負担にならない工夫をする 2. 検証フェーズで出てきた財務経理からのFBは、 なるべく検証期間中に改善する
33. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a Botの回答評価が業務負担にならない工夫をする 財務経理の問い合わせは専門的な部分が多く 私達ではbotの回答があっているのか一次評価すら難しい • 正直、どのBotの回答もあっているように見える • ハルシネーションが起きているかどうか判断がつかない 従業員からの質問＋生成した回答に対して 財務経理スタッフにすべて評価を依頼 （botの精度向上に必要な情報である旨はしっかり説明した上で）
34. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 【参考】今回のPoCで定めた評価基準 従業員からの問い合せレベル AI Bot 回答精度評価 高 担当者から直接回答必須の質問 中 Botの回答を参考に回答したい質問 低 Botに回答をまるっと任せたい質問 ５ 正答👏 ４ 概ね正解だが、若干補足説明が必要 ３ 回答に情報が不足している ２ 回答の一部情報に誤りがある １ 誤答 ☹️
35. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 実際の画面 問い合わせ内容 bot回答 ＋ 回答生成の参考にしたマニュアル とSlackスレッドのリンクを表示
36. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 一緒にPoCを進める上で意識したこと 1. Botの回答評価が業務負担にならない工夫をする 2. 検証フェーズで出てきた財務経理からのFBは、 なるべく検証期間中に改善する
37. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 検証フェーズで出てきた財務経理からのFBの活用 botの精度改善サイクルを活性化できた 既存マニュアル 従業員問い合せ 対応履歴 Bot回答への フィードバック
38. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a botの精度改善のサイクルを活発化するメリット 検証期間も改修を繰り返す ことで人が解すことによる 精度向上を実感 Bot精度 FB Bot改修 改善実感
39. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 具体的な構成
40. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷 2023.11 社内向け 生成AI活用勉強会開催 2024.02 議事録生成 PoC 2024.08 生成AI活用勉強会開催 Step① 2023.05 社内Slack向け 生成AI Chatbotアプリ開発/公開 2024.01 社内テクニカルサポートデスク RAG bot PoC開始（~2024.05）
41. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷：Step① • 最初の生成AIアプリ • OpenAI-APIリリース(2023.03)をきっかけに開発スタート • Slack経由でシンプルにOpenAIを利用するチャットボット • 生成AIを企業内でセキュアに利用することが目的 【2023.05】 社内Slack向け 生成 AI Chatbotアプリ Slack Lambda OpenAI DynamoDB User オプトアウト することで 学習させない 会話履歴を保持
42. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷 2023.11 社内向け 生成AI活用勉強会開催 2024.02 議事録生成 PoC 2024.08 生成AI活用勉強会開催 Step② 2023.05 社内Slack向け 生成AI Chatbotアプリ開発/公開 2024.01 社内テクニカルサポートデスク RAG bot PoC開始（~2024.05）
43. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 社内知識 アーキテクチャの変遷：Step② Slack Slack Lambda OpenAI Kendra User S3 Backlog 社内知識を Kendraに登録 • 最初のRAGアプリ • SlackやBacklogに過去の問合せと回答が蓄積 • PCや社内システムに関する様々な問合せへ回答する 【2024.05】 社内テクニカルサポ ートデスクRAG bot
44. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷：Step③ 【2024.12】財務経理Slack AI Bot
45. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 特徴：データソース SharePoint 情報 データ量 形式 1. PDF 2. Excel 3. PowerPoint 4. Text マニュアル 50ファイル 60MB Slack 1. Text 2. 画像 3. PDF 4. Excel 過去の 質問・回答 2020年～
46. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 特徴：問合せの傾向 件数 平均 5件/日 月末に集中 対応時間 10分/件 マニュアル見ればわかるレベルの簡易なものの場合 受け方 フリーフォーマット 一部のみ定型フォーマット
47. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷：Step③ Slack DynamoDB S3 Lambda Bedrock Agent User Slack Share Point S3 Athena QuickSight 【2024.12】財務経理Slack AI Bot Knowledge Base S3 Claude Cohere Aurora
48. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷：Step③ Slack DynamoDB S3 Lambda Bedrock Agent User Slack Share Point S3 Athena QuickSight 【2024.12】財務経理Slack AI Bot Knowledge Base S3 Claude Cohere Aurora
49. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷：Step③ 2024年Bedrockアップデート情報一部抜粋 9月 AgentがClaude 3.5 Sonnetに対応 8月 Knowledge BaseがClaude 3.5 Sonnetに対応 7月 Knowledge Baseが高度なRAG機能をサポート 6月 BedrockでClaude 3.5 Sonnetが利用可能 5月 Converse APIリリース 4月 Knowledge Baseが複数のデータソースをサポート Knowledge BaseがCloudFormationをサポート 3月 Knowledge Baseがメタデータフィルタリングをサポート Knowledge Baseがハイブリッド検索をサポート PDF取込 セマンティックチャンク 階層的チャンク クエリ分割
50. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 8. AgentアクショングループLambdaの制約 9. Boto3タイムアウト 10.同じ質問に答えられたり答えられなかったり 11.LLMに現在日時を認識させる 12.参考ドキュメントへのリンクをユーザに提供する 13.Knowledge Base自動クエリフィルタの挙動 ポイント
51. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 8. AgentアクショングループLambdaの制約 9. Boto3タイムアウト 10.同じ質問に答えられたり答えられなかったり 11.LLMに現在日時を認識させる 12.参考ドキュメントへのリンクをユーザに提供する 13.Knowledge Base自動クエリフィルタの挙動 ポイント
52. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント
53. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント１：Slack情報の活用方法 検索 スレッド メッセージ スレッド メッセージ Slack メッセージ メッセージ ドキュメント ドキュメント Kendra ドキュメント ドキュメント 文脈 文脈 Hit Hit KendraのSlackコネクタ 利用時の問題点 文脈が失われること
54. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント１：Slack情報の活用方法 検索 スレッド メッセージ スレッド メッセージ Slack メッセージ メッセージ ドキュメント ドキュメント Kendra ドキュメント ドキュメント 文脈 文脈 Hit Hit KendraのSlackコネクタ 利用時の問題点 文脈が失われること Slackコネクタのデータ取込部分は カスタマイズ不可
55. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ではどうするか？ or ポイント１：Slack情報の活用方法 Slack情報 「取込」 を実装 Slack情報 「検索」 を実装 ※下記ブログを拝見してアイデアを知りました ありがとうございます 社内用AIアシスタント「おっさんずナビ」を作った話、そして人間らしく振る舞う重要性を認識した話 こちらを選択
56. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント１：Slack情報の活用方法 対策 文脈を渡す部分を実装 スレッドA メッセージ スレッドB メッセージ Slack メッセージ メッセージ 検索 Hit Hit LLM 回答用プロンプト LLM 評価用プロンプト スレッドA 文脈を インプット 関連するものだけを 回答の生成に利用 Slack 検索API
57. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント
58. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント２：コスト抑制 S3 Lambda Bedrock Agent Knowledge Base S3 Claude Cohere Aurora AWS利用料の90%程度がベクトルDB ※Step③アーキテクチャー図抜粋
59. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント２：コスト抑制 Kendra Step② 約$1,000/月～ $/月 Kendra Kendraは継続利用を考えるとコストがネック
60. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a AuroraServerless Knowledge BaseのベクトルDBにAuroraを採用 ポイント２：コスト抑制 Kendra Step② Step③ 約$100/月～ $/月 Kendra ※試算条件 0.5ACU 常時稼働 オレゴンリージョン 約$1,000/月～
61. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a AuroraServerless Knowledge BaseのベクトルDBにAuroraを採用 ポイント２：コスト抑制 Kendra Step② Step③ 約$100/月～ $/月 Kendra ※試算条件 0.5ACU 常時稼働 オレゴンリージョン 約$1,000/月～ いくつかある選択肢から なぜAuroraを選択したか？ ✓ まずはAWSサービスを候補とした (3rd Partyもあるが) ✓ OpenSearch Serverlessより低コスト ➢ OpenSearch Serverlessのハイブリッド検索は今後必要に応 じて利用検討
62. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント
63. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a Bedrockで利用できる生成AIモデルのプロバイダー ポイント3：モデル選定
64. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a Bedrockで利用できる生成AIモデルのプロバイダー ポイント3：モデル選定 • 最適なモデルがパッとは判断できない • RAGは気にするポイントが多い • 時間は限られている
65. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a Bedrockで利用できる生成AIモデルのプロバイダー ポイント3：モデル選定 • 最適なモデルがパッとは判断できない • RAGは気にするポイントが多い • 時間は限られている ✓ まずは世間的評価が高いAnthropicのClaudeを利用 ✓ Sonnetで始めてコスト観点でHaikuも検討
66. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント
67. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント4：チャンキング戦略 ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥ 子 子 Knowledge Baseで利用できるチャンキング戦略 セマンティック 階層 文章の意味 に基づいて分割 検索は子 回答生成は親 固定サイズ で分割 親 固定
68. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント4：チャンキング戦略 ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥ 子 子 Knowledge Baseで利用できるチャンキング戦略 セマンティック 階層 文章の意味 に基づいて分割 検索は子 回答生成は親 固定サイズ で分割 親 固定 Slackの経験から階層チャンキングを選択 でも・・・ドキュメントの構成次第では？ 今後チューニングの必要がありそう
69. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント
70. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a IaC・CI/CDを活用して継続的に改善を実施 ポイント5：継続的なアップデート GitHub Actions 自動デプロイ データベース 開発用 リソース 検証用 リソース 本番用 リソース CDK コスト削減のため共通化 ※PoC以降は分けることも検討
71. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント
72. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント6：検証方法 財務経理 担当者 Slack メッセージ AI Bot ③検索 ①引用 ②質問 ④回答 ▪背景 テスト用の質問/回答を用意するのは 財務経理担当者にとって負担が大きい ▪検証方法 過去の問合せを引用した ▪結果 • ①③一致のため正答率は当然高い • 新規や類似の問合せに回答できるか は不明 一致
73. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 本番の問合せに対して検証Chで回答生成と評価を行う仕組みにした ポイント6：検証方法 転記Slackアプリ 本番チャンネル 本番Slackアプリ 検索Slackアプリ 転記Slackアプリ 開発Slackアプリ 検証チャンネル 検証Slackアプリ 開発チャンネル 本番 開発 転記 ①メッセージ に反応して Lambda実行 ②転記＋検証アプリ にメンション ③メンション に反応して Lambda実行 検索 検証
74. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 本物の問合せを利用 7. 評価結果の収集・分析 ポイント
75. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント7：評価結果の収集・分析 • 質問 • 回答 • 参照ドキュメント • 難易度 • 回答の評価 • 検索結果の評価 • コメント 収集項目 特に評価の低い結果へのコメントを改善検討に活用 特に評価の低い結果へのコメントを改善検討に活用
76. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a PoC期間中はがんばって集計 ポイント7：評価結果の収集・分析 コピペ
77. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a その後自動化 Oregon ポイント7：評価結果の収集・分析 DynamoDB S3 Athena QuickSight Lambda Slack AI Bot Account Common Account Tokyo エクスポートは リージョンも アカウントも 跨げる 既存環境に 相乗りして コスト削減 TTL設定で 自動削除
78. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント7：評価結果の収集・分析 評価結果分析画面 (数字は仮)
79. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ① ドキュメントの整備 最新化・必要に応じて前処理 ② マルチモーダル対応 問合せ添付ファイルも理解して回答する 回答時に画像も添付する ③ 評価ツール導入 評価改善サイクルを継続的に回していくために ユーザーによる評価だけではなく評価ツールも活用 更なる改善のために
80. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a まとめ
81. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a Good • AI botの回答をきっかけに確認不足 だった観点に気づくことができた • FB箇所をスピーディーに改修してもらえ た為、精度向上を短期間で体感できた • どのように生成AIを活用できるか、 実際に操作することでイメージできた 財務経理スタッフの声 More • 生成AIの回答そのままでは従業員にとっ てわかりづらいことがあり、適切に伝え るためには手動修正が必要だと感じた • AI botの回答を読み直すのは 分量が多くて大変
82. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 結果（評価対象 65件) 約32%の回答に高評価を獲得できた ＋ 財務経理部門スタッフに 業務活用イメージを思い浮かべてもらえた
83. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 財務経理スタッフの生成AIに対する印象の変化 Before 満点回答を常に 出力する神ツール After 工夫次第で精度を高めること ができるいわば育成ツール
84. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a PoCの結果 プロジェクト継続決定！ 目標は25年度中の実用化
85. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 最後に宣伝させてください🙇
86. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a Qiita 元気に更新中🦾 Qiita 株式会社ポーラ・オルビスホールディングス 皆様のフォロー、いいねが励みになります
87. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a エンジニア採用サイト ポーラ・オルビス ホールディングス グループデジタルソリューションセンターの採用ホームページはQRコードからご覧ください。 テクノロジーで “らしさ”を前へ MISSION 一緒に働く仲間を募集しています！
88. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 技術ブログのご紹介 株式会社エヌデーデー 技術情報発信ブログ『テックテック』
89. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a
90. ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a END