Tweet
Tweet

Slide 1

Slide 1 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 生成AI×財務経理：PoCで挑む Slack AI Bot開発と現場巻き込みのリアル 株式会社ポーラ・オルビスホールディングス 堀 瑞希・株式会社エヌデーデー 池ノ上 寿志 ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a

Slide 2

Slide 2 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 弊社非公式CCoEキャラクター TORUくんTシャツを来た メンバーに是非お声がけください！ 池ノ上 寿志 TODAY’S SPEAKER 堀 瑞希 TODAY’S SPEAKER

Slide 3

Slide 3 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 会社紹介｜株式会社ポーラ・オルビスホールディングス 株式会社ポーラ・オルビスホールディングス 設立 本社 代表 2006年9月29日 東京都中央区銀座1-7-7 ポーラ銀座ビル 横手 喜一 資本金 100億円（資本準備金含む） 従業員数 278名（2023年12月31日現在） 主要グループ会社 株式会社ポーラ オルビス株式会社 ポーラ化成工業株式会社 他計11社 （2023年4月1日現在）

Slide 4

Slide 4 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 会社紹介｜株式会社ポーラ・オルビスホールディングス 2029年に創業 100周年を迎える 化粧品・ビューティブランド企業グループ 多様化する「美」の価値観に応える 個性的な事業の集合体

Slide 5

Slide 5 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 会社紹介｜株式会社エヌデーデー 1971年4月1日 塚田 英貴 380名（2024年9月時点） 設立 代表者 社員数 東京都中野区(本社)・水戸事業所・世田谷分室 所在 社会インフラに係わるシステムを開発 • 医療 • 公共 • 金融/鉄道 • 解析/制御 • 研究開発 事業分野

Slide 6

Slide 6 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 生成AI×財務経理： PoCで挑むSlack AI Bot開発と現場巻き込みのリアル

Slide 7

Slide 7 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 生成AIの勢い凄すぎませんか？

Slide 8

Slide 8 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a AWS re:Invent2024 1 / 3 生成AI関連のセッション/アップデート (Session数1,000+/3,000+ | アップデート 30+/100+)

Slide 9

Slide 9 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a しかし・・・ 生成AIを実業務でがっつり活用するには 通常の開発より難しさや壁がある

Slide 10

Slide 10 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 何が難しい？

Slide 11

Slide 11 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 何が難しい？ - 事業部門の生成AIに対する期待値 - 満点回答を常に出力する神ツール というイメージを持たれている

Slide 12

Slide 12 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 生成AIは神ツールではないですよね・・？ 満点回答を生成できないと 業務利用できないと判断されがち・・ とはいえ業務で利用するとなると ある程度の精度は必要

Slide 13

Slide 13 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 私達が取り組んだ生成AI関連の取り組み 2023.05 社内Slack向け 生成AI Chatbotアプリ開発/公開 2023.11 社内向け 生成AI活用勉強会開催 2024.01 社内テクニカルサポートデスク RAG bot PoC開始（~2024.05） 2024.02 議事録生成 PoC 2024.08 生成AI活用勉強会開催 詳細は後半パートでお話いたします！

Slide 14

Slide 14 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a PoC貧乏状態 業務実用化事例はゼロ

Slide 15

Slide 15 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a そんなとき 2024年残暑が残る頃・・ 財務経理部門から相談が舞い込む

Slide 16

Slide 16 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 財務経理の相談事項 従業員問い合わせ 対応時間を軽減したい 各社 100+/月 の問い合わせ (グループ10数社) マニュアルが充分に 活用されていない

Slide 17

Slide 17 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 解決策 財務経理 AI Bot

Slide 18

Slide 18 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 財務経理 AI Botの思い描く姿 既存マニュアル 従業員問い合せ 対応履歴 既存のナレッジをフル活用し、 常に最新情報をbotの回答に反映できる状態を目指す

Slide 19

Slide 19 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 想定ステップ 1 2 3 過去のやり取りがナレッジとして 貯蓄されている1社をターゲットに Slack AI botの開発を行う 全社展開 Slack未導入各社向け bot企画・開発・導入 Slack bot 企画・開発・導入 Slackを導入していない各社に 対する解決策の企画/導入 1,2の知見を元に全社展開を進める

Slide 20

Slide 20 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 今回お話するPoCの範囲 1 2 3 過去のやり取りがナレッジとして 貯蓄されている1社をターゲットに Slack AI botの開発を行う 全社展開 Slack未導入各社向け bot企画・開発・導入 Slack bot 企画・開発・導入 Slackを導入していない各社に 対する解決策の企画/導入 1,2の知見を元に全社展開を進める

Slide 21

Slide 21 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 9月 10月 11月 12月 POC進行スケジュール STEP①スコープ/実装方針決定 STEP②開発(約1ヶ月) STEP③ 検証(約3週間) PJ続投 可否判断 精度改善を目的とした 開発は並行して実施

Slide 22

Slide 22 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a STEP① スコープ/実装方針決定

Slide 23

Slide 23 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a PJ開始時に行ったこと ビジネスユースケースの整理 （財務経理と認識をあわせる） PoC対象範囲の明確化 ⚫ 整理項目（一部） ⚫ 概要 ⚫ 登場人物 ⚫ 前提条件 ⚫ 成功シナリオ ⚫ 制約/規約等 ⚫ 非機能要件 ⚫ 今回のPoCで行う業務範囲を明確化する ⚫ 開発範囲の認識合わせ ⚫ どの状態まで準備が整えば検証フェーズを スタートするのか？の基準

Slide 24

Slide 24 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 大切にしていたこと IT部門(私達) 財務経理部門 - 両部門が“一緒に”PoC/プロジェクトを進行する -

Slide 25

Slide 25 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a PJ開始当初目指していたbot活用フロー 従業員 AI Bot 財務経理 問い合わせ送信 回答送信 補足事項等あれば回答 このフローは（現時点では）現実的ではなかった

Slide 26

Slide 26 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 財務経理部門とのディスカッションを通して浮かんできた課題 ⚫ 財務経理の問い合わせの性質上 緊急レベルに合った個別対応がある為 直接従業員に回答するにはリスク大 ⚫ 誤った回答を直接回答すると従業員に 対して手間を増やしてしまう可能性も

Slide 27

Slide 27 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 回答送信 ディスカッション後に定めた新フロー 従業員 財務経理 問い合わせ送信 従業員に間違った回答をせず、業務効率化を促進する Slack Ch 自動転送 回答生成 Botの回答を参考に、従業員へ回答を送信 AI Bot

Slide 28

Slide 28 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 財務経理 AI Botの建付け確定 財務経理 AI Bot ｜｜ 財務経理スタッフの業務アシストツール

Slide 29

Slide 29 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a STEP② 開発 → 後半にお話します！

Slide 30

Slide 30 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a STEP③ 検証期間

Slide 31

Slide 31 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 一緒にPoCを進める上で意識したこと 1. Botの回答評価が業務負担にならない工夫をする 2. 検証フェーズで出てきた財務経理からのFBは、 なるべく検証期間中に改善する

Slide 32

Slide 32 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 一緒にPoCを進める上で意識したこと 1. Botの回答評価が業務負担にならない工夫をする 2. 検証フェーズで出てきた財務経理からのFBは、 なるべく検証期間中に改善する

Slide 33

Slide 33 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a Botの回答評価が業務負担にならない工夫をする 財務経理の問い合わせは専門的な部分が多く 私達ではbotの回答があっているのか一次評価すら難しい ● 正直、どのBotの回答もあっているように見える ● ハルシネーションが起きているかどうか判断がつかない 従業員からの質問＋生成した回答に対して 財務経理スタッフにすべて評価を依頼 （botの精度向上に必要な情報である旨はしっかり説明した上で）

Slide 34

Slide 34 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 【参考】今回のPoCで定めた評価基準 従業員からの問い合せレベル AI Bot 回答精度評価 高 担当者から直接回答必須の質問 中 Botの回答を参考に回答したい質問 低 Botに回答をまるっと任せたい質問 ５ 正答👏 ４ 概ね正解だが、若干補足説明が必要 ３ 回答に情報が不足している ２ 回答の一部情報に誤りがある １ 誤答 ☹️

Slide 35

Slide 35 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 実際の画面 問い合わせ内容 bot回答 ＋ 回答生成の参考にしたマニュアル とSlackスレッドのリンクを表示

Slide 36

Slide 36 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 一緒にPoCを進める上で意識したこと 1. Botの回答評価が業務負担にならない工夫をする 2. 検証フェーズで出てきた財務経理からのFBは、 なるべく検証期間中に改善する

Slide 37

Slide 37 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 検証フェーズで出てきた財務経理からのFBの活用 botの精度改善サイクルを活性化できた 既存マニュアル 従業員問い合せ 対応履歴 Bot回答への フィードバック

Slide 38

Slide 38 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a botの精度改善のサイクルを活発化するメリット 検証期間も改修を繰り返す ことで人が解すことによる 精度向上を実感 Bot精度 FB Bot改修 改善実感

Slide 39

Slide 39 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 具体的な構成

Slide 40

Slide 40 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷 2023.11 社内向け 生成AI活用勉強会開催 2024.02 議事録生成 PoC 2024.08 生成AI活用勉強会開催 Step① 2023.05 社内Slack向け 生成AI Chatbotアプリ開発/公開 2024.01 社内テクニカルサポートデスク RAG bot PoC開始（~2024.05）

Slide 41

Slide 41 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷：Step① • 最初の生成AIアプリ • OpenAI-APIリリース(2023.03)をきっかけに開発スタート • Slack経由でシンプルにOpenAIを利用するチャットボット • 生成AIを企業内でセキュアに利用することが目的 【2023.05】 社内Slack向け 生成 AI Chatbotアプリ Slack Lambda OpenAI DynamoDB User オプトアウト することで 学習させない 会話履歴を保持

Slide 42

Slide 42 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷 2023.11 社内向け 生成AI活用勉強会開催 2024.02 議事録生成 PoC 2024.08 生成AI活用勉強会開催 Step② 2023.05 社内Slack向け 生成AI Chatbotアプリ開発/公開 2024.01 社内テクニカルサポートデスク RAG bot PoC開始（~2024.05）

Slide 43

Slide 43 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 社内知識 アーキテクチャの変遷：Step② Slack Slack Lambda OpenAI Kendra User S3 Backlog 社内知識を Kendraに登録 • 最初のRAGアプリ • SlackやBacklogに過去の問合せと回答が蓄積 • PCや社内システムに関する様々な問合せへ回答する 【2024.05】 社内テクニカルサポ ートデスクRAG bot

Slide 44

Slide 44 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷：Step③ 【2024.12】財務経理Slack AI Bot

Slide 45

Slide 45 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 特徴：データソース SharePoint 情報 データ量 形式 1. PDF 2. Excel 3. PowerPoint 4. Text マニュアル 50ファイル 60MB Slack 1. Text 2. 画像 3. PDF 4. Excel 過去の 質問・回答 2020年～

Slide 46

Slide 46 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 特徴：問合せの傾向 件数 平均 5件/日 月末に集中 対応時間 10分/件 マニュアル見ればわかるレベルの簡易なものの場合 受け方 フリーフォーマット 一部のみ定型フォーマット

Slide 47

Slide 47 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷：Step③ Slack DynamoDB S3 Lambda Bedrock Agent User Slack Share Point S3 Athena QuickSight 【2024.12】財務経理Slack AI Bot Knowledge Base S3 Claude Cohere Aurora

Slide 48

Slide 48 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷：Step③ Slack DynamoDB S3 Lambda Bedrock Agent User Slack Share Point S3 Athena QuickSight 【2024.12】財務経理Slack AI Bot Knowledge Base S3 Claude Cohere Aurora

Slide 49

Slide 49 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a アーキテクチャの変遷：Step③ 2024年Bedrockアップデート情報一部抜粋 9月 AgentがClaude 3.5 Sonnetに対応 8月 Knowledge BaseがClaude 3.5 Sonnetに対応 7月 Knowledge Baseが高度なRAG機能をサポート 6月 BedrockでClaude 3.5 Sonnetが利用可能 5月 Converse APIリリース 4月 Knowledge Baseが複数のデータソースをサポート Knowledge BaseがCloudFormationをサポート 3月 Knowledge Baseがメタデータフィルタリングをサポート Knowledge Baseがハイブリッド検索をサポート PDF取込 セマンティックチャンク 階層的チャンク クエリ分割

Slide 50

Slide 50 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 8. AgentアクショングループLambdaの制約 9. Boto3タイムアウト 10.同じ質問に答えられたり答えられなかったり 11.LLMに現在日時を認識させる 12.参考ドキュメントへのリンクをユーザに提供する 13.Knowledge Base自動クエリフィルタの挙動 ポイント

Slide 51

Slide 51 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 8. AgentアクショングループLambdaの制約 9. Boto3タイムアウト 10.同じ質問に答えられたり答えられなかったり 11.LLMに現在日時を認識させる 12.参考ドキュメントへのリンクをユーザに提供する 13.Knowledge Base自動クエリフィルタの挙動 ポイント

Slide 52

Slide 52 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント

Slide 53

Slide 53 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント１：Slack情報の活用方法 検索 スレッド メッセージ スレッド メッセージ Slack メッセージ メッセージ ドキュメント ドキュメント Kendra ドキュメント ドキュメント 文脈 文脈 Hit Hit KendraのSlackコネクタ 利用時の問題点 文脈が失われること

Slide 54

Slide 54 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント１：Slack情報の活用方法 検索 スレッド メッセージ スレッド メッセージ Slack メッセージ メッセージ ドキュメント ドキュメント Kendra ドキュメント ドキュメント 文脈 文脈 Hit Hit KendraのSlackコネクタ 利用時の問題点 文脈が失われること Slackコネクタのデータ取込部分は カスタマイズ不可

Slide 55

Slide 55 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ではどうするか？ or ポイント１：Slack情報の活用方法 Slack情報 「取込」 を実装 Slack情報 「検索」 を実装 ※下記ブログを拝見してアイデアを知りました ありがとうございます 社内用AIアシスタント「おっさんずナビ」を作った話、そして人間らしく振る舞う重要性を認識した話 こちらを選択

Slide 56

Slide 56 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント１：Slack情報の活用方法 対策 文脈を渡す部分を実装 スレッドA メッセージ スレッドB メッセージ Slack メッセージ メッセージ 検索 Hit Hit LLM 回答用プロンプト LLM 評価用プロンプト スレッドA 文脈を インプット 関連するものだけを 回答の生成に利用 Slack 検索API

Slide 57

Slide 57 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント

Slide 58

Slide 58 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント２：コスト抑制 S3 Lambda Bedrock Agent Knowledge Base S3 Claude Cohere Aurora AWS利用料の90%程度がベクトルDB ※Step③アーキテクチャー図抜粋

Slide 59

Slide 59 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント２：コスト抑制 Kendra Step② 約$1,000/月～ $/月 Kendra Kendraは継続利用を考えるとコストがネック

Slide 60

Slide 60 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a AuroraServerless Knowledge BaseのベクトルDBにAuroraを採用 ポイント２：コスト抑制 Kendra Step② Step③ 約$100/月～ $/月 Kendra ※試算条件 0.5ACU 常時稼働 オレゴンリージョン 約$1,000/月～

Slide 61

Slide 61 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a AuroraServerless Knowledge BaseのベクトルDBにAuroraを採用 ポイント２：コスト抑制 Kendra Step② Step③ 約$100/月～ $/月 Kendra ※試算条件 0.5ACU 常時稼働 オレゴンリージョン 約$1,000/月～ いくつかある選択肢から なぜAuroraを選択したか？ ✓ まずはAWSサービスを候補とした (3rd Partyもあるが) ✓ OpenSearch Serverlessより低コスト ➢ OpenSearch Serverlessのハイブリッド検索は今後必要に応 じて利用検討

Slide 62

Slide 62 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント

Slide 63

Slide 63 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a Bedrockで利用できる生成AIモデルのプロバイダー ポイント3：モデル選定

Slide 64

Slide 64 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a Bedrockで利用できる生成AIモデルのプロバイダー ポイント3：モデル選定 • 最適なモデルがパッとは判断できない • RAGは気にするポイントが多い • 時間は限られている

Slide 65

Slide 65 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a Bedrockで利用できる生成AIモデルのプロバイダー ポイント3：モデル選定 • 最適なモデルがパッとは判断できない • RAGは気にするポイントが多い • 時間は限られている ✓ まずは世間的評価が高いAnthropicのClaudeを利用 ✓ Sonnetで始めてコスト観点でHaikuも検討

Slide 66

Slide 66 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント

Slide 67

Slide 67 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント4：チャンキング戦略 ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥ 子 子 Knowledge Baseで利用できるチャンキング戦略 セマンティック 階層 文章の意味 に基づいて分割 検索は子 回答生成は親 固定サイズ で分割 親 固定

Slide 68

Slide 68 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント4：チャンキング戦略 ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥ ‥‥‥ 子 子 Knowledge Baseで利用できるチャンキング戦略 セマンティック 階層 文章の意味 に基づいて分割 検索は子 回答生成は親 固定サイズ で分割 親 固定 Slackの経験から階層チャンキングを選択 でも・・・ドキュメントの構成次第では？ 今後チューニングの必要がありそう

Slide 69

Slide 69 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント

Slide 70

Slide 70 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a IaC・CI/CDを活用して継続的に改善を実施 ポイント5：継続的なアップデート GitHub Actions 自動デプロイ データベース 開発用 リソース 検証用 リソース 本番用 リソース CDK コスト削減のため共通化 ※PoC以降は分けることも検討

Slide 71

Slide 71 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト抑制 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 検証方法 7. 評価結果の収集・分析 ポイント

Slide 72

Slide 72 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント6：検証方法 財務経理 担当者 Slack メッセージ AI Bot ③検索 ①引用 ②質問 ④回答 ■背景 テスト用の質問/回答を用意するのは 財務経理担当者にとって負担が大きい ■検証方法 過去の問合せを引用した ■結果 • ①③一致のため正答率は当然高い • 新規や類似の問合せに回答できるか は不明 一致

Slide 73

Slide 73 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 本番の問合せに対して検証Chで回答生成と評価を行う仕組みにした ポイント6：検証方法 転記Slackアプリ 本番チャンネル 本番Slackアプリ 検索Slackアプリ 転記Slackアプリ 開発Slackアプリ 検証チャンネル 検証Slackアプリ 開発チャンネル 本番 開発 転記 ①メッセージ に反応して Lambda実行 ②転記＋検証アプリ にメンション ③メンション に反応して Lambda実行 検索 検証

Slide 74

Slide 74 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 1. Slack情報の活用方法 2. コスト 3. モデル選定 4. チャンキング戦略 5. 継続的なアップデート 6. 本物の問合せを利用 7. 評価結果の収集・分析 ポイント

Slide 75

Slide 75 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント7：評価結果の収集・分析 • 質問 • 回答 • 参照ドキュメント • 難易度 • 回答の評価 • 検索結果の評価 • コメント 収集項目 特に評価の低い結果へのコメントを改善検討に活用 特に評価の低い結果へのコメントを改善検討に活用

Slide 76

Slide 76 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a PoC期間中はがんばって集計 ポイント7：評価結果の収集・分析 コピペ

Slide 77

Slide 77 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a その後自動化 Oregon ポイント7：評価結果の収集・分析 DynamoDB S3 Athena QuickSight Lambda Slack AI Bot Account Common Account Tokyo エクスポートは リージョンも アカウントも 跨げる 既存環境に 相乗りして コスト削減 TTL設定で 自動削除

Slide 78

Slide 78 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ポイント7：評価結果の収集・分析 評価結果分析画面 (数字は仮)

Slide 79

Slide 79 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a ① ドキュメントの整備 最新化・必要に応じて前処理 ② マルチモーダル対応 問合せ添付ファイルも理解して回答する 回答時に画像も添付する ③ 評価ツール導入 評価改善サイクルを継続的に回していくために ユーザーによる評価だけではなく評価ツールも活用 更なる改善のために

Slide 80

Slide 80 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a まとめ

Slide 81

Slide 81 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a Good • AI botの回答をきっかけに確認不足 だった観点に気づくことができた • FB箇所をスピーディーに改修してもらえ た為、精度向上を短期間で体感できた • どのように生成AIを活用できるか、 実際に操作することでイメージできた 財務経理スタッフの声 More • 生成AIの回答そのままでは従業員にとっ てわかりづらいことがあり、適切に伝え るためには手動修正が必要だと感じた • AI botの回答を読み直すのは 分量が多くて大変

Slide 82

Slide 82 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 結果（評価対象 65件) 約32%の回答に高評価を獲得できた ＋ 財務経理部門スタッフに 業務活用イメージを思い浮かべてもらえた

Slide 83

Slide 83 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 財務経理スタッフの生成AIに対する印象の変化 Before 満点回答を常に 出力する神ツール After 工夫次第で精度を高めること ができるいわば育成ツール

Slide 84

Slide 84 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a PoCの結果 プロジェクト継続決定！ 目標は25年度中の実用化

Slide 85

Slide 85 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 最後に宣伝させてください🙇

Slide 86

Slide 86 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a Qiita 元気に更新中🦾 Qiita 株式会社ポーラ・オルビスホールディングス 皆様のフォロー、いいねが励みになります

Slide 87

Slide 87 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a エンジニア採用サイト ポーラ・オルビス ホールディングス グループデジタルソリューションセンターの採用ホームページはQRコードからご覧ください。 テクノロジーで “らしさ”を前へ MISSION 一緒に働く仲間を募集しています！

Slide 88

Slide 88 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a 技術ブログのご紹介 株式会社エヌデーデー 技術情報発信ブログ『テックテック』

Slide 89

Slide 89 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a

Slide 90

Slide 90 text

ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_a END