Gov-JAWS4回_某団体でのAmazon Bedrock活用検証で見えた“使う側”の課題精度よりもリテラシー

Transcript

1. 某団体でのAmazon Bedrock活用検証で見えた“使う側”の課題 精度よりもリテラシー？ 2025.10.31 NECソリューションイノベータ 田中拓摩
2. 生成系AIチャットボット 精度が大事？
3. © NEC Corporation 2025 NEC Group Internal Use Only 3 PoC実施中 文書量が多く複雑で、理解や根拠の提示に時間がかかる業務を効率化のPoC 同様の課題を抱える自治体・類似課題をもつ団体へ展開を検討中 法律関連文書を読み込んだAIを活用し､業務をサポート 事前準備 査察時 査察後 AIに最新の法令・過去の査察内容を 覚えさせる タブレットを準備 AIに質問 消火器は何個必要？ 確認/再訪問 回数削減 AIに相談しながら 報告書作成 最新の法令・過去の査察情報などを準備 チェック項目作成など事前準備の実施 大量の書類を運搬 法令･書類 確認 有識者に 確認 場合により 再訪問 手作業で報告書作成 確認事項発生時 11階以上の場合… Before After 自治体への適用 病院への適用 自治体職員 看護師 会議録 窓口運用マニュアル カルテ 院内マニュアル 自治体AI 病院AI
4. © NEC Corporation 2025 NEC Group Internal Use Only 4 一般的な生成系AIでの課題 一般的な生成系AIではなく、ドメインに特化した法律やお客様の市の条例を基にした回答が必要 ハルシネーション（事実とは異なる回答）が発生 生成系AI
5. © NEC Corporation 2025 NEC Group Internal Use Only 5 一般的な生成系AIでの課題 法律文書の知識を基に回答して欲しい。 生成系AI 告示 通知 署内マニュアル 業務に利用する文書データ 生成系AI 条例 要綱 法律 政令 省令 法律 通知 条例 データベース 検索時には、職員からの質問と 関係する複数の資料を取得 職員
6. © NEC Corporation 2025 NEC Confidential 6 Generation (生成) Augmented (拡張) Retrieval (検索) RAG(Retrieval-Augmented Generation)検索拡張⽣成とは ◼ RAG (Retrieval-Augmented Generation) 検索拡張生成 ◼ AIが外部知識を検索して取り込み、より正確で最新の回答を生成する技術 ◼ Retrieval (検索) : 質問に関連する情報を外部データベースやドキュメントから検索・取得すること。 ◼ Augmented (拡張): 検索で得た情報をAIの基本知識に追加して拡張すること。 ◼ Generation (生成) : 拡張された情報を使って、適切な回答やコンテンツを生成すること。 生成系AI データベース 検索 アプリ 検索結果 質問＋ 検索結果 回答 質問 回答
7. © NEC Corporation 2025 NEC Group Internal Use Only 7 自己紹介：田中 拓摩(たなか たくま) ※田中が多いので、下の名前（たくま）で呼ばれます。 所属：NECソリューションイノベータ株式会社 趣味：沖縄旅行/ダイビング/読書 滋賀県在住 琵琶湖大好き 主な経歴 医薬品卸向け スクラッチ開発 SAP Basis クラウド関係（主にAWS）の提案～導入 生成系AI活用した製品開発 主な社外の表彰 NTTドコモ関西：iアプリ道場 第一回 最優秀賞（学生時代） AWS：Japan AWS Top Engineer(2019～2025) AWS：AWS Ambassador(2020～2023) 翔泳社：Developers Summit 2024 ベストスピーカー賞 9位 主な資格（AWS全冠など） 瞑想してたら (ジョブズやビルゲイツもしてる) スピリチュアル系AIエンジニアと呼ばれ始めた IPA プロジェクトマネージャ IPA ITストラテジスト AWSは2014年11月～ Lambdaが同期です
8. © NEC Corporation 2025 NEC Group Internal Use Only 8 こんなQiitaも書いてます https://qiita.com/takuma818t/ 検索 AWS 1日3つ
9. © NEC Corporation 2025 NEC Confidential 9 Retrieval (検索) Augmented (拡張) Generation (生成) Amazon Bedrock knowledge baseの構成 ◼ RAGの機能は、Amazon Bedrock knowledge baseで提供されすぐに利用できる Amazon Bedrock knowledge base Amazon S3 Documents ②検索 ③文書取得 Amazon OpenSearch Service (B)ベクトル化 (Claude 3.5 Sonnet etc) Webサイト ベクトルDB データソース ①質問 ④質問 ＋ 取得文書 ⑤回答 (A)情報取得 ⑥回答 外部データ RAGサービス LLM Amazon Bedrock knowledge baseで提供
10. © NEC Corporation 2025 NEC Confidential 10 AWS上でのRAGの構築 ◼Amazon Bedrock knowledge baseの活用 ◼ RAG (検索拡張⽣成)をフルマネージドで提供するサービス ◼ RAGの仕組み自体は、数十分で構築可能 ◼ すぐに構築可能
11. © NEC Corporation 2025 NEC Confidential 11 全体構成 Chatを利用する ユーザ Amazon Bedrock knowledge base Amazon S3 AWS Cloud Documents AWSマネージドサービスを活用しサーバレス構成で構築 Amazon OpenSearch Service Amazon CloudFront AWS WAF Amazon API Gateway Amazon DynamoDB Amazon Cognito AWS WAF フロントエンド 静的コンテンツ (React) チャット履歴保管 AWS Lambda Amazon S3 認証 Bedrock knowledge base API (Claude 3.5 Sonnet etc) RAG
12. © NEC Corporation 2025 NEC Confidential 12 AIから欲しい回答が得られた
13. めでたし、めでたし
14. © NEC Corporation 2025 NEC Confidential 14 ではなかった・・・・
15. © NEC Corporation 2025 NEC Group Internal Use Only 15 Amazon Bedrock knowledge baseの構成 Amazon Bedrock knowledge baseでは、RAGに必要な機能がマネージドサービスで提供(構築)されすぐに利用できる Amazon Bedrock knowledge base Amazon S3 Documents ②検索 ③文書取得 Amazon OpenSearch Service (B)ベクトル化 (Claude 3.5 Sonnet etc) Webサイト ベクトルDB データソース ①質問 ④質問 ＋ 取得文書 ⑤回答 (A)情報取得 ⑥回答 外部データ RAGサービス LLM Amazon Bedrock knowledge baseで提供 構築自体はすぐできたが、回答精度が悪かった。
16. © NEC Corporation 2025 NEC Group Internal Use Only 16 検索 プロンプト クローリング/スクレイピング チャンキング/ベクトル化 プロンプト Amazon Bedrock knowledge baseのチューニング Amazon Bedrock knowledge base活用時のチューニング要素 Amazon Bedrock knowledge base Amazon S3 Documents ②検索 ③文書取得 Amazon OpenSearch Service (B)ベクトル化 (Claude 3.5 Sonnet etc) Webサイト ベクトルDB データソース ①質問 ④質問 ＋ 取得文書 ⑤回答 (A)情報取得 ⑥回答 外部データ RAGサービス LLM
17. © NEC Corporation 2025 NEC Group Internal Use Only 17 検索 プロンプト クローリング/スクレイピング チャンキング/ベクトル化 プロンプト Amazon Bedrock knowledge baseのチューニング クローリング/スクレイピング Amazon Bedrock knowledge base Amazon S3 Documents ②検索 ③文書取得 Amazon OpenSearch Service (B)ベクトル化 (Claude 3.5 Sonnet etc) Webサイト ベクトルDB データソース ①質問 ④質問 ＋ 取得文書 ⑤回答 (A)情報取得 ⑥回答 外部データ RAGサービス LLM
18. © NEC Corporation 2025 NEC Group Internal Use Only 18 検索 プロンプト クローリング/スクレイピング チャンキング/ベクトル化 プロンプト Amazon Bedrock knowledge baseのチューニング チャンキング/ベクトル化についての考慮 Amazon Bedrock knowledge base Amazon S3 Documents ②検索 ③文書取得 Amazon OpenSearch Service (B)ベクトル化 (Claude 3.5 Sonnet etc) Webサイト ベクトルDB データソース ①質問 ④質問 ＋ 取得文書 ⑤回答 (A)情報取得 ⑥回答 外部データ RAGサービス LLM
19. © NEC Corporation 2025 NEC Group Internal Use Only 19 プロンプト クローリング/スクレイピング チャンキング/ベクトル化 検索 プロンプト Amazon Bedrock knowledge baseのチューニング 検索についての考慮 Amazon Bedrock knowledge base Amazon S3 Documents ②検索 ③文書取得 Amazon OpenSearch Service (B)ベクトル化 (Claude 3.5 Sonnet etc) Webサイト ベクトルDB データソース ①質問 ④質問 ＋ 取得文書 ⑤回答 (A)情報取得 ⑥回答 外部データ RAGサービス LLM
20. © NEC Corporation 2025 NEC Group Internal Use Only 20 プロンプト クローリング/スクレイピング チャンキング/ベクトル化 検索 プロンプト Amazon Bedrock knowledge baseの概要 プロンプト(AIへの質問/指示の為のテキスト) Amazon Bedrock knowledge base Amazon S3 Documents ②検索 ③文書取得 Amazon OpenSearch Service (B)ベクトル化 (Claude 3.5 Sonnet etc) Webサイト ベクトルDB データソース ①質問 ④質問 ＋ 取得文書 ⑤回答 (A)情報取得 ⑥回答 外部データ RAGサービス LLM
21. © NEC Corporation 2025 NEC Group Internal Use Only 21 職員さん VS 弊社メンバー＋AI
22. © NEC Corporation 2025 NEC Group Internal Use Only 22 職員さん vs 弊社メンバー AIの有効性検証その１ ◆職員さんがあまり対応をしていない領域で、競争クイズ ◆気づき ‐消防職員でも経験が少ない領域では、AIを活用した素人がエキスパートを超えることがある ‐お客さまにも「未経験のあまり知らない領域」は必ずあり、AI活用は業務効率化に有効 競争者 ツール 勝敗 エキスパート職員さん 本のみ使用 負け 素人NESメンバ AI使用 勝ち
23. © NEC Corporation 2025 NEC Group Internal Use Only 23 職員さん vs 弊社メンバー AIの有効性検証その２ ◆若手職員さんと競争クイズ ◆気づき ‐つい本に手が伸びてしまい、そこで時間がかかった。 ‐AIが便利なだけでは、業務効率化にはつながらない ‐AIを活用するためのリテラシーが不可欠 ‐お客様がAIを使いこなせる環境を整えることが重要 競争者 ツール 勝敗 若手職員さん 本とAI使用 負け 素人NESメンバ AI使用 勝ち
24. © NEC Corporation 2025 NEC Group Internal Use Only 24 リテラシーを乗り越える工夫 プロンプトとは？ AIへの質問/指示の為のテキスト 良いプロンプトとは？！ ・背景を伝える。 ・役割を与える。 ・制約や条件を伝える。 ・出力(回答)例を伝える。 Prompt Engineering Guide ｜プロンプトエンジニアリングガイド https://www.promptingguide.ai/jp
25. © NEC Corporation 2025 NEC Group Internal Use Only 25 リテラシーを乗り越える工夫 プロンプト ユーザからの質問は必ずしも良いプロンプトにはなっていない。 お客様の質問 システム側で付与 背景を伝える 役割を与える ユーザの質問 制約や条件を伝える 出力例を伝える。 ユーザの質問 システム側で必要情報を付与し 良いプロンプトに変更
26. © NEC Corporation 2025 NEC Group Internal Use Only 26 リテラシーを乗り越える工夫 ヒアリングの重要性 弊社が想定していた重要な点と、実際に大切だった点は異なった ◆当初私たちが想定してた重要な点： ‐AIの回答精度を高めること ‐そのためにより高度なAIを実装すること ◆お客様が求めていたこと： ‐AIの正確性よりも、業務の効率化を重視 ‐「生成AIは嘘をつく」ので、人が最終的に判断したい ⇒ 判断材料として、根拠の法律文書や知りたい ◆ヒアリングを経て検討した機能： ‐根拠資料提示 機能
27. © NEC Corporation 2025 NEC Group Internal Use Only 27 PoCのチャット画面 クリック AIが回答に利用した資料をブラウザで 確認できる 根拠の提示を優先 根拠の提示を優先
28. © NEC Corporation 2025 NEC Group Internal Use Only 28 リテラシーを乗り越える工夫 １．法律文書には載っていない ”一般的な用語” で質問したいが、 一般用語で質問するとデータベースに登録されていないため、回答できない。 一般用語：庇（ひさし） 法律文書内：外部の気流が流通する場所 一般用語：老人ホーム 法律文書内：六項ロ 特殊なので意味の近さをみる ベクトル検索でもヒットしない
29. © NEC Corporation 2025 NEC Group Internal Use Only 29 リテラシーを乗り越える工夫 ◆法律用語以外での問い合わせも多いが、その際に精度が悪い課題に対して、日常用語での質問でも AIから正しい回答が得られるようにチューニング（特許出願済み機能） ◆ユーザからの質問の中に、口語/法令表現マッピング辞書と一致する単語がある場合、 以下のように変換処理を行う 口語/法令表現マッピング辞書 ユーザからの質問に不足がある場合、 LLMが判断して問い返しをする ユーザからの質問に辞書登録した単語が 含まれる場合、変換処理をする 2 Lambda Amazon Nova DynamoDB 類義語一覧を取得 質問文の言い換えを実施 1 ユーザーからの 問い合せ 問い返しAgent Lambda 問い返し要否判断 Bedrock Knowledge Base Claude3.5 Sonnet 回答 or 問い返し 生成 回答 or 問い返し Bedrock Knowledge Base Claude3.5 Sonnet API Gateway 口語表現 法令上の表現 ひさし 外気の流通する部分 庇 外気の流通する部分 老人ホーム 六項口 類義語変換後の ユーザーからの問い合せ 費用を考慮しNovaを活用
30. © NEC Corporation 2025 NEC Group Internal Use Only 30 お客様のヒアリングより（使って頂く中での気づき） お客様のヒアリング/検証結果を基に改善する事でさらに効果は高まる想定 ◆ AIリテラシーについてのご意見 お客様の声：「質問の仕方を意識しているせいか、慣れてきたらあまり変な回答に出会わない」 →使い慣れて頂くことで、より効果が出てくると推察 ◆ 効率化以外に関するご意見 お客様の声：「自分の想定している回答や根拠法令と、チャットボットの回答が一緒か確かめて、 気づきを得るために使っていて、その点では有用性を感じている」 →根拠や法律の理解度向上にも貢献できると認識 ◆ 効果について 「検証を通して業務にチャットボットが定着してきている。ちょっとしたこともチャットボットで調べるよ うになり、継続して利用できたらと思っている」 「通知通達は職員が把握しきれていない根拠法令が出てくる。その法令をすぐに確認できたりとエビデンス 収集、ファクトチェックのインプット集めに役立っている」
31. 精度より、課題はリテラシー