横須賀市役所のデジタル・ガバメント推進室は、AIチャットボット「ニャンぺい」を市民の悩み相談に対応するため開発しました。このAIのテストにはChatGPTを活用し、質問シナリオを生成して回答を「共感性」「適切性」「公務員としての適切性」などの観点で評価しました。生成AIの活用で効率は大幅に向上しましたが、回答精度の限界から最終的な人間の確認も必要です。また、AIの温度(自由度)の設定が応答内容に影響するため、適切な設定を見極めることが課題となっています。