AWSテクニカルサポート業務を進化させる AIエージェントの構築と基盤運用

Transcript

1. AWSテクニカルサポート業務を進化させる AIエージェントの構築と基盤運用 クラスメソッドオペレーションズ株式会社 テクニカルサポートゾーン AI業務開発ユニット ユニットリーダー 金子 拓矢
2. 自己紹介 金子 拓矢 (かねこ たくや) 所属 クラスメソッドオペレーションズ株式会社 テクニカルサポートチーム AI業務開発ユニットリーダー 経歴 2017年4月 独立系SIer入社 アプリ屋として従事 2024年9月 アノテーション株式会社 入社 (現: クラスメソッドオペレーションズ株式会社) 保有資格 情報処理安全確保支援士 (登録番号 032967) 2025/2026 All AWS Certifications Engineer, etc. 好きなサービス Step Functions / Bedrock / Kiro 埼玉出身 モコ (12歳)
3. はじめに 業務紹介・背景説明 3
4. 業務紹介 • AWS請求代行サービス クラスメソッドメンバーズ をご契約のお客様に対し技術サ ポートを24/365で無償提供。日・加・独でのフォローザサン体制 • • • サポート対象のAWSサービスは300種類 以上 月間でのお問い合わせ件数は平均1,300件 以上 お問い合わせのサービス領域別に4チーム で分かれて対応 4
5. 業務紹介 技術サポートでは主に以下のようなお問い合わせに対応しています。 障害発生に関するもの 機能仕様に関するもの 技術サポートがお客様環境を確認し、の 原因調査と復旧方法をご案内 技術サポートがドキュメントや過去事例を 調査し、実リソースでの検証を行いご質問 に回答 本日のテーマは、Kiro 事例を紹介します を利用したAIエージェント を構築しこれらの業務を効率化した 5
6. 背景説明 - 初期検証 生成AI普及に伴い、弊社でも2025年6月から生成AIの業務導入の初期検証を開始 概要 AI Starter やAmazon Q Developer を利用し、テクサポ業務をシステムプロンプトに落とし込 み、問合せ内容をユーザーメッセージとして送信、 回答を生成 させる。担当者が生成内容を レビューし、お客様に送信する。 改善点 文章作成が早くなった。モデルが学習している範囲内の質問には高品質で回答を生成 課題点 基盤モデルは アクセス不能な情報に対し正しい回答を生成できない (ハルシネーション ) 担当者のレビュー負担が大きく、トータルで見ると 作業効率の向上には繋がらず 根本的な品質改善のため、業務に適したAIエージェント構築を検討するに至る。 6
7. AIエージェントの構築 7
8. AIエージェントの構築 - 検証第2段 2025年11月にAmazon Q DeveloperがKiro としてリニューアルされる。CLIにsubagent やhook等のエージェントとして動作するためのハーネス機能が整備された。これらを用 いてローコード にテクサポ業務を自律的に実行するエージェントが開発できそうと着想 し、2026年2月から第2段の検証を開始。 【構成図(簡略版)】 AIがMCPサーバーを通して 最新の外部データを参照した回 答生成が可能に！ 8
9. AIエージェントの構築 - 検証第2段 AIがアクセスできる領域が広がったことで生成内容の品質が向上、回答下書きを大きく 修正せずにお客様に送信できた事例が大幅に増加 。しかし⋯ ※MCPなし版: n=60 (小16/中17/大27), MCPあり版: n=88 (小51/中25/大12) ※小/中/大は検証協力者のアンケート によるもの 本当にこれで良いの？ 9
10. AIエージェントの構築 - 品質改善基盤の構築 回答生成の品質は上がったものの、検証協力者の主観による評価が中心。 継続的に品質を観測して改善するには、ログを集約し、AIが生成した回答と担当者が 実際に送信した回答を比較して評価する仕組み と、その改善を迅速に担当者に配布 する仕組み を本稼働までに整備する必要があった (LLM-as-a-judge ) 【構成図 (簡略版)】 運用・観測・評価・改善の ループを構築 10
11. AIエージェントの構築 - 品質改善基盤の構築 品質を可視化する基盤を独自に構築したことで、AIエージェントの安定的運用が実現 可能になった。AIエージェントの利用率・修正率 (編集差分量による定量分析、AI採点に よる定性分析) を継続的に監視し、品質の改善やデグレードを迅速に検知し、修正版 を素早くデプロイ できるようにした。 AIエージェントを利用した 問い合わせをチーム別に追跡 決定論的な編集距離とAIによる 定性分析を組み合わせて評価 11
12. AIエージェントの運用と成果 12
13. AIエージェントの運用実績 2026/09/01よりテクニカルサポート全体で運用を開始 。9/11迄の実績は以下 AIエージェント実行回数 約300回 AIエージェントが利用されたお問い合わせの割合 50%弱 お客様に回答を送信するまでの時間 平均30%短縮 AI採点の平均評価点 4.10 / 8.00点 平均修正率 80%超 • • • AIエージェントがゾーン全体で利用され続ける状況が2週間継続 お客様への回答時間が短縮され、生産性向上に結実しつつある状況 一方で、要修正だった生成は依然多く、担当者のレビュー負荷が高い状況 13
14. まとめと振り返り • 一部メンバーによる検証と効果検証、改善を繰り返し、AIエージェントに任せる領域 を少しずつ広げる ことで、生産性向上に結びつく利用実績を作れた • 今回触れなかったが、AIエージェント実装や評価基盤構築には、AI-DLC の取り組 みを積極採用した。これにより少人数かつ短期間で構築完了できた • 評価基盤構築はちょっと勇み足だったかも (構築中にBedrock AgentCore EvaluationsやOptimizationがリリース )。追従が大変なので、なるべくマネージド サービスにまかせ 、カスタム実装は最小限に留めるべき • 使われ続けるAIエージェントとして育てるには、実績データの蓄積と改善ループの 迅速な積み重ねが不可欠 。進化し続けるモデル・ハーネスを活用しながら、AI技術 を事業の生産性向上に落とし込む営みを継続したい 14
15. ご清聴ありがとうございました