Serverless × AI で運用タスクを自動化した話

Transcript

1. Serverless × AI で運用タスクを自動化した話 ~Auth0 Changelog自動調査システム~ エムオーテックス株式会社 辻 翼
2. 自己紹介 名前 • 辻 翼（つじ つばさ） 業務内容 • AWS を用いたクラウドアプリケーションの開発 プライベート • バスケで汗を流してストレス発散中 • 家では子どもと犬に振り回される日々... 所属 • エムオーテックス株式会社 AWS 歴 • 4年ぐらい 好きな AWS サービス • Amazon Bedrock（まだまだ勉強中） • AWS CloudFormation @tsu2_dev 2
3. 今日話すこと 1. AWS の Serverless サービスをざっくり紹介 2. その中でも今回使った Amazon Bedrock Knowledge Bases とは何か 3. [メイン] これらを使って Auth0 Changelog 調査を自動化した話 4. 実際の効果 5. 今後の展望 3
4. AWS の Serverless サービス • AWS には、コンピューティング・アプリケーション統合・データストアなど 様々なレイヤーに Serverless サービスがある • その中でも代表的な Serverless サービスはこちら サービス名 カテゴリ 役割 AWS Lambda コンピューティング イベント駆動でコードを実行 Amazon API Gateway アプリケーション統合 API エンドポイントの作成・管理 Amazon SQS アプリケーション統合 メッセージキューによる非同期処理 Amazon S3 データストア ファイル・オブジェクトの保存 ※ この後に話すシステムではこれら全部使って実装してます 4
5. 今回は AWS の AI サービスも使用 • Amazon Bedrock Knowledge Bases を使用 • 独自データを活用したRAG（検索拡張生成）を簡単に実現できるサービス 簡単セットアップ 自動RAG処理 コスト最適化 • S3に文書をアップロードするだけ • RAGの複雑な実装が不要 • マネージドサービスで運用コスト低 • ベクトル化・検索準備が全自動 • ベクトル検索で関連文書を自動取得 • AIモデルによる回答生成まで一括 • ベクトルストアにS3を使用可能 • 使った分だけの従量課金制 • インフラ管理コストゼロ 5
6. 何を作ったか Auth0 Changelog 自動調査システムを作成 背景・課題 • 弊社製品の認証基盤に Auth0 を使用 • Auth0は外部サービス → 日々の更新監視が必要 • 見落とすと弊社製品に重大な影響が出るリスク • Auth0に不慣れなメンバーが担当するケースもあり、調査時間と判断への不安が課題 やりたいこと • 調査時間の削減と判断への不安を解消するため、AIで自動化したい！ 6
7. アーキテクチャ構成 7
8. 各サービスのポイント API Gateway • Slack AppからのリクエストをLambdaに渡すエンドポイントとして使用 • 認証・スロットリングをマネージドで管理できるため、Lambda側の実装をシンプルに保てる Lambda × SQS • Slack Appの3秒ルール対策 • 受付LambdaはすぐHTTP 200を返し、SQS経由で回答生成Lambdaを非同期起動 8
9. 各サービスのポイント Knowledge Bases • RetrieveAndGenerate API 1つでRAG検索＋回答生成が完結 • [苦戦ポイント] 回答精度が悪かったため、チャンキングをCSVの1行ごとに分割することで回答精度が向上 • [苦戦ポイント] デフォルトプロンプトと競合するため、独自プロンプトで上書きが必要 Amazon S3 • 弊社のAuth0使用状況をまとめたCSVをデータソースとして格納 • ベクトルストアにS3を使用（OpenSearch等と比べてコストを大幅削減） • [苦戦ポイント] S3の文書更新だけではKnowledge Baseに反映されないため、デプロイ時に自動同期する仕組みを実装 9
10. 実際に動かした画面 ※セキュリティの観点上、ダミーの文書を使用しています。 Auth0 Changelogに更新が入ると… Slackに自動投稿！ 10
11. 導入効果 定量評価 定性評価 指標 導入前 導入後 効果 平均 0:40:35 0:26:56 -13.7分 P90 1:31:48 0:47:00 -44.8分 翻訳・要約の精度は？ 影響調査の精度は？ 全体工数は短縮できたか？ 総合満足度は？ チャンキング改善の効果もあり高評価 Backlogへのナレッジ登録が手動のため、 全体工数の削減には至らず 担当者の負担軽減と心理的安全性向上に貢献 11
12. 今後の展望 12 AIが初期調査 人間が詳細調査・最終判断 AIが詳細調査 人間が最終判断 AIが調査・修正まで提案 人間は承認のみ AIの作業範囲 • 翻訳 • 要約 • Auth0使用状況CSVを用いた 影響調査 • ソースコードを用いた 詳細調査 • ソースコードを用いた 修正提案 STEP 01 AIアシスタント STEP 02 AI協働者 STEP 03 AI専門家 AIの作業範囲 • 翻訳 • 要約 • Auth0使用状況CSVを用いた 影響調査 AIの作業範囲 • 翻訳 • 要約 • Auth0使用状況CSVを用いた 影響調査 • ソースコードを用いた 詳細調査 ★ 現在地 Bedrock AgentCore で実装予定
13. まとめ • Knowledge Bases はRAGの実装工数を大幅削減できる • Serverlessサービスと組み合わせることでフルサーバーレスなAIシステムが作れる • チャンキング戦略とプロンプト設計が精度のカギ 導入ハードルは思ったより低い！ぜひ試してみてください！ [公開資料のご紹介] • Knowledge Bases や苦戦ポイントをもう少し詳しく書いた資料 https://speakerdeck.com/t5u8a5a/amazon-bedrock-knowledge-baseswoyong-itaauth0diao- cha-nozi-dong-hua • Knowledge Bases を Cloudformation で実装した話（弊社テックブログ） https://tech.motex.co.jp/entry/2026/03/24/111311 13