手動からの解放！！Strands Agents で実現する総合テスト自動化

JAWS-UG 東京 Strands Agents Meetupで登壇した内容です。

Transcript

1. Strands Agents で実現する総合テスト自動化 手動からの 解放 !!
2. 自己紹介 3 ある日のお仕事 4 やってみた 8 今後の展望 17
3.  c o n n p a s s https://tech.nri-net.com/archive/author/r-ide-ryota 井手 亮太 Activity BORN IN AGE JOB HOBBY 大阪府吹田市 基盤構築・運用 25歳 社会人 2年目 海外サッカー観戦(リバプール・ブライトン) いで りょうた  執 筆 ブ ロ グ https://nrinetcom.connpass.com/ https://nrinetcom.connpass.com/
4.  c o n n p a s s https://tech.nri-net.com/archive/author/r-ide-ryota 井手 亮太 Activity BORN IN AGE JOB HOBBY 大阪府吹田市 基盤構築・運用 25歳 社会人 2年目 海外サッカー観戦(リバプール・ブライトン) いで りょうた  執 筆 ブ ロ グ https://nrinetcom.connpass.com/ https://nrinetcom.connpass.com/ 8/19(火) 19:00～20:00 勉強会開催します！
5. 実践 02
6. 総合テスト 調査 エビデンス取得 定期実行されてる？ エラーを吐いてない？ 正常なログ吐いてる？ システムログ 画面キャプチャ システムが仕様通りの動作をしているか確認するテストのこと
7. AWS上のシステムにおけるテスト手法 テストケースを確認 コンソールを開く エビデンス用の スクリーンショットを撮る 手動 テストケースを確認 シェルスクリプトを実装 実行したコマンドと その結果を エビデンスとする AWS CLI とにかく時間がかかる 人的ミスが発生しやすい シェルの知識が必要 汎用的な活用が難しい
8. そんな時に出会ったのが。。。 MCP Server にも対応 数多くの組み込みツール が用意されていること Strands Agents テスト自動化 実現できるん じゃない？
9. やってみた 02
10. テスト対象システム AWS Cloud Amazon EventBridge AWS Lambda Amazon Bedrock AWS最新ニュース通知アプリ 定期実行 Slackに通知 翻訳 ニュース取得
11. テストケース 0 1 EventBridge 実行状況 ✓ 定期実行されているか Lambda メトリクス ✓ Invocations が1以上 ✓ Errorsが0 Lambda ログ ✓ 正常なログが出力されているか ✓ エラーログを吐いていないか Slack 通知 ✓ ニュースが通知されているか 0 2 0 3 0 4
12. テストケース 0 1 EventBridge 実行状況 ✓ 定期実行されているか Lambda メトリクス ✓ Invocations が1以上 ✓ Errorsが0 Lambda ログ ✓ 正常なログが出力されているか ✓ エラーログを吐いていないか Slack 通知 ✓ ニュースが通知されているか 0 2 0 3 0 4
13. テストケース テスト手法、及びテストに必要な パラメータの情報を記載 テストの期待される結果 テストの期待される結果が 得られた場合⇒ OK そうでない場合 ⇒ NG をAIが記載する
14. Strands Agents テストケース ① テストケースの読み取り(file_read) ① テストの流れ (EventBridge 実行状況) SDK で作成 ※ 赤字はStrands Agents に デフォルトで組み込まれているツール
15. Strands Agents ③ テストケース ② AWS Cloud ① テストケースの読み取り(file_read) ② AWS CLIの実行 (Shell) ③ Lambda MCP Server 経由で メトリクスグラフ保存Lambda を実行 Amazon CloudWatch AWS Lambda Amazon S3 ① テストの流れ (EventBridge 実行状況)
16. Strands Agents ③ テストケース ② AWS Cloud ① テストケースの読み取り(file_read) ② AWS CLIの実行 (Shell) ③ Lambda MCP Server 経由で メトリクスグラフ保存Lambda を実行 ④ S3 に保存したメトリクスグラフを CLI でダウンロード(Shell) Amazon CloudWatch AWS Lambda Amazon S3 ① エビデンスフォルダ ④ テストの流れ (EventBridge 実行状況)
17. Strands Agents ③ テストケース ② AWS Cloud ⑤ 実行したコマンドとその結果をエビデンスとして ファイルにまとめる(file_write) ⑥ テスト結果と期待値を照合し、結果列を更新(editor) Amazon CloudWatch AWS Lambda Amazon S3 ① エビデンスフォルダ ④ エビデンスフォルダ ⑤ ⑥ テストの流れ (EventBridge 実行状況)
18. Strands Agents ② テストケース ② ※ 認証情報を基にチャンネルにアクセスして、 メッセージ内容を確認(slack) ④ テスト結果と期待値を照合し、結果列を更新(editor) ① エビデンスフォルダ ③ ④ ニュースが通知されたスレッド ※ 認 証 情 報 S l a c k a p i で ト ー ク ン 発 行 ⇒ 環 境 変 数 S L A C K _ B O T _ T O K E N と S L A C K _ A P P _ T O K E N を 設 定 す る ③ エビデンスとして スレッドURLを保存(file_write) テストの流れ (Slack 通知確認)
19. こんなこともできる テストケースが多く、1つのエージェントじゃ大変 Strands Agents はマルチエージェントにも対応 コーディネーター AWS CLI エージェント メトリクスグラフ取得エージェント Slack エージェント ユーザー テストケース１はAWS CLI テストケース2はSlack エージェント
20. 具体的な実装方法 コーディネーター Lambda MCP Server エージェント @tool を用いることで独自ツールを作成 エージェントもツールとして扱える コーディネーターエージェントにツールを登録する
21. 実践 02
22. 今後の展望 セキュリティ面での考慮 ⚫ 適切な権限の設定 ⚫ データの保護 今後、本格利用していくためには。。。 ツールを育てる ⚫ トライ＆エラーを繰り返して継続的な改善 ⚫ プロンプトの微調整、コンテキストの最適化 テストツール自体の評価 ⚫ AIエージェントの評価方法を学ぶ＆明確に ⚫ 人間によるレビューが必須のため 技術的な知識は必要
23. 「テストは話しかけるだけ」を「個人」で実現していこう！！ Strands Agentsによるテスト自動化 ⚫ 組み込みツールを用いたファイル・シェル操作 ⚫ MCP Server を用いた AWS 環境との連携 ⚫ 本格的な利用には、セキュリティ面の考慮やツールの評価 方法を確立する必要性がある
24. THANKYOU