【ブラウザをAIエージェントが操作！？】Amazon Nova Actを体験してみた

Transcript

1. 【ブラウザを AIエージェントが操作！？】 Amazon Nova Actを体験してみた 2025/12/22 Katsuya Torii Education-JAWS #6
2. • 鳥居克哉（Katsuya Torii） • 某SlerでAWSを利用した複数システムのインフラの保守・ 構築を担当。 直近は新規アーキテクチャ検討も実施。 • 年次：3年目 • 大学の専攻・研究：システム創成学 ◦ 歴史資料のトピック推定システム ◦ 研究の中でAWSにも触れ、インフラの道へ • 興味のあるAWSサービス：Kiro、Cost Explorer 自己紹介
3. • Nova Actとre:Invent2025について • Nova Actで何ができるのか • やってみた • まとめ アジェンダ
4. re:Invent2025 Keynote AWS re:Invent 2025 - Keynote with Dr. Swami Sivasubramanian • z ◦ 信頼性：エージェントが複数のタスクを完 了できる信頼性 ◦ RPAはワークフローが複雑になると機能 しなくなる ◦ LLMはモデルを調整するのが複雑で実 用性がない ◦ シンプルで信頼性の高い自動化の必要 性 • AWS Agentic AIのVice Presidentである Swami Sivasubramanian氏の 基調講演 • AIエージェントのReliability (信頼性)の文脈で語られたのがNova Act • Nova Actによって、高い信頼性を持つUI自動化ワークフローを構築可能
5. • UIを自然言語で操作できるAIエージェント • プレビュー版ではモデルへのアクセスしかできなかったが、一般提供版では、開発者が本番 環境のUIワークフローを自動化するためのAIエージェントの構築、デプロイ、管理する機能が 提供されるようになった Nova Act 出典：Introducing Amazon Nova Act • Nova Actによってブラウザ上でのデータの ピックアップ・検索やフィルター・ドロップダウン の選択など、今までWebブラウザのサイズや デザインが環境によって異なるために自動化 が難しかったタスクを Nova Actによって実現 できる
6. Nova Actの特徴 自然言語のPythonの統合 エンドツーエンドのタスクを自然言語と Python のコードの組み合わせで定義したワークフロー によって実行される Human-in-the-Loop Human-in-the-Loopの設計思想が取り入れ られており、適切なタイミングで人間にエスカ レーションを行う設定を入れることが推奨 外部ツールとの連携が前提 API・リモートMCP・Strand Agent等のエージェ ントフレームワークを介した外部ツールの連携 が前提 反復的なUIワークフロー 実行させるとエージェントは定義した目的のため に、反復してUIワークフローを実行
7. • Nova ActはこれまでAIエージェントの学習でよく用いられてきた模倣学習(imitation learning)ではなく、強化学習(reinforcement learning)を採用 Nova Actの学習 出典：Introducing Amazon Nova Act • Nova Actが自らトレーニングして改善できる実 際のUIを再現した強化学習ジム（ Nova Act Gym)を使って数千のワークフローの試行を重 ねる • タスクを実行するオーケストレーター・アクチュ エーターとは独立して個別に学習され信頼性 が低下してしまうという従来の模倣学習を使用 した際の課題を解決
8. なにができる？： Playground • Playground：自然言語を入力することで実際にNova Actがどのような挙動で動作するのか をデモのような形で確認できる。 ※ただし、現在米国東部 (バージニア北部) の AWS リージョンのみ利用可能 ※日本からアクセスした際
9. 検証：LINE占いのUIをエージェントが操作
10. なにができる？：ローカル環境での検証 • Nova Actをローカルで開発するための認証方法として、APIキー認証およびAWS IAM認証 があります。IAM認証を使用 して、ローカルにて開発。 ◦ IAM認証を使った方法であれば、現時点でも日本で検証できる
11. ローカル環境での検証：ワークフロー定義の作成 • Nova Act AWSコンソールで「Nova Act」サービスが選択できるようになっている • まずワークフロー定義を作成。 • ワークフロー：エージェントのエンドツーエンド のタスク。 自動化ロジックをオーケストレーションする act()ステートメントとPythonコードで構成され る。
12. ローカル環境での検証：ワークフロー定義の作成 • ワークフロー定義の設定画面では、ワークフローの定義名、S3バケットの設定を入力 • 定義を作成すると実際にワークフロー定義を呼び出せるPythonのコードスニペットが提供さ れる。 @workflow デコレータにて、ワークフロー 定義名を先ほど設定した定義名とし、 model_idを任意の値に設定 指定したURLをスタートページとして、ブラウ ザセッションが起動する処理が行われる
13. ローカル環境での検証：実際にやってみる • 「Amazonのショッピングサイトにアクセスし、予算に近いクリスマスプレゼントを選ぶ」というス トーリーで検証 実行結果
14. ローカル環境での検証：画面遷移
15. ローカル環境での検証：画面遷移① 私はAmazonのホームページにいます。私 のタスクは、クリスマスプレゼントを検索し、 ページを下にスクロールして、価格が 2,000 円から3,000円の間の商品を選ぶことです。 まずは『クリスマスプレゼント』を検索する必 要があります。ページの上部に検索バーが見 えます。検索バーをクリックして『クリスマスプ レゼント』と入力し、Enterキーを押して検索 を開始します。
16. ローカル環境での検証：画面遷移② ページには『クリスマスプレゼント』の検索結 果が表示されており、これは直前の操作が成 功したことを意味します。検索結果は表示さ れていますが、価格が 2,000円から3,000円 の範囲の商品を見つけるために、ページを下 にスクロールする必要があります。より多くの 商品を確認するために、ページを下にスク ロールします。
17. ローカル環境での検証：画面遷移③ ページにさらに多くの商品が表示され、先ほ どのスクロール操作が成功したことが分かり ます。右側に価格が 2,980円の商品が見え ており、これは希望している 2,000円〜 3,000円の範囲内です。この商品を選択する ためにクリックします。
18. ローカル環境での検証：画面遷移④ 現在、GODIVA チョコレート マスターピース の商品ページにいます。これは直前の操作 が成功したことを意味します。 2,000円から 3,000円の価格帯のクリスマスプレゼントを 見つけることができました。タスクは完了した ため、選択した商品の名前を返します。
19. • 実行後に出力されるhtmlファイルと、AWSコンソールのワークフロー定義で実行結果を確認 可能 結果確認 実行後に出力される htmlファイル AWSコンソールのワークフロー定義
20. • re:Invent2025にて一般提供（GA）されたNova ActについてPlaygroundとローカル環境で 検証してみた ◦ 検証の中でエージェントに自然言語で指示を与えることで、自律的にWebブラウザを操 作し必要な操作をした上で必要な情報を抽出できることが確認できた • 今回の検証では、ローカル環境での実行に留まったため、今後デプロイも含めて検証してい きたい。 • Human-in-the-Loop機能についてもNova Act SDKで提供されているので、今後試してい きたい。 まとめ・今後の展望