AWS GenU✕Novaでみる生成AIモデルの実力

Transcript

1. JAWS-UG 女子会 LT資料 『AWS GenU✕Novaでみる生成AIモデルの実力』 2025年1月25日(土) NECソリューションイノベータ株式会社 好光 泰章
2. © NEC Solution Innovators, Ltd. 2025 2 2019/2023/2024 現地参加(3回目) 自己紹介 好光 泰章 Yasuaki Yoshimitsu どんな人？ NECソリューションイノベータ株式会社勤務 インフラエンジニア 人材育成、全社クラウド事業推進、W-Aレビュー、コミュニティ運営 JAWS-UG 横浜支部コアメンバー(2016～) JAWS DAYS 2025 実行委員 プレーリーカード 趣味・好きなもの re:Invent ⚫ ブログ お酒飲みながら書いてます ⚫ カメラ プロフィール撮影中心 ⚫ 映画鑑賞 コナン聖地めぐり ⚫ ディズニー 最近行けてない ⚫ ランニング 5kmラン継続 ⚫ 英語 ELSAで発音矯正中 AWS認定 2021-2024 Japan AWS Top Engineer 2022-2024 Japan AWS All Certifications Engineer NES コーポレートブログ 「高い志を持つ仲間を増やしたい」AWSの表彰を受けた5人が語るエンジニアとAWSの未来」 ８０回開催 目指せ １００回
3. © NEC Solution Innovators, Ltd. 2025 3 JAWS DAYS 2025 ２０２５年3月1日(土) 池袋サンシャインシティ 展示ホールA １/２５現在 456人の参加者 タイムテーブルの詳細はまもなく公開！ GameDayあり、アーキテクチャー道場あり あのアドボケイト、ヒーロー登壇！ ぜひ申し込みお願いします！
4. © NEC Solution Innovators, Ltd. 2025 4 AWS re:Invent 2024 で発表されたサービスアップデート（1/2） 全107件 – 生成AI系 50件
5. © NEC Solution Innovators, Ltd. 2025 5 AWS re:Invent 2024 で発表されたサービスアップデート（2/2） 全107件 – その他 57件
6. © NEC Solution Innovators, Ltd. 2025 6 AWS re:Invent 2024 セッション数 全セッション 3068 のうち 30% が AI/ML 順位 2023年 2024年 1 AI/ML (768) AI/ML (1050) 2 Analytics (324) Analytics (302) 3 Architecture (309) Architecture (298) 4 Cloud Operations (304) Migration & Modernization (286) 5 Serverless Compute (292) Security, Compliance & Identity (284) 6 Security, Compliance, & Identity (287) DevOps & Developer Productivity (269) 7 DevOps & Developer Productivity (263) Cloud Operations (246) ※生成AI以外でも良アップデートが多数
7. © NEC Solution Innovators, Ltd. 2025 7 2024のテーマ 『 Turn youｒ ideas into reality』 生成AIの衝撃から1年。。。 データ＋AIのアップデート データ AI 人 データが意思決定と 競争力のコアに AI基盤の整備 課題発見、課題解決 Amazon Q Developer → AIエージェントが進化、コーディング、ドキュメント、 テスト、マイグレーションまでをカバーする世界 既存のビジネスがAIへの代替によって低コスト化する動きはますます加速 SageMaker Bedrock Amazon Q Aurora DSQL S3 Tables S3 Metadata Glue5.0 あなたのアイデアを現実に
8. © NEC Solution Innovators, Ltd. 2025 8 もっともAWSを利用しているAmazonのCEO降臨(前 AWS CEO)
9. © NEC Solution Innovators, Ltd. 2025 9 Amazon製の新基盤モデル
10. © NEC Solution Innovators, Ltd. 2025 10 Novaの発表から見るAWSのFlyWheel カスタマー AWS プロダクトリリース Amazon ビジネスへの適用と学び リリース フィードバック AWS最大の顧客 開発・改善 サイクル リリース フィードバック 利用
11. © NEC Solution Innovators, Ltd. 2025 11 Amazon Nova 軽量モデル マルチモーダル対応 安価モデル 性能向上モデル 最上位モデル （未リリース)
12. © NEC Solution Innovators, Ltd. 2025 12 Amazon Nova 静止画と動画モデル
13. © NEC Solution Innovators, Ltd. 2025 13 Nova 第二世代
14. © NEC Solution Innovators, Ltd. 2025 14 AWSの生成AI戦略
15. © NEC Solution Innovators, Ltd. 2025 15 今日はこのNovaの実力について 検証してみたいと思います
16. © NEC Solution Innovators, Ltd. 2025 16 単にプレイグランドで 比較というのも味気ない
17. © NEC Solution Innovators, Ltd. 2025 17 GenU(generative-ai-use-case-jp) 社内PoCでも 利用開始！
18. © NEC Solution Innovators, Ltd. 2025 18 GenU 生成AIユースケースを考え倒すためのGenerative AI Use Cases JP (GenU)の魅力と使い方 - Speaker Deck Nova テキストに対応！
19. © NEC Solution Innovators, Ltd. 2025 19 GenUのアーキテクチャ
20. © NEC Solution Innovators, Ltd. 2025 20 GenUのはじめかた STEP 01 Node.js, CLI, CDKをインストール 基盤モデルを有効化 STEP 02 開発環境として SageMaker Studio のデプロイ STEP 03 アプリケーション(GenU)のデプロイ
21. © NEC Solution Innovators, Ltd. 2025 21 利用モデルの カスタマイズ (どのモデルを使うか) 開発環境 GenU デプロイするための CDKソース コードエディタを起動 SageMaker Studio
22. © NEC Solution Innovators, Ltd. 2025 22 ユースケースビルダーの使い方
23. © NEC Solution Innovators, Ltd. 2025 23 ユースケースの作成 ビルダーモードを オンにする
24. © NEC Solution Innovators, Ltd. 2025 24 ユースケース作ってみる アプリ定義に応じて 動的にプレビュー表示 cdk.jsonで指定した モデルを切り替え可能
25. © NEC Solution Innovators, Ltd. 2025 25 というわけで デモ
26. © NEC Solution Innovators, Ltd. 2025 26 ユースケースができたので レッツ 『スキルパーティ！』 正解はどれか？ なぜ正しいのか、なぜ間違っているのか？ を考えてもらいました (モデルの素性能について検証) お題はこちら、、、
27. © NEC Solution Innovators, Ltd. 2025 27 結果発表！ 正解 Claude 3.5 Sonnet Claude 3 Haiku Nova Pro Nova Lite Nova Micro ChatGPT 4o 1) C A A A A A A 2) D D D D D B D 3) D/E A/D A/D A/D A/D D/E D/E 4) A A B A B A A 5) C C C C C A C 6) D D D D D B D 7) B/D B/C B/D B/C A/D A/C B/C 8) B/D B/C B/E A/B B/D A/B B/D 9) A/D/F A/D/F A/C/D A/C/D C/D/F C/D/F A/D/F 10) B/C C/D C/D B/C C/D C/D B/D 正解率 50% 40% 50% 40% 20% 70% 不正解
28. © NEC Solution Innovators, Ltd. 2025 28 実際の回答内容 5)ある企業が Amazon Elastic Container Service (Amazon ECS) クラスターで新しいウェブサービスを 立ち上げてい ます。クラスターは 100 個の Amazon EC2 インスタンスで構成されています。会社の ポリシーでは、クラスターインスタンスの セキュリティグループが HTTPS (ポート 443) を除くすべての インバウンドトラフィックをブロックすることを義務付けています。 これらの要件を満たすソリューションはどれですか。 A) ユーザーデータスクリプトを使用して、クラスターインスタンスの SSH ポートを 2222 に変更する。 ポート 2222 経由で SSH を使用して各インスタンスにログインする。 B) ユーザーデータスクリプトを使用して、クラスターインスタンスの SSH ポートを 2222 に変更する。 AWS Trusted Advisor を使用して、ポート 2222 経由でクラスターインスタンスをリモート管理する。 C) SSH キーペアなしでクラスターインスタンスを起動する。AWS Systems Manager Run Command を 使用して、 クラスターインスタンスをリモート管理する。 D) SSH キーペアなしでクラスターインスタンスを起動する。AWS Trusted Advisor を使用して、 クラスターインスタンスをリ モートで管理する。
29. © NEC Solution Innovators, Ltd. 2025 29 Claude3.5 Sonnet この問題に対する最適な回答は C です。 選択した理由: C) SSH キーペアなしでクラスターインスタンスを起動する。AWS Systems Manager Run Command を使用して、クラスターインスタンスをリモート管理する。 この選択肢が最適な理由は以下の通りです： 1.セキュリティ要件を満たしています：SSHキーペアなしでインスタンスを起動することで、SSH（通常ポート22）を使用したアクセスを完全に防ぐことができます。 2.AWS Systems Manager Run Commandを使用することで、HTTPSポート443のみを開放したままインスタンスを管理できます。Run CommandはAWS Systems Managerの機能の一つで、SSHを使用せずにインスタンスを安全に管理することができます。 3.会社のポリシーに準拠しています：HTTPS（ポート443）以外のすべてのインバウンドトラフィックをブロックするという要件を満たしています。 エビデンス： •AWS Systems Manager Run Commandの公式ドキュメント： https://docs.aws.amazon.com/systems-manager/latest/userguide/execute-remote-commands.html •AWSセキュリティベストプラクティス（SSHの代替としてのSystems Manager）： https://docs.aws.amazon.com/whitepapers/latest/aws-security-best-practices/use-aws-systems-manager-instead-of-ssh.html 選ばなかった選択肢の理由： A) と B) ユーザーデータスクリプトを使用してSSHポートを変更する方法は、依然としてSSHを使用するため、会社のポリシーに違反します。また、ポート2222を開く必要 があり、HTTPSのみを許可するという要件を満たしません。 D) AWS Trusted Advisorはインスタンスの管理ツールではなく、AWSのベストプラクティスをチェックするためのサービスです。したがって、この選択肢は適切ではあり ません。 エビデンス： •AWS Trusted Advisorの公式ドキュメント： https://aws.amazon.com/trusted-advisor/ 以上の理由から、選択肢Cが最も適切な解答となります。
30. © NEC Solution Innovators, Ltd. 2025 30 Nova Pro これらの要件を満たすソリューションは、C) SSH キーペアなしでクラスターインスタンスを起動する。AWS Systems Manager Run Command を使用して、クラス ターインスタンスをリモート管理する。 です。 選択理由 •C を選択した理由: • AWS Systems Manager の Run Command は、インスタンスに SSH キーペアを必要とせずに、セキュアな方法でリモート管理を行うことができます。また、 HTTPS (ポート 443) のみを許可するセキュリティグループの要件を満たします。 • AWS Systems Manager Run Command のドキュメントによると、Run Command はインスタンスに直接接続せずにコマンドを実行できるため、不要なイ ンバウンドポートを開く必要がありません。 •A と B を選ばなかった理由: • これらのオプションは、SSH ポートを変更することを提案していますが、SSH ポートを開くことでセキュリティグループの要件（HTTPS ポート 443 以外をブ ロックする）に違反します。 • AWS セキュリティグループのベストプラクティスでは、不要なポートを開かないことを推奨しています。 •D を選ばなかった理由: • AWS Trusted Advisor はリソースの最適化やコスト削減のためのアドバイスを提供するサービスであり、インスタンスのリモート管理には使用できません。 • AWS Trusted Advisor のドキュメントによると、Trusted Advisor はリソースの状態を評価するツールであり、直接インスタンスを管理する機能はありませ ん。 以上から、C が最も適切なソリューションです。
31. © NEC Solution Innovators, Ltd. 2025 31 Nova Lite この問題に対して最も適切な選択肢は「C) SSH キーペアなしでクラスターインスタンスを起動する。AWS Systems Manager Run Command を 使用して、クラスターインスタンスをリモート管理する。」です。 以下は選んだ選択肢の説明と選ばなかった選択肢の理由です。 選んだ選択肢：C) SSH キーペアなしでクラスターインスタンスを起動する。AWS Systems Manager Run Command を使用して、クラスターインスタンスをリモート 管理する。 説明： 1.SSH キーペアなしでクラスターインスタンスを起動する：これにより、インスタンスへの直接的な SSH アクセスが不要になります。これにより、セキュリティが強化されます。 2.AWS Systems Manager Run Command を使用：AWS Systems Manager は、インスタンスの管理を簡単にし、リモートコマンドの実行を可能にします。これに より、インスタンスへの直接アクセスを必要とせずに、インスタンスを管理できます。 エビデンス： •AWS Systems Manager のドキュメント: https://docs.aws.amazon.com/systems-manager/latest/userguide/systems-manager-runcmd.html •AWS Systems Manager と Amazon ECS の統合: https://aws.amazon.com/blogs/compute/integrating-amazon-ecs-with-aws-systems- manager/ 選ばなかった選択肢の理由： A) ユーザーデータスクリプトを使用して、クラスターインスタンスの SSH ポートを 2222 に変更する。ポート 2222 経由で SSH を使用して各インスタンスにログインする。 •この選択肢は、セキュリティグループの要件を満たしていません。インスタンスへの直接的な SSH アクセスはポリシーに反します。 B) ユーザーデータスクリプトを使用して、クラスターインスタンスの SSH ポートを 2222 に変更する。AWS Trusted Advisor を使用して、ポート 2222 経由でクラス ターインスタンスをリモート管理する。 •この選択肢も、直接的な SSH アクセスを含んでおり、ポリシーに反します。また、AWS Trusted Advisor はパフォーマンスやセキュリティのアドバイスを提供するツールで あり、インスタンスのリモート管理には適していません。 D) SSH キーペアなしでクラスターインスタンスを起動する。AWS Trusted Advisor を使用して、クラスターインスタンスをリモートで管理する。 •この選択肢も、AWS Trusted Advisor の誤った使用を含んでおり、インスタンスのリモート管理には適していません。 以上が、選んだ選択肢と選ばなかった選択肢の理由です。
32. © NEC Solution Innovators, Ltd. 2025 32 Nova Micro それぞれの選択肢について分析し、最も適切なものを選びます。 問題文の要件は、次のとおりです： 1.クラスターインスタンスのセキュリティグループが HTTPS (ポート 443) を除くすべてのインバウンドトラフィックをブロックする必要があります。 まず、各選択肢の内容を詳しく見てみましょう。 選択肢A ユーザーデータスクリプトを使用して、クラスターインスタンスの SSH ポートを 2222 に変更する。ポート 2222 経由で SSH を使用して各インスタンスにログインする。 この選択肢では、SSHポートを変更し、そのポートを経由してSSHでログインします。セキュリティグループの設定を変更すれば、インバウンドトラフィックを制限できます。したがって、この選 択肢は要件を満たすことができます。 選択肢B ユーザーデータスクリプトを使用して、クラスターインスタンスの SSH ポートを 2222 に変更する。AWS Trusted Advisor を使用して、ポート 2222 経由でクラスターインス タンスをリモート管理する。この選択肢では、SSHポートを変更し、そのポートを経由してAWS Trusted Advisorで管理します。Trusted Advisorはツールであり、直接的にインスタンス を管理するものではありません。したがって、この選択肢は要件を満たすことはできません。 選択肢C SSH キーペアなしでクラスターインスタンスを起動する。AWS Systems Manager Run Command を使用して、クラスターインスタンスをリモート管理する。 この選択肢では、SSHキーペアなしでインスタンスを起動し、Run Commandで管理します。Run CommandはSSMエンドポイントを通じて管理を行いますが、直接的にSSH接続を必要 としません。しかし、セキュリティポリシーに従ってインバウンドトラフィックを制限する必要があります。この選択肢も要件を満たすことができます。 選択肢D SSH キーペアなしでクラスターインスタンスを起動する。AWS Trusted Advisor を使用して、クラスターインスタンスをリモートで管理する。 この選択肢では、SSHキーペアなしでインスタンスを起動し、Trusted Advisorで管理します。Trusted Advisorはインスタンスの管理ではなく、ガバナンスツールです。したがって、この 選択肢は要件を満たすことはできません。 結論 最も適切な選択肢は A または C です。ただし、AはSSH経由でインスタンスを管理するため、セキュリティグループの設定を慎重に行う必要があります。一方、CはSSHではなくSSM を使用しますが、インスタンスのセキュリティポリシーに従ってインバウンドトラフィックを制限する必要があります。 最も適切な選択肢は A または C ですが、ここではAを選びます。理由は、Aは直接的にインスタンスをSSH経由で管理し、インバウンドトラフィックを制限するための明確な手順を提供する ためです。 エビデンス: •Amazon EC2 のセキュリティグループの設定 •Amazon ECS クラスターのセキュリティポリシー •Amazon EC2 のユーザーデータスクリプト これらのリソースを参照して、選択肢の正確性を確認できます。
33. © NEC Solution Innovators, Ltd. 2025 33 まとめ 標準的技術スタック(CDK+React)の採用、セキュリティやRAG拡張も可能 → ビジネスアプリ開発のベースとして利用しやすそう 精度については、現状、既存モデルとさほど大きな優劣はなさそう → 今後出てくるプレミア、新モデルにも期待！ 解説としては十分な結果を得られたものの、精度向上にはRAGを用いたチューニングは必須 → 継続検証 体感的に速い かつ コスパよい → 期待できるところ、採用のしやすさにつながる Nova GenU
34. © NEC Solution Innovators, Ltd. 2025 34