夏の自由研究 virtual try onを使ってみた

【AWS】AWS10分LT会 - vol.6にて登壇した際の登壇資料です
https://aws-likers.connpass.com/event/363359/

Transcript

1. 夏の自由研究 virtual try onを使ってみた
2. 目次 • 初めに • 自己紹介 • Virtual try-onとは • Virtual try-onを使用するまでの登場人物 ◦ Amazon Bedrock編 ◦ Amazon Nova編 ◦ Amazon Nova Canvas Virtual try-on 編 • Virtual try-onを使用して感じたこと ◦ 活用方法を考えてみた
3. 初めに
4. こんな経験はありますでしょうか • AWSの新しいアップデートを見て ◦ そもそもどんなアップデート・機能なのかわからない ◦ 試してみたい！けどどこでどうやったら試すことが出来るのか分からない ◦ そもそも使用するまでにどんな前提条件があるのか ▪ 権限が必要？ ▪ 何か事前に設定が必要？？
5. 今回感じたこと 公式情報によると、下記の流れで使用が出来るとのことでした まず、通常の方法で Nova Canvas モデルにアクセスできることを確認します。Amazon Bedrock コンソールで [モデルアクセス] を選択し、アカウントの Amazon Nova Canvas を有 効にして、ワークロードに適したリージョンを選択していることを確認します。モデルアクセスの 有効化方法については、ブログ「Amazon Bedrock のモデルアクセスの有効化や制限値の引 き上げができない時の対応方法」をご覧ください。すでに Nova Canvas にアクセスして使用し ている場合は、新機能が自動的に利用可能になるので、すぐに使い始めることができます。
6. 今回感じたこと Bedrockのコンソールにアクセスすると現在このような画面でした →どこから何を設定するのか、なんか機能がめちゃ増えてない！？
7. 今回のLTで話していく内容 • 今回のLTでは下記の内容を話していこうと思います ◦ Virtual try-onを使うまでの前提条件 ◦ Virtual try-onを実際に使用してみた ◦ Virtual try-onを使用してみて感じたこと
8. 自己紹介 名前: しろみ(siromiascode08) ロール: インフラエンジニア 好きなサービス CloudWatch Step Function 最近思うこと: 生成AI関連のアップデートが盛りだくさん
9. Virtual try-onとは • ざっくりと解説 ◦ 仮想の着せ替えが出来る機能 ◦ 一般公開されたのは、今年の 7月2日！ ▪ https://aws.amazon.com/jp/blogs/news/amazon-nova-canvas-update-virtual-try-on-and-style-opti ons-now-available/
10. Virtual try-onとは • 具体的には下記の機能となります ◦ Amazon Bedrockで使用ができる ◦ Amazon Nova Canvasというモデルの拡張機能
11. ここからは使うまでの登場人物を紹介していきます
12. Amazon Bedrock編 • ざっくりと解説 ◦ AWS上で様々な基盤モデル (FM)を使用することが出来るサービス ◦ 発表があったのは2023年 4月に開催されたAWS Summit Tokyo 2023 ▪ 当時は会場がとても盛り上がっていたのを覚えております ▪ なぜ盛り上がっていたのかを考えてみたところ • 前年 2022年にChatGPTが発表されたからなのかなと感じております
13. Amazon Bedrock編 • そもそも基盤モデルとは ◦ 様々な用途に対応するために教育を受けたプログラム ◦ ChatGPTが提供しているものだと GPT ◦ Amazon も提供しております ▪ 色々な基盤モデルがありますが、今回の場合だと Amazon Novaが該当します • リージョン単位のサービス ◦ リージョンごとに使用できる基盤モデルの数が異なります ◦ 東京リージョンでも10個ほど使用が出来ます • 基盤モデルの使い方 ◦ Amazon BedRock上で使いたい基盤モデルを有効化することで使用が出来ます
14. Amazon Nova編 • ざっくりと解説 ◦ Amazonが提供している基盤モデル ◦ 発表されたのはre:invent 2024！ ▪ re:inventに参加した方からの Novaについての、当時はよく出てきていたのを覚えております ◦ 得意とすること(モデリング)ごとにいくつか種類があります ▪ テキスト処理のみのシンプルなモデル Nova Micro ▪ 画像生成処理が得意な Nova Canvas ▪ 動画作成が得意な Nova Reel
15. Amazon Nova Canvas Virtual try-on 編 • 前のスライドで記載したザックリ解説 ◦ Nova Canvas が提供する拡張機能 ◦ 仮想上での着せ替えが出来るとのこと ◦ 着せ替え以外にも家具なども対象にできるようです ▪ 某動物がいる集落みたいなゲームの感じがして面白そう ◦ 発表があったのが7月前半頃 ▪ 当時は、全冠の記念品の金ジャケを着せている人がたくさんいらっしゃったみたいです ◦ AWS以外でもこの機能がある ▪ 最近ではGoogleでもこの機能が出たらしいです
16. 使用するまでの流れ • 下記の流れになると考えました • Amazon Bedrockのコンソールにアクセス • Amazon bedrockからNova Canvasを使用する ◦ 使用できるようになっていない場合は、使用できるようにアクセス申請をする • Nova Canvasの拡張機能のvirtual try onを使用する
17. Virtual try-onを使用してみる • 前提条件から満たしていきます ◦ まずはNova Canvasを使用できるようにしたい ◦ なので「モデルアクセス」をクリック
18. Virtual try-onを使用してみる • モデルの有効化 ◦ すべてのモデルを一括有効化することもできます ◦ 今回はNova Canvasのみ有効化します
19. Virtual try-onを使用してみる • 選択したモデルを利用できるようにする • 送信をクリックする ◦ このモデルを使用したいです！といったリクエストを AWSに送信するようなイメージです
20. Virtual try-onを使用してみる • 使用できるモデルを再度確認する • 「アクセスが付与されました」と出ていると使用が出来る
21. Virtual try-onを使用してみる • 画面の解説 ◦ モデルプロバイダー : 基盤モデルの提供元 (Nova CanvasだとAmazon) ◦ モデル: 現在使用できるモデル ◦ 推論: どういった処理をしていくか
22. Virtual try-onを使用してみる • 画面の解説 • モデルを使用する方法の一つにplay groundがあります • テキスト形式と画像、映像形式で使用するplay groudが異なります • play groundは遊び場という意味のようです ◦ 使用したいモデルを試す遊び場のようなイメージなのかなぁと解釈しました
23. Virtual try-onを使用してみる • 画面の解説 • Base image: 着せ替える対象を選択する • Garmanent image: 着せたい服を選択する
24. Virtual try-onを使用してみる 色々な事情でお見せすることが出来ない状態となりました 申し訳ございません。
25. Virtual try-onを使用して感じたこと • 新しい機能ということで下記の観点で活用例を考えてみました ◦ ECサイトや商品取り扱いページの広告を展示してみる ◦ 展示するための商品画像を作成、展示する
26. Virtual try-onを使用して感じたこと • 下記の流れを考えてみました ◦ モデルさんに依頼を出す ◦ 依頼の承諾を得たら、モデルさんに商品を着てもらう ◦ 着てもらったところを撮影 ◦ ECサイトや商品ページに乗せる
27. Virtual try-onを使用して感じたこと • 下記の悩みがあるのではと感じました ◦ モデルさんに依頼を出してから承諾を得るまでに時間がかかりそう ◦ 依頼料などの費用が発生しそう ◦ お金や時間の関係がビジネスに影響していきそう
28. Virtual try-onを使用して感じたこと • そんな時に下記の事が出来たらビジネスを加速につながるのではと感じました ◦ モデルさんを生成AIの力を借りて作成する ◦ 作成したモデルさんに自社製品を着てもらう ◦ virtual try-onを使って作成した画像を自社の広告に使用する
29. Virtual try-onを使用して感じたこと • ただ、下記ってどうやって作成・解決したらいいのかとも感じました • 衣服の場合 ◦ 特定の人向けの衣服専門店の場合 ◦ 最近筋トレを始めました ▪ 例えばマッチョ向けの衣服専門店の場合 ◦ その特定の人(マッチョ)というのを生成AIで忠実に再現するのはどうしたらいいのか
30. Virtual try-onを使用して感じたこと • Virtual try-onに限らずですが • 人間が生成AIに対してできることというところで下記が出来るのかなと感じました ◦ より良い成果物を出すために ▪ リアルな人間を知っているから、生成するためのプロンプトを落とし込める ▪ 商品やキャンペーン等の需要を知っているから成果物をコントロールできる • 生成AIが取り巻く世界で ◦ 生成AIが得意なこともどんどん増えていますが ◦ 人間だからこそ出来ること、分野って意外とあるのかなと感じました
31. 最後に • 日々新しいアップデートが出てきております • そんな中で下記の事を感じました ◦ アップデートは既にあるサービス・基礎という土台に発展されている ▪ 触ってみるのは怖いけど、触るというきっかけで基礎を学ぶこともできる ◦ 何かを学ぶとき、迷ったら下記の事を調べていくといい学びつながる (気がしました) ▪ 前提条件 • 使用するために必要な条件って何と気になる人はいる ▪ そもそも解説 • そのサービスってどんなの？時になる人もいる ▪ 料金 • どれくらい料金がかかるか気になる人がいる (実務で導入する場合は特に) ▪ 活用例 • どういった活用が出来るか、この環境で刺さることは何かを知りたい人もいる ◦ コミュニティとアップデートについて ◦ 触ってみた感想をアップデートで学ぶことで ▪ フィードバックから新たな学びが得られる ▪ コミュニティと何かをしてみた系の話は親和性が高いと感じました
32. ご清聴ありがとうございました ※こちらのイラストとスライドの背景は GPT-4oに描いていただきました