AITuberKit+Bedrock AgentCoreで作る 3Dキャラクターエージェント

Transcript

1. AITuberKit+Bedrock AgentCoreで作る 3Dキャラクターエージェント 2026/2/19
2. Profile 名前： Naoki Yokomachi / 横町 直樹 好きなAWSサービス： AWS Lambda Twitter： yoko／@_cityside 好きなコーディングエージェント： Claude Code
3. Agenda デモ 全体構成 フロントエンド エージェント・バックエンド まとめ
4. 香水店員エージェン ト 「Scense i（センセ イ ） 」 = Scent（香り）＋Sensei （先生） デモ デモ
5. できること できること ・ V R M モ デ ル の 表 示 ・ 表 情 ／ モ ー シ ョ ン の 再 生 ・ お す す め 香 水 の 提 案 ・ 会 話 履 歴 の 参 照 ・ ユ ー ザ ー の 好 み や 購 入 履 歴 の 参 照 ・ D B を 香 水 の 使 用 感 を 実 体 験 と し て 参 照 　 ( D B は 管 理 者 の み )
6. デモ デモ 画 面 は 開 発 中 の も の で す レ ス ポ ン ス 重 視 で モ デ ル を C la u d e H a i k u 4 . 5 に し て い る の で 多 少 の 回 答 の 荒 さ は 目 を 瞑 っ て い た だ け れ ば ・ ・ ・
7. 構成 構成 全般 全般
8. 構成 構成 全般 全般
9. AITuber Ki t https://github.com/tegnike/aituber-kit （すぐに試せるデモは「AITuberKit」で検索） VRMモデルの表示 VRMモデルの表示 フロントエンド フロントエンド
10. AITuber Ki t https://github.com/tegnike/aituber-kit （すぐに試せるデモは「AITuberKit」で検索） ・ A I キ ャ ラ ク タ ー チ ャ ッ ト ボ ッ ト ツ ー ル キ ッ ト ・ N e x t . j s 製 ・ L i v e 2 D ／ V R M を サ ポ ー ト ・ T T S （ 合 成 音 声 ） ・ Y o u t u b e 配 信 や ス ラ イ ド 発 表 な ど の 拡 張 機 能 も VRMモデルの表示 VRMモデルの表示 フロントエンド フロントエンド
11. VRMモデルの表示 VRMモデルの表示 モデル作成 ・ V R o i d S t u d i o ・ 無 料 で も 標 準 パ ー ツ を 選 ぶ だ け で 完 成 （ 2 体 で 1 時 間 弱 ） フロントエンド フロントエンド
12. モーションの作成 @ p i x i v / t h r e e - v r m を 使 用 し T y p e S c r i p t で モ ー シ ョ ン な ど の 制 御 を 記 述 表情・モーションの再生 表情・モーションの再生 フロントエンド フロントエンド
13. 表情・モーションの再生 表情・モーションの再生 モーションの再生 A I T u b e r K i t ・ L L M の 応 答 に 表 情 タ グ を 含 ま せ て ト リ ガ ー に ・ [ h a p p y ] な ら 笑 顔 、 [ s a d ] な ら 悲 し そ う に 　 ↓ 応 用 し て モ ー シ ョ ン タ グ を 返 す よ う に 調 整 ・ [ b o w ] な ら お 辞 儀 、 [ p r e s e n t] な ら 提 案 ポ ー ズ ・ 「 [ h a p p y ] [ b o w ] い ら っ し ゃ い ま せ ！ 　 本 日 は ど の よ う な 香 り を お 探 し で す か ？ 」 　 　 → 笑 顔 で お 辞 儀 し な が ら 挨 拶 フロントエンド フロントエンド
14. おすすめ香水の提案 おすすめ香水の提案 Strands A gen ts + B edr ock Ag en t C or e シ ス テ ム プ ロ ン プ ト で 標 準 的 な エ ー ジ ェ ン ト を 実 装 ・ 香 水 店 員 と し て の キ ャ ラ 付 け ・ 表 情 ／ モ ー シ ョ ン タ グ の 指 定 ・ M a r k d o w n 系 の 記 法 禁 止 ・ 使 用 可 能 な ツ ー ル の 説 明 エージェント・バックエンド エージェント・バックエンド
15. 会話履歴の参照 会話履歴の参照 Bedrock Age ntC ore Memo ry （ ST M） エージェント・バックエンド エージェント・バックエンド
16. ユーザーの情報の参照 ユーザーの情報の参照 Bedrock Age ntC ore Memo ry （ L TM） エージェント・バックエンド エージェント・バックエンド
17. DBを香水の使用感を実体験として参照 DBを香水の使用感を実体験として参照 DynamoDB で香水 デ ータを 管 理 エージェント・バックエンド エージェント・バックエンド D y n a m o D B L a m b d a
18. DBを香水の使用感を実体験として参照 DBを香水の使用感を実体験として参照 Bedrock Age ntC ore G at eway で Lambdaを呼び出して Dy n amoDBに ク エリ エージェント・バックエンド エージェント・バックエンド D y n a m o D B L a m b d a A g e n t C o r e G a t e w a y
19. 認証まわり 認証まわり フロントエンド→AgentCore Runtime 　 ・M2M（Cogni to） 　・ユーザー単位ではなく接続元のアプリケーションが正しいことを確認する認証 Agent→AgentCore Gateway 　 ・I AMロール 　・AgentCore Runti meにアタッチされたI AMロールを使用 フロントエンド→API Gateway 　 ・M2M（Cogni to+Lambda Authori zer） 　・認証リソースを増やしたくないので、 　　AgentCore Runti meへの認証で使用するM2Mトークンに相乗りする形で認証 インフラ インフラ
20. 今後の機能追加予定 今後の機能追加予定 1 . W e b 検 索 ツ ー ル の 追 加 a . AgentCore組み込みのTavil yツールを使用予定 b . AgentCore Identity, Gatewayを使用 2 . 音 声 チ ャ ッ ト a . TTS（Text to Speech） b . STT（Speech to Text）←こちらの経験があんまりない 3 . 自 然 言 語 に よ る 香 水 情 報 登 録 a . チャットの内容から勝手に登録してもらう b . AgentCore CodeInterpreterが使える？ 4 . パ フ ォ ー マ ン ス の ト レ ー ス a . 使用トークン数などLLMOps的観点が自分にない b . AgentCore Observabil ityを使用 全般 全般
21. Thank you !!