MetahumanSDKを使ったAIアバターを作ったよ

2025.2.15 Unreal Engine Meetup Hiroshima #1

https://ue-hiroshima.connpass.com/event/338042/

Transcript

1. MetahumanSDKを使ったAIアバターを作ったよ 武村達也 2025.2.15 Unreal Engine Meetup Hiroshima #1
2. 自己紹介 武村達也 某ITコンサル会社勤務 非エンジニア （前職は某地方銀行30年） ＠tatsuya1970 ・文系ですが、 趣味でゲームや電子工作を作成 ・ハッカソンに約20回参加 入賞多数 ・趣味は、リツイート
3. Unreal Engineを始めたきっかけ
4. 国土交通省 PLATEAU（プラトー）
5. PLATEAUの広島市紙屋町近辺のデータを フォートナイトへ （島コード 8767-5832-9806） https://youtu.be/QUnpZmurgF0 当日は動画を流しました。 ※動画は右QRコード、 または下URLから
6. 本題
7. 作ったもの AIアバター 当日は動画を流しました。 ※動画は右QRコード、 または下URLから https://youtu.be/xlWKQUQ0rg8
8. 経緯
9. 昔、Unity + Live2Dで自分のアバター作成 当日は動画を流しました。 ※動画は右QRコード、 または下URLから https://youtu.be/6WbgKR_PspA
10. その作成方法を技術ブログ（Qiita)に公開したところ https://qiita.com/tatsuya1970/items/d2d3e460cf310957e2f0
11. お仕事が舞い込んできた（副業） オーダー：案件化前の技術検証 ・フォトリアルな受付AI ・リップシンク ・ウェブで動く
12. Live2D 商用利用はいろいろ大変らしいので却下
13. 生成AI 「HeyGen」 API利用金額が高そうなので却下 当日は動画を流しました。 ※動画は右QRコード、 または下URLから https://youtu.be/yc_FrwIQiJY
14. Character Creator なぜかUnityにアップすると劣化したので却下
15. Blenderの何かのプラグイン 不気味の谷を越えられないので却下
16. AVATAR SDK これも不気味の谷を越えられないので却下
17. Unityのアセット「AVATAR MAKER」 これも不気味の谷を越えられないので却下
18. Unity + WebGL そもそもマイクに対応してないことが判明し 却下 ※当日参加者の方から指摘があり、 もしかしたら、対応するかも。
19. Unreal Engine ＋ Metahuman + WebGL UE５では対応してない UE4にダウングレードするもスタック WebGL はあきらめる
20. Unreal Engine ＋ Metahuman + Pixel Streaming
21. Omniverse Audio2Face （自分のPCのスペックではすぐフリーズ） UE5からPythonを実行 PythonでOpenAIのWhisperAPIを利用 プラグイン：Runtime Speech Recognizer いろいろ試行錯誤するも、うまくいかない
22. Google Speech Kit これでうまく行った！
23. ブループリント
24. できた！！ https://youtu.be/xlWKQUQ0rg8
25. 作成方法はこちら https://note.com/project_design/n/n184e226183c5
26. ありがとうございました