MetahumanSDKを使ったAIアバターを作ったよ

Slide 1

Slide 1 text

MetahumanSDKを使ったAIアバターを作ったよ武村達也 2025.2.15 Unreal Engine Meetup Hiroshima #1

Slide 2

Slide 2 text

自己紹介武村達也某ITコンサル会社勤務非エンジニア（前職は某地方銀行30年）＠tatsuya1970 ・文系ですが、趣味でゲームや電子工作を作成・ハッカソンに約20回参加入賞多数・趣味は、リツイート

Slide 3

Slide 3 text

Unreal Engineを始めたきっかけ

Slide 4

Slide 4 text

国土交通省 PLATEAU（プラトー）

Slide 5

Slide 5 text

PLATEAUの広島市紙屋町近辺のデータをフォートナイトへ（島コード 8767-5832-9806） https://youtu.be/QUnpZmurgF0 当日は動画を流しました。 ※動画は右QRコード、または下URLから

Slide 6

Slide 6 text

本題

Slide 7

Slide 7 text

作ったもの AIアバター当日は動画を流しました。 ※動画は右QRコード、または下URLから https://youtu.be/xlWKQUQ0rg8

Slide 8

Slide 8 text

経緯

Slide 9

Slide 9 text

昔、Unity + Live2Dで自分のアバター作成当日は動画を流しました。 ※動画は右QRコード、または下URLから https://youtu.be/6WbgKR_PspA

Slide 10

Slide 10 text

その作成方法を技術ブログ（Qiita)に公開したところ https://qiita.com/tatsuya1970/items/d2d3e460cf310957e2f0

Slide 11

Slide 11 text

お仕事が舞い込んできた（副業）オーダー：案件化前の技術検証・フォトリアルな受付AI ・リップシンク・ウェブで動く

Slide 12

Slide 12 text

Live2D 商用利用はいろいろ大変らしいので却下

Slide 13

Slide 13 text

生成AI 「HeyGen」 API利用金額が高そうなので却下当日は動画を流しました。 ※動画は右QRコード、または下URLから https://youtu.be/yc_FrwIQiJY

Slide 14

Slide 14 text

Character Creator なぜかUnityにアップすると劣化したので却下

Slide 15

Slide 15 text

Blenderの何かのプラグイン不気味の谷を越えられないので却下

Slide 16

Slide 16 text

AVATAR SDK これも不気味の谷を越えられないので却下

Slide 17

Slide 17 text

Unityのアセット「AVATAR MAKER」これも不気味の谷を越えられないので却下

Slide 18

Slide 18 text

Unity + WebGL そもそもマイクに対応してないことが判明し却下 ※当日参加者の方から指摘があり、もしかしたら、対応するかも。

Slide 19

Slide 19 text

Unreal Engine ＋ Metahuman + WebGL UE５では対応してない UE4にダウングレードするもスタック WebGL はあきらめる

Slide 20

Slide 20 text

Unreal Engine ＋ Metahuman + Pixel Streaming

Slide 21

Slide 21 text

Omniverse Audio2Face （自分のPCのスペックではすぐフリーズ） UE5からPythonを実行 PythonでOpenAIのWhisperAPIを利用プラグイン：Runtime Speech Recognizer いろいろ試行錯誤するも、うまくいかない