Slide 1

Slide 1 text

MetahumanSDKを使ったAIアバターを作ったよ 武村達也 2025.2.15 Unreal Engine Meetup Hiroshima #1

Slide 2

Slide 2 text

自己紹介 武村達也 某ITコンサル会社勤務 非エンジニア (前職は某地方銀行30年) @tatsuya1970 ・文系ですが、 趣味でゲームや電子工作を作成 ・ハッカソンに約20回参加 入賞多数 ・趣味は、リツイート

Slide 3

Slide 3 text

Unreal Engineを始めたきっかけ

Slide 4

Slide 4 text

国土交通省 PLATEAU(プラトー)

Slide 5

Slide 5 text

PLATEAUの広島市紙屋町近辺のデータを フォートナイトへ (島コード 8767-5832-9806) https://youtu.be/QUnpZmurgF0 当日は動画を流しました。 ※動画は右QRコード、 または下URLから

Slide 6

Slide 6 text

本題

Slide 7

Slide 7 text

作ったもの AIアバター 当日は動画を流しました。 ※動画は右QRコード、 または下URLから https://youtu.be/xlWKQUQ0rg8

Slide 8

Slide 8 text

経緯

Slide 9

Slide 9 text

昔、Unity + Live2Dで自分のアバター作成 当日は動画を流しました。 ※動画は右QRコード、 または下URLから https://youtu.be/6WbgKR_PspA

Slide 10

Slide 10 text

その作成方法を技術ブログ(Qiita)に公開したところ https://qiita.com/tatsuya1970/items/d2d3e460cf310957e2f0

Slide 11

Slide 11 text

お仕事が舞い込んできた(副業) オーダー:案件化前の技術検証 ・フォトリアルな受付AI ・リップシンク ・ウェブで動く

Slide 12

Slide 12 text

Live2D 商用利用はいろいろ大変らしいので却下

Slide 13

Slide 13 text

生成AI 「HeyGen」 API利用金額が高そうなので却下 当日は動画を流しました。 ※動画は右QRコード、 または下URLから https://youtu.be/yc_FrwIQiJY

Slide 14

Slide 14 text

Character Creator なぜかUnityにアップすると劣化したので却下

Slide 15

Slide 15 text

Blenderの何かのプラグイン 不気味の谷を越えられないので却下

Slide 16

Slide 16 text

AVATAR SDK これも不気味の谷を越えられないので却下

Slide 17

Slide 17 text

Unityのアセット「AVATAR MAKER」 これも不気味の谷を越えられないので却下

Slide 18

Slide 18 text

Unity + WebGL そもそもマイクに対応してないことが判明し 却下 ※当日参加者の方から指摘があり、 もしかしたら、対応するかも。

Slide 19

Slide 19 text

Unreal Engine + Metahuman + WebGL UE5では対応してない UE4にダウングレードするもスタック WebGL はあきらめる

Slide 20

Slide 20 text

Unreal Engine + Metahuman + Pixel Streaming

Slide 21

Slide 21 text

Omniverse Audio2Face (自分のPCのスペックではすぐフリーズ) UE5からPythonを実行 PythonでOpenAIのWhisperAPIを利用 プラグイン:Runtime Speech Recognizer いろいろ試行錯誤するも、うまくいかない

Slide 22

Slide 22 text

Google Speech Kit これでうまく行った!

Slide 23

Slide 23 text

ブループリント

Slide 24

Slide 24 text

できた!! https://youtu.be/xlWKQUQ0rg8

Slide 25

Slide 25 text

作成方法はこちら https://note.com/project_design/n/n184e226183c5

Slide 26

Slide 26 text

ありがとうございました