Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
coinsLT#101資料 バーチャルアバターによるAR(ryの進捗
Search
にー兄さん
July 25, 2019
Technology
0
56
coinsLT#101資料 バーチャルアバターによるAR(ryの進捗
情報特別演習Ⅱの進捗報告をcoinsLT#101(
https://atnd.org/events/106745)にて行ったときの資料
にー兄さん
July 25, 2019
Tweet
Share
More Decks by にー兄さん
See All by にー兄さん
UnJSを使って軽率にCLIを作ってみたらめちゃくちゃ便利だった / create CLI with UnJS
drumath2237
0
30
create-babylon-appを軽率にアプデしたい / update create babylon app
drumath2237
1
14
Babylon.js 7注目機能を 軽率にまとめてみる/whats-new-in-babylonjs-v7
drumath2237
1
100
軽率にVFX Graphと Compute Shaderを 組み合わせるテクニック/integrate-vfxgraph-and-compute-shader
drumath2237
1
120
軽率にVue 3で リアルタイム3Dアプリを作れる ライブラリを作ってみた/vue-with-3d-app
drumath2237
3
1.6k
軽率にBabylon.jsを C#で使う技術 / using-babylonjs-with-csharp
drumath2237
1
510
今こそ軽率に理解したい WebXR Device APIとBabylon.jsの話 / understand-webxr-device-api-and-babylonjs
drumath2237
0
60
Vue・Babylon連携ライブラリ BabyuewJSについて / about-babyuewjs
drumath2237
0
120
軽率にBabylon.jsの WebGPUエンジンを使って ComputeShaderに入門した / learn-about-babylonjs-webgpu-computeshader
drumath2237
0
490
Other Decks in Technology
See All in Technology
ここがすごいよ! AWS Systems Manager!
saichan11
0
1.8k
Azure AI ことはじめ
tsubakimoto_s
0
130
[NIKKEI Tech Talk] KDDI/KAG Scrum & Community for Engineering Training
curanosuke
2
220
AI研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
130
年間一億円削減した時系列データベースのアーキテクチャ改善~不確実性の高いプロジェクトへの挑戦~
lycorptech_jp
PRO
3
2.9k
AWSでRAGを作る法方
sonoda_mj
1
140
E2Eテスト自動化プラットフォームにおけるAIの活用
shift_evolve
0
180
シフトレフトで挑む セキュリティの生産性向上
sekido
PRO
0
270
サービスの持続的な成長と技術負債について
siva_official
PRO
10
4.4k
VPoEの視点から見た、ヘンリーがサーバーサイドKotlinを使う理由 / Why Server-side Kotlin 2024
cho0o0
1
420
推薦システムを本番導入する上で一番優先すべきだったこと~NewsPicks記事推薦機能の改善事例を元に~
morinota
0
120
JBUG岡山 #6 WordCamp男木島の チームビルディング
takeshifurusato
0
150
Featured
See All Featured
What the flash - Photography Introduction
edds
65
11k
A Modern Web Designer's Workflow
chriscoyier
689
190k
Robots, Beer and Maslow
schacon
PRO
157
8.1k
The Brand Is Dead. Long Live the Brand.
mthomps
52
36k
Thoughts on Productivity
jonyablonski
64
4.1k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
24
1.8k
5 minutes of I Can Smell Your CMS
philhawksworth
200
19k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.4k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
17
1.5k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.3k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
20
7.2k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
78
15k
Transcript
バーチャルアバターに よるARライブ(ryの進 捗 にー兄さん(@ninisan_drumath) in coinsLT
Agenda 自己紹介 概要など WIP
自己紹介
Who am I ? にー兄さん coins18。 普段はVR/AR、3DCG、Web系などいじる ただのVTuberオタク 情報特別演習Ⅱの演習テーマの紹介とかします!
「バーチャルアバターによるARライブ配 信システムの構築」 概要
演習テーマ: バーチャルアバターによるARライブ配信システムの構築 昨今のVTuberブームから着想を得た バーチャルアバターをまとって、かつ現実に投影できる バーチャルアバターとARの親和性が高いことに注目 ⇒将来的にVTuberならぬATuberとかでてくるんじゃないか...?
動作のイメージ
開発の要件(基本機能) 1. モーションキャプチャデバイスからモーションデータを取得 2. モーションデータのジョイントからアバターのボーンのトランス フォームを計算 3. リアルタイム鯖を介して視聴者クライアントにブロードキャス ト 4.
クライアントでARレンダリング
開発の要件(発展) • 配信者へのコメント、投げ銭、フォロー • 配信者:視聴者=n:nの対応 • 声質変換(ボイチェン)
WIPと今後の展望
関門:Kinectでのモーショントラッキング • IPLAB(ユビ研)からKinect v2借用 • KinectとUnityによって ◦ モーションデータの取得 ◦ ビジュアライズ
◦ リアルタイムデータ送信 • Kinectの文献少なくない...? ⇒サポートが終了してるのでそれはそう
解決の糸口 • 公式ドキュメントを熟読する • Twitterで助けを求める ⇒MSのQAサイトで興味深い文献を発見できた • 自分でビジュアライザを作る
自作ビジュアライザ
関門:KinectのJointデータをVRMのボーンに適用 • 取得したJointデータと反映するボーンデータは違う • 自分の環境だと、JointType.LeftShoulderが右肩のデータを返す謎 挙動 • 対応表などは有志で開発している人のGitHubがあった ↑の挙動やローカル回転の実装方法の違いにより破綻 •
自作の対応表が必要だ ⇒作った
とりあえず辞書を定義した
気づいたらビジュアライザがLiveHostに化 けていた 1. アバターボーンの適用結果を反 映 2. さらにソケット通信まで実装した (もうビジュアライザではない)
関門:腕がプルプルする(は?) • リアルタイムでモーションデータを適用する ⇒腕がスライムみたいになった • 先生「プルプルしてるねぇ」 自分「プルプルしてますねぇ」 ⇒先生からの提案でフィルターとIKの開発を始める • いまここ
HumanoidのBoneに対応するIKを作成中
関門:リアルタイム通信 • クライアントにブロードキャストするSocket鯖を立てた • 辞書を作っておいたので割と楽に実装できた • なんかラグい…?→改善の余地あり
関門:AR対応 • まぁすぐできるやろ→今日の3限で爆死 • ARCoreのアップデートで実装(正確にはプレファブの対応関係)の 仕様が違った • コード読み直して今週末には実装完了を目指す
結論: 関門いっぱい!でも楽しい! ()
ご清聴ありがとうございまし た!