Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
coinsLT#101資料 バーチャルアバターによるAR(ryの進捗
Search
にー兄さん
July 25, 2019
Technology
0
67
coinsLT#101資料 バーチャルアバターによるAR(ryの進捗
情報特別演習Ⅱの進捗報告をcoinsLT#101(
https://atnd.org/events/106745)にて行ったときの資料
にー兄さん
July 25, 2019
Tweet
Share
More Decks by にー兄さん
See All by にー兄さん
XRエンジニアの視点から XRのイマと社会実装の実現について考える / thinking-about-xr-popularization
drumath2237
0
20
軽率にプログラミング言語のシンタックスについて考えてみよう / lets-think-about-programming-lang-syntax
drumath2237
0
64
エンジニアが軽率に趣味から始める、OSS貢献を軸とした個人活動 / oss-contribution-as-a-hoby-project
drumath2237
0
40
Babylon.js 8.0のアプデ情報を 軽率にキャッチアップ / catch-up-babylonjs-8
drumath2237
0
230
フォークギター with VFXの 制作を軽率に振り返ろう! / look back fork guitar with vfx
drumath2237
0
48
軽率に始まった Babylon.js勉強会運営の 1年間をふりかえって / look back babylonjs japan activity
drumath2237
0
76
利己的利他、 あるいは軽率2.0に備えよ。 / prepare-for-keisotsu-2.0
drumath2237
0
61
軽率にAndroidXRのJetpack SceneCoreを使って3Dモデルを表示してみる / androidxr-scenecore-3dmodels
drumath2237
0
150
あなたの知らないWebXR Device APIの話を軽率に / about-webxr-device-api-you-dont-know
drumath2237
0
73
Other Decks in Technology
See All in Technology
Databricks AI/BI Genie の「値ディクショナリー」をAmazonの奥地(S3)まで見に行く
kameitomohiro
1
400
「タコピーの原罪」から学ぶ間違った”支援” / the bad support of Takopii
piyonakajima
0
140
ストレージエンジニアの仕事と、近年の計算機について / 第58回 情報科学若手の会
pfn
PRO
3
690
OCIjp_Oracle AI World_Recap
shinpy
1
170
webpack依存からの脱却!快適フロントエンド開発をViteで実現する #vuefes
bengo4com
3
3.2k
オブザーバビリティが育むシステム理解と好奇心
maruloop
1
800
混合雲環境整合異質工作流程工具運行關鍵業務 Job 的經驗分享
yaosiang
0
170
ViteとTypeScriptのProject Referencesで 大規模モノレポのUIカタログのリリースサイクルを高速化する
shuta13
3
190
デザインとエンジニアリングの架け橋を目指す OPTiMのデザインシステム「nucleus」の軌跡と広げ方
optim
0
100
MCP ✖️ Apps SDKを触ってみた
hisuzuya
0
340
AWS UG Grantでグローバル20名に選出されてre:Inventに行く話と、マルチクラウドセキュリティの教科書を執筆した話 / The Story of Being Selected for the AWS UG Grant to Attending re:Invent, and Writing a Multi-Cloud Security Textbook
yuj1osm
1
130
クラウドとリアルの融合により、製造業はどう変わるのか?〜クラスメソッドの製造業への取組と共に〜
hamadakoji
0
390
Featured
See All Featured
The Art of Programming - Codeland 2020
erikaheidi
56
14k
Learning to Love Humans: Emotional Interface Design
aarron
274
41k
KATA
mclloyd
PRO
32
15k
Build your cross-platform service in a week with App Engine
jlugia
233
18k
Facilitating Awesome Meetings
lara
57
6.6k
Site-Speed That Sticks
csswizardry
13
920
We Have a Design System, Now What?
morganepeng
53
7.8k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
34
2.3k
For a Future-Friendly Web
brad_frost
180
10k
A better future with KSS
kneath
239
18k
Automating Front-end Workflow
addyosmani
1371
200k
Statistics for Hackers
jakevdp
799
220k
Transcript
バーチャルアバターに よるARライブ(ryの進 捗 にー兄さん(@ninisan_drumath) in coinsLT
Agenda 自己紹介 概要など WIP
自己紹介
Who am I ? にー兄さん coins18。 普段はVR/AR、3DCG、Web系などいじる ただのVTuberオタク 情報特別演習Ⅱの演習テーマの紹介とかします!
「バーチャルアバターによるARライブ配 信システムの構築」 概要
演習テーマ: バーチャルアバターによるARライブ配信システムの構築 昨今のVTuberブームから着想を得た バーチャルアバターをまとって、かつ現実に投影できる バーチャルアバターとARの親和性が高いことに注目 ⇒将来的にVTuberならぬATuberとかでてくるんじゃないか...?
動作のイメージ
開発の要件(基本機能) 1. モーションキャプチャデバイスからモーションデータを取得 2. モーションデータのジョイントからアバターのボーンのトランス フォームを計算 3. リアルタイム鯖を介して視聴者クライアントにブロードキャス ト 4.
クライアントでARレンダリング
開発の要件(発展) • 配信者へのコメント、投げ銭、フォロー • 配信者:視聴者=n:nの対応 • 声質変換(ボイチェン)
WIPと今後の展望
関門:Kinectでのモーショントラッキング • IPLAB(ユビ研)からKinect v2借用 • KinectとUnityによって ◦ モーションデータの取得 ◦ ビジュアライズ
◦ リアルタイムデータ送信 • Kinectの文献少なくない...? ⇒サポートが終了してるのでそれはそう
解決の糸口 • 公式ドキュメントを熟読する • Twitterで助けを求める ⇒MSのQAサイトで興味深い文献を発見できた • 自分でビジュアライザを作る
自作ビジュアライザ
関門:KinectのJointデータをVRMのボーンに適用 • 取得したJointデータと反映するボーンデータは違う • 自分の環境だと、JointType.LeftShoulderが右肩のデータを返す謎 挙動 • 対応表などは有志で開発している人のGitHubがあった ↑の挙動やローカル回転の実装方法の違いにより破綻 •
自作の対応表が必要だ ⇒作った
とりあえず辞書を定義した
気づいたらビジュアライザがLiveHostに化 けていた 1. アバターボーンの適用結果を反 映 2. さらにソケット通信まで実装した (もうビジュアライザではない)
関門:腕がプルプルする(は?) • リアルタイムでモーションデータを適用する ⇒腕がスライムみたいになった • 先生「プルプルしてるねぇ」 自分「プルプルしてますねぇ」 ⇒先生からの提案でフィルターとIKの開発を始める • いまここ
HumanoidのBoneに対応するIKを作成中
関門:リアルタイム通信 • クライアントにブロードキャストするSocket鯖を立てた • 辞書を作っておいたので割と楽に実装できた • なんかラグい…?→改善の余地あり
関門:AR対応 • まぁすぐできるやろ→今日の3限で爆死 • ARCoreのアップデートで実装(正確にはプレファブの対応関係)の 仕様が違った • コード読み直して今週末には実装完了を目指す
結論: 関門いっぱい!でも楽しい! ()
ご清聴ありがとうございまし た!