Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
coinsLT#101資料 バーチャルアバターによるAR(ryの進捗
Search
にー兄さん
July 25, 2019
Technology
0
67
coinsLT#101資料 バーチャルアバターによるAR(ryの進捗
情報特別演習Ⅱの進捗報告をcoinsLT#101(
https://atnd.org/events/106745)にて行ったときの資料
にー兄さん
July 25, 2019
Tweet
Share
More Decks by にー兄さん
See All by にー兄さん
XRエンジニアの視点から XRのイマと社会実装の実現について考える / thinking-about-xr-popularization
drumath2237
0
6
軽率にプログラミング言語のシンタックスについて考えてみよう / lets-think-about-programming-lang-syntax
drumath2237
0
56
エンジニアが軽率に趣味から始める、OSS貢献を軸とした個人活動 / oss-contribution-as-a-hoby-project
drumath2237
0
36
Babylon.js 8.0のアプデ情報を 軽率にキャッチアップ / catch-up-babylonjs-8
drumath2237
0
200
フォークギター with VFXの 制作を軽率に振り返ろう! / look back fork guitar with vfx
drumath2237
0
41
軽率に始まった Babylon.js勉強会運営の 1年間をふりかえって / look back babylonjs japan activity
drumath2237
0
68
利己的利他、 あるいは軽率2.0に備えよ。 / prepare-for-keisotsu-2.0
drumath2237
0
55
軽率にAndroidXRのJetpack SceneCoreを使って3Dモデルを表示してみる / androidxr-scenecore-3dmodels
drumath2237
0
130
あなたの知らないWebXR Device APIの話を軽率に / about-webxr-device-api-you-dont-know
drumath2237
0
59
Other Decks in Technology
See All in Technology
20250910_障害注入から効率的復旧へ_カオスエンジニアリング_生成AIで考えるAWS障害対応.pdf
sh_fk2
3
270
2つのフロントエンドと状態管理
mixi_engineers
PRO
3
120
Claude Code でアプリ開発をオートパイロットにするためのTips集 Zennの場合 / Claude Code Tips in Zenn
wadayusuke
5
760
共有と分離 - Compose Multiplatform "本番導入" の設計指針
error96num
2
1.1k
未経験者・初心者に贈る!40分でわかるAndroidアプリ開発の今と大事なポイント
operando
5
750
AIエージェント開発用SDKとローカルLLMをLINE Botと組み合わせてみた / LINEを使ったLT大会 #14
you
PRO
0
130
株式会社ログラス - 会社説明資料【エンジニア】/ Loglass Engineer
loglass2019
4
65k
Apache Spark もくもく会
taka_aki
0
130
DroidKaigi 2025 Androidエンジニアとしてのキャリア
mhidaka
2
380
新規プロダクトでプロトタイプから正式リリースまでNext.jsで開発したリアル
kawanoriku0
1
190
自作JSエンジンに推しプロポーザルを実装したい!
sajikix
1
190
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
8.8k
Featured
See All Featured
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
530
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.1k
The Language of Interfaces
destraynor
161
25k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Docker and Python
trallard
46
3.6k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
31
2.2k
[RailsConf 2023] Rails as a piece of cake
palkan
57
5.8k
RailsConf 2023
tenderlove
30
1.2k
A better future with KSS
kneath
239
17k
Transcript
バーチャルアバターに よるARライブ(ryの進 捗 にー兄さん(@ninisan_drumath) in coinsLT
Agenda 自己紹介 概要など WIP
自己紹介
Who am I ? にー兄さん coins18。 普段はVR/AR、3DCG、Web系などいじる ただのVTuberオタク 情報特別演習Ⅱの演習テーマの紹介とかします!
「バーチャルアバターによるARライブ配 信システムの構築」 概要
演習テーマ: バーチャルアバターによるARライブ配信システムの構築 昨今のVTuberブームから着想を得た バーチャルアバターをまとって、かつ現実に投影できる バーチャルアバターとARの親和性が高いことに注目 ⇒将来的にVTuberならぬATuberとかでてくるんじゃないか...?
動作のイメージ
開発の要件(基本機能) 1. モーションキャプチャデバイスからモーションデータを取得 2. モーションデータのジョイントからアバターのボーンのトランス フォームを計算 3. リアルタイム鯖を介して視聴者クライアントにブロードキャス ト 4.
クライアントでARレンダリング
開発の要件(発展) • 配信者へのコメント、投げ銭、フォロー • 配信者:視聴者=n:nの対応 • 声質変換(ボイチェン)
WIPと今後の展望
関門:Kinectでのモーショントラッキング • IPLAB(ユビ研)からKinect v2借用 • KinectとUnityによって ◦ モーションデータの取得 ◦ ビジュアライズ
◦ リアルタイムデータ送信 • Kinectの文献少なくない...? ⇒サポートが終了してるのでそれはそう
解決の糸口 • 公式ドキュメントを熟読する • Twitterで助けを求める ⇒MSのQAサイトで興味深い文献を発見できた • 自分でビジュアライザを作る
自作ビジュアライザ
関門:KinectのJointデータをVRMのボーンに適用 • 取得したJointデータと反映するボーンデータは違う • 自分の環境だと、JointType.LeftShoulderが右肩のデータを返す謎 挙動 • 対応表などは有志で開発している人のGitHubがあった ↑の挙動やローカル回転の実装方法の違いにより破綻 •
自作の対応表が必要だ ⇒作った
とりあえず辞書を定義した
気づいたらビジュアライザがLiveHostに化 けていた 1. アバターボーンの適用結果を反 映 2. さらにソケット通信まで実装した (もうビジュアライザではない)
関門:腕がプルプルする(は?) • リアルタイムでモーションデータを適用する ⇒腕がスライムみたいになった • 先生「プルプルしてるねぇ」 自分「プルプルしてますねぇ」 ⇒先生からの提案でフィルターとIKの開発を始める • いまここ
HumanoidのBoneに対応するIKを作成中
関門:リアルタイム通信 • クライアントにブロードキャストするSocket鯖を立てた • 辞書を作っておいたので割と楽に実装できた • なんかラグい…?→改善の余地あり
関門:AR対応 • まぁすぐできるやろ→今日の3限で爆死 • ARCoreのアップデートで実装(正確にはプレファブの対応関係)の 仕様が違った • コード読み直して今週末には実装完了を目指す
結論: 関門いっぱい!でも楽しい! ()
ご清聴ありがとうございまし た!