Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
coinsLT#101資料 バーチャルアバターによるAR(ryの進捗
Search
にー兄さん
July 25, 2019
Technology
0
67
coinsLT#101資料 バーチャルアバターによるAR(ryの進捗
情報特別演習Ⅱの進捗報告をcoinsLT#101(
https://atnd.org/events/106745)にて行ったときの資料
にー兄さん
July 25, 2019
Tweet
Share
More Decks by にー兄さん
See All by にー兄さん
XRエンジニアの視点から XRのイマと社会実装の実現について考える / thinking-about-xr-popularization
drumath2237
0
20
軽率にプログラミング言語のシンタックスについて考えてみよう / lets-think-about-programming-lang-syntax
drumath2237
0
64
エンジニアが軽率に趣味から始める、OSS貢献を軸とした個人活動 / oss-contribution-as-a-hoby-project
drumath2237
0
40
Babylon.js 8.0のアプデ情報を 軽率にキャッチアップ / catch-up-babylonjs-8
drumath2237
0
220
フォークギター with VFXの 制作を軽率に振り返ろう! / look back fork guitar with vfx
drumath2237
0
47
軽率に始まった Babylon.js勉強会運営の 1年間をふりかえって / look back babylonjs japan activity
drumath2237
0
75
利己的利他、 あるいは軽率2.0に備えよ。 / prepare-for-keisotsu-2.0
drumath2237
0
59
軽率にAndroidXRのJetpack SceneCoreを使って3Dモデルを表示してみる / androidxr-scenecore-3dmodels
drumath2237
0
140
あなたの知らないWebXR Device APIの話を軽率に / about-webxr-device-api-you-dont-know
drumath2237
0
69
Other Decks in Technology
See All in Technology
技育祭2025【秋】 企業ピッチ/登壇資料(高橋 悟生)
hacobu
PRO
0
110
名刺メーカーDevグループ 紹介資料
sansan33
PRO
0
930
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
20k
LLMアプリの地上戦開発計画と運用実践 / 2025.10.15 GPU UNITE 2025
smiyawaki0820
1
640
能登半島地震で見えた災害対応の課題と組織変革の重要性
ditccsugii
0
1k
Claude Code Subagents 再入門 ~cc-sddの実装で学んだこと~
gotalab555
10
16k
Azureコストと向き合った、4年半のリアル / Four and a half years of dealing with Azure costs
aeonpeople
1
170
AIツールでどこまでデザインを忠実に実装できるのか
oikon48
6
3.5k
20251007: What happens when multi-agent systems become larger? (CyberAgent, Inc)
ornew
1
430
Geospatialの世界最前線を探る [2025年版]
dayjournal
1
240
現場データから見える、開発生産性の変化コード生成AI導入・運用のリアル〜 / Changes in Development Productivity and Operational Challenges Following the Introduction of Code Generation AI
nttcom
0
260
それでも私が品質保証プロセスを作り続ける理由 #テストラジオ / Why I still continue to create QA process
pineapplecandy
0
130
Featured
See All Featured
The Cult of Friendly URLs
andyhume
79
6.6k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
Rebuilding a faster, lazier Slack
samanthasiow
84
9.2k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.7k
The World Runs on Bad Software
bkeepers
PRO
72
11k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
30
2.9k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
46
2.5k
Speed Design
sergeychernyshev
32
1.2k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
9
910
[RailsConf 2023] Rails as a piece of cake
palkan
57
5.9k
The Cost Of JavaScript in 2023
addyosmani
55
9k
Transcript
バーチャルアバターに よるARライブ(ryの進 捗 にー兄さん(@ninisan_drumath) in coinsLT
Agenda 自己紹介 概要など WIP
自己紹介
Who am I ? にー兄さん coins18。 普段はVR/AR、3DCG、Web系などいじる ただのVTuberオタク 情報特別演習Ⅱの演習テーマの紹介とかします!
「バーチャルアバターによるARライブ配 信システムの構築」 概要
演習テーマ: バーチャルアバターによるARライブ配信システムの構築 昨今のVTuberブームから着想を得た バーチャルアバターをまとって、かつ現実に投影できる バーチャルアバターとARの親和性が高いことに注目 ⇒将来的にVTuberならぬATuberとかでてくるんじゃないか...?
動作のイメージ
開発の要件(基本機能) 1. モーションキャプチャデバイスからモーションデータを取得 2. モーションデータのジョイントからアバターのボーンのトランス フォームを計算 3. リアルタイム鯖を介して視聴者クライアントにブロードキャス ト 4.
クライアントでARレンダリング
開発の要件(発展) • 配信者へのコメント、投げ銭、フォロー • 配信者:視聴者=n:nの対応 • 声質変換(ボイチェン)
WIPと今後の展望
関門:Kinectでのモーショントラッキング • IPLAB(ユビ研)からKinect v2借用 • KinectとUnityによって ◦ モーションデータの取得 ◦ ビジュアライズ
◦ リアルタイムデータ送信 • Kinectの文献少なくない...? ⇒サポートが終了してるのでそれはそう
解決の糸口 • 公式ドキュメントを熟読する • Twitterで助けを求める ⇒MSのQAサイトで興味深い文献を発見できた • 自分でビジュアライザを作る
自作ビジュアライザ
関門:KinectのJointデータをVRMのボーンに適用 • 取得したJointデータと反映するボーンデータは違う • 自分の環境だと、JointType.LeftShoulderが右肩のデータを返す謎 挙動 • 対応表などは有志で開発している人のGitHubがあった ↑の挙動やローカル回転の実装方法の違いにより破綻 •
自作の対応表が必要だ ⇒作った
とりあえず辞書を定義した
気づいたらビジュアライザがLiveHostに化 けていた 1. アバターボーンの適用結果を反 映 2. さらにソケット通信まで実装した (もうビジュアライザではない)
関門:腕がプルプルする(は?) • リアルタイムでモーションデータを適用する ⇒腕がスライムみたいになった • 先生「プルプルしてるねぇ」 自分「プルプルしてますねぇ」 ⇒先生からの提案でフィルターとIKの開発を始める • いまここ
HumanoidのBoneに対応するIKを作成中
関門:リアルタイム通信 • クライアントにブロードキャストするSocket鯖を立てた • 辞書を作っておいたので割と楽に実装できた • なんかラグい…?→改善の余地あり
関門:AR対応 • まぁすぐできるやろ→今日の3限で爆死 • ARCoreのアップデートで実装(正確にはプレファブの対応関係)の 仕様が違った • コード読み直して今週末には実装完了を目指す
結論: 関門いっぱい!でも楽しい! ()
ご清聴ありがとうございまし た!