Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表
Search
gree_tech
PRO
November 11, 2021
Technology
0
370
REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表
GREE Tech Conference 2021 で発表された資料です。
https://techcon.gree.jp/2021/session/ShortSession-8
gree_tech
PRO
November 11, 2021
Tweet
Share
More Decks by gree_tech
See All by gree_tech
kustomizeをいい感じに使う方法
gree_tech
PRO
3
760
スケーラビリティとコスト管理 Google Cloud Spanner 費用最適化の取り組み
gree_tech
PRO
0
460
「アナザーエデン 時空を超える猫」の5年前のログを引っ越してデータドリブンで事業運用プロセスを改善した話
gree_tech
PRO
0
330
Unity,PHP+Jenkins+GAS 多言語対応を意識させない開発を目指したシステム構築
gree_tech
PRO
0
760
全社総会における「REALITY Spaces」の活用と、Addressableを用いたコンテンツ配信技術について
gree_tech
PRO
0
440
AWSのEKS環境でログ機能を構築/リリースしたお話
gree_tech
PRO
0
340
「ヘブンバーンズレッド」の大規模アップデートにおける国内及び翻訳QAの取り組み
gree_tech
PRO
0
400
アプリ「REALITY」の12言語対応プロセスの仕組みと品質向上の取り組み
gree_tech
PRO
0
630
REALITYアプリのメンテナンスなしでの機能リリースを実現する、Istio導入とB/Gデプロイ実現の取り組み
gree_tech
PRO
0
510
Other Decks in Technology
See All in Technology
Data and AI Governance: Existing Challenges and Emerging Trends
scotthsieh825
0
140
自動生成を活用した、運用保守コストを抑える Error/Alert/Runbook の一元集約管理 / Centralized management of Error/Alert/Runbook to minimize operational costs using automated code generation
biwashi
9
2k
コードを書く隙間を見つけて生きていく技術/Findy 思考の現在地
fujiwara3
23
4.7k
o11y入門_外形監視を利用したWebアプリケーションへの最適なモニタリング_TechBrew
k5k
2
100
XSS using dirty Content Type in cloud era
flatt_security
2
1k
反実仮想機械学習とは何か
usaito
PRO
6
1.2k
〜小さく始めて大きく育てる〜データ分析基盤の開発から活用まで
kniino
0
1.9k
AWS を使う上で知っておきたいオンプレミス知識/aws-on-premise-essentials
emiki
1
4.1k
Next'24 事例セッションの紹介とクラウド資格を活用したキャリア形成について語りMuscle
yasumuusan
0
220
HEXA OSINT CTF V3 作戦会議
meow_noisy
0
110
AIQ株式会社 エンジニア向け会社紹介資料
aiqlab
0
350
ユーザーストーリーのレビューを自動化したみたの
bun913
1
280
Featured
See All Featured
5 minutes of I Can Smell Your CMS
philhawksworth
199
19k
Rebuilding a faster, lazier Slack
samanthasiow
72
8.2k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
185
16k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
34
8.8k
Adopting Sorbet at Scale
ufuk
67
8.6k
10 Git Anti Patterns You Should be Aware of
lemiorhan
645
57k
It's Worth the Effort
3n
180
27k
Designing for humans not robots
tammielis
247
25k
The MySQL Ecosystem @ GitHub 2015
samlambert
242
12k
A designer walks into a library…
pauljervisheath
199
23k
Making Projects Easy
brettharned
107
5.5k
Building Flexible Design Systems
yeseniaperezcruz
318
37k
Transcript
REALITY株式会社 GREE VR Studio Laboratory インターン 堀部貴紀, 武政実玖, 中野友介, 加藤琢磨,
山崎勇祐 REALITYアバターを様々なメタバースで活躍させてみた GREE VR Studio Laboratoryインターン研究成果発表
アジェンダ 1. メタバースに使われそうな指トラ技術 (武政実玖) 2. “音”からイキイキした表現を目指して (中野友介) 3. ARでメタバースを表現してみた (武政実玖,
加藤琢磨, 堀部貴紀) 4. みんなで(バーチャル)世界旅行 (山崎勇祐)
メタバースで使われそうな指トラ技術 より手軽に、意のままに動く、高品質なアバターモーションの生成のために • ご家庭の何処にでもあるWebカメラを利用 • リアルタイムでクラウドにデータを送る • モーションキャプチャの高速化 和歌山大学大学院システム工学研究科1年 生
技術 Swift, JS, Unity 研究内容 モーションキャプチャ 武政 実玖(Takemasa Miku)
メタバースで使われそうな指トラ技術 画像認識 → MediaPipe (Ver.0.8.0) Googleが提供する 機械学習を用いたモーションキャプチャ サポートPlatform: iOS, Android,
Web(他にも) 使用した環境: Web/JavaScript 結果 • ピアノ演奏は指に加え体・腕の動きが あるので課題が多い • 手の分類は十分な速度がでている → 約30msec/30fps以上 楽しいコミュニケーションの実現に…! https://youtu.be/Uz2U4JLAFhY
”音”からイキイキした表現を目指して 中野 友介(Nakano Tomosuke) 明治大学 総合数理学部 先端メディアサイエンス学科3年 2020年12月よりGREE VR Studio
Laboratoryに参加。音声 分析の応用研究、リップシンクや表情生成など、分析エン ジンからUnityでの体験や可視化まで垂直のプロトタイピ ングに取り組んでいる。
[Demo] 声にならない声で自然にエモートを起動する https://youtu.be/pSyb-JeqBR4
ARでメタバースを表現してみた:自己紹介 堀部貴紀:明治大4年。『転声こえうらない』利用者の音声分析や ボイスチェンジャーのiOS実装/高速化、最近は音声を生かした XRメタバースのUX開発を担当。 加藤琢磨:デジタルハリウッド大1年。主にXRにおけるUX-Devと 最新のUnityを用いたテクニカルアーティスト支援、パイプライン 構築などを担当。 武政実玖:和歌山大大学院1年。Swift, Unity, Web,
JSなどの 技術を学びながら、メタバース時代に求められそうな UX開発に取り組む。 REALITYエンジニアブログ https://note.com/reality_eng/n/nd8ca52dc55d1 Lightship Augmented Reality Developer Kit (ARDK)によるAR動画生成開発
目的:ARDKがARKit/ARCore等のPF APIを超えて 「メタバースならではの表現」ができるかどうか?の調査 • 2021 Lightship Global Jam ◦PlayCrafting社/Niantic社が主催 日米欧同時開催
(日本:8/29~9/4) • Lightship ARDK lightship.dev ◦ Global Jam実施時: v0.10.0 ▪ Unity 2019.4.29に対応 ◦[最新] 11/3にv1.0.1が グローバルリリース! lightship.dev/docs/notes_1_0_1.html ARでメタバースを表現してみた Lightship Augmented Reality Developer Kit (ARDK)によるAR動画生成開発 GREE Tech Conference 2021 オープニング (本プロジェクトの一部が使用されている)
ARでメタバースを表現してみた 『人を外に連れ出して遊ぶ』×『Cross Reality (XR) メタバース』 = REALITYアバターをスマホの外に連れ出してみんなでパーティをする • 挑戦:XRメタバースとしての「盛り上がり感」の表現 ⇨
横持ち画面ARの開発 ◦NianticとしてはPortrait(縦持ち)推奨だった •AR映像作品をつくるツールとして様々な引き合いをいただく GPSを使ったチケット (武政) 動的視線生成/ARカンバン (加藤) ARカガミによるゲート (堀部) REALITYエンジニアブログ https://note.com/reality_eng/n/nd8ca52dc55d1
みんなで(バーチャル)世界旅行:自己紹介 首にかけるだけでライブや映画館で音圧を感じるような、没入感のある体験が楽しめます! 音楽 VR/ゲーム 動画 e.g. 山崎 勇祐:東工大で発明した「モーターと糸を用いた振動生成機構」を活用して Hapbeat の開発製造販売を行いながら、GREE
VR Studio Laboratoryで研究活動。 目標:力触覚による表現が、 音声や映像のように「当たり前」になること ▼振動生成機構発明 (2015) ▼Hapbeat合同会社設立 (2017) ▼VR Studio Lab インターン (2019~ ) 学術:博士学生 起業:会社代表 R&D :インターン
みんなで(バーチャル)世界旅行
みんなで(バーチャル)世界旅行 Google Street View をベースに簡易的なメタバース空間を作成 ➡ 360°カメラで撮影するだけで低コストに空間を拡張可能 他のプレイヤーの居場所をストリート ビュー上にリアルタイム同期 場所を伝えるコンパス機能を搭載
ストリートビュー内を自由に探索 メッセージとアイテムでゴールを設定
みんなで(バーチャル)世界旅行 自分や仲間のアバターと一緒に現地で記念撮影が可能 データベースやスプレッドシートにURL形式で保存 ➡ 専用ページで写真を現像 こんな写真がアバターと一緒に撮れます!
REALITYアバターのポージングからのWeb統合 みんなで(バーチャル)世界旅行 REALITYのアバターのご協力でマップピンや写真 撮影時の魅力的な「ポージング立ち絵」を生成。 多様なWebXR環境においても表現力高く安定して 動作するメタバース体験を構築できました。 担当: やはぎさん REALITY PFの皆さん
ありがとうございます!!
みんなで(バーチャル)世界旅行 シナリオ(旅行の行先)作成がスプレッドシートだけで作れます! ➡誰でも自分のオリジナルツアーが作れる。対象範囲は地球全体! ※東京工業大学とタイ・チュラロンコン大学の国際連携講義で活用・ユーザーテスト中! ボタン名と移動先URLを記入すれば作れます!
みんなで(バーチャル)世界旅行 「メタバース時代の、誰でも作れる UGC」として旅行・教育産業に応用に期待 バーチャル世界旅行は現実に興味を抱かせるフックとして有用 ➡旅行のようなエンタメ用途は勿論、その土地に根付いた実地学習 (歴史や地理、環境問題)にも効果が期待できる。 🔈参加した子供たちの感想 地球温暖化について考えるきっ かけになった その土地それぞれに歴史があ
ることに気付いた 実際に行くなら、フランスの世 界遺産を予習して行きたい タイでは何で動物を神様とし て尊敬しているんだろう? (キッズワークショップ2021にて)
テクニカルに ベスト発表を教えてください。 ⓘ Start presenting to display the poll results
on this slide.
18