v1.1「ARの教科書」輪読会 #1 第1章 拡張現実感への導入 / Augmented Reality Principles and Practice

connpass
https://vrtokyo.connpass.com/event/96605/

cluster.
https://cluster.mu/app/rooms/9befbe11-55c0-4efb-8dd2-fdae8b970fca/

本文中の各種リンクを辿りたい方はGoogleスライドにアクセスしてください。
https://docs.google.com/presentation/d/1lFay2QBuVeNoGHmbRmJThchlrUprBndyln6C4fiTBtU/edit?usp=sharing

2018-08-21 v1.1 P.16 誤り修正、元スライドリンク併記
2018/08/20 v1.0 初版公開

Transcript

1. 「ARの教科書」輪読会 はじめに • 本輪読会はマイナビ出版より刊行された「ARの教 科書」を所持並びに該当章を読了済みの方を対象 としています。 • 隔週ごとに2章ずつ進み、章単位で定められた登壇 者が、各人の視点で要点を解説していきます。 • 1章あたり60分程度を想定し、余った時間は章ごと にディスカッションの時間に充てます。 #AR輪読会
2. 登壇者と今後のスケジュール (1/2) • #1 08/20 ◦ 第1章 拡張現実感への導入 (@ikkou) ◦ 第2章 ディスプレイ (@morio36) • #2 09/10 週 (調整中) ◦ 第3章 トラッキング (@kohki_nakaji) ◦ 第4章 拡張現実感のためのコンピュータビジョン (@liketableteninu) • #3 09/XX ◦ 第5章 較正と位置合わせ (@niryuu) ◦ 第6章 視覚的調和 (@AmadeusSVX) • #4 10/XX ◦ 第7章 状況適応型可視化 (@kiya_nobuhiko) ◦ 第8章 インタラクション (@AR_Ojisan) #AR輪読会
3. 登壇者と今後のスケジュール (2/2) • #5 10/XX ◦ 第9章 モデリングと注釈付け (@machidyo) ◦ 第10章 オーサリング (@WheetTweet) • #6 11/XX ◦ 第11章 誘導支援 (未定!募集中!) ◦ 第12章協調作業支援 (@kinkincindy) • #7 11/XX ◦ 第13章 ソフトウェア構造 (未定!募集中!) ◦ 第14章 未来 (未定!募集中!) #AR輪読会
4. ARの教科書 AR(拡張現実感)に興味ある すべての人に必携の書 輪読会に参加する方は事前に購入して予習を！ • マイナビ出版 公式サイト (書籍/PDF) • Amazon (書籍/kindle)
5. 「ARの教科書」輪読会 #1 第1章 拡張現実感への導入 2018/08/20 @ikkou
6. 目次 1.1 定義と範囲 1.2 拡張現実感の歴史 1.3 拡張現実感の実例 1.3.1 工業・建築 1.3.2 整備・訓練 1.3.3 医療 1.3.4 個人別情報表示 1.3.5 ナビゲーション 1.3.6 テレビ 1.3.7 広告と商業 1.3.8 ゲーム 1.4 関連分野 1.4.1 複合現実感連続体 1.4.2 仮想現実感 1.4.3 ユビキタスコンピューティング 1.5 まとめ 読了後、ディスカッションへ #AR輪読会
7. この章の概要 “第1章「拡張現実感への導入」では，拡張現実感の実 用的な定義を示し，この分野の簡単な歴史に触れ，こ の強力な現実のユーザインタフェース技術のさまざま な応用例を読者に紹介して，次章へ進む準備をする. 関連する技術と研究分野を一連の文脈の基に関連付 けることで，この章を締めくくる.” #AR輪読会 「ARの教科書」P.10より引用
8. この章で学べること • 拡張現実感の実用的な定義 • この分野の簡単な歴史 • ARのさまざまな応用例 • 関連する技術と研究分野 #AR輪読会
9. 1.1 定義と範囲
10. 1.1 定義と範囲 (1/3) 最も広く受け入れられているARの定義は • 現実と仮想の組み合わせである Combines real and virtual • 実時間で動作する応答性を備えている Interactive in real time • 三次元的に整合性が取れているものである Registered in 3-D #AR輪読会 参考文献: Azuma, R. T., (1997) A Survey of Augmented Reality https://www.cs.unc.edu/~azuma/ARpresence.pdf
11. 1.1 定義と範囲 (2/3) 完全なるARシステムには少なくとも3つの構成要素が 必要となる • トラッキング機能 • 登録機能 • 可視化機能 4つ目の構成要素 • 現実世界と仮想世界についての情報を保存する データベース #AR輪読会
12. 1.1 定義と範囲 (3/3) #AR輪読会 「ARの教科書」P.28より引用 ARにおける人(利用者)とコンピューターシステムとのフィードバックループ
13. 1.2 拡張現実感の歴史
14. 1.2 拡張現実感の歴史 (1/11) Ivan Sutherland氏がVRとARの両方の分野で創始者と 称されている ※厳密には“Virtual Reality”という“言葉”はJaron Lanier氏 が設立したVPL Research社によって生まれている #AR輪読会
15. 1.2 拡張現実感の歴史 (2/11) Sutherland氏の提唱する究極の提示装置(The Ultimate Display) 究極の提示装置とは，無論，コンピュータが物質を制御できる空 間であろう. そのような空間に表示された椅子は座ることができるだろう.その ような空間に提示された手錠は人を拘束できるだろうし，弾丸は 命を奪うだろう. 適切なプログラムを施すことで，文字通り，その提示装置はアリ スが踏み入れた不思議の国とすらもなるだろう. #AR輪読会 「ARの教科書」P.29より引用 究極の提示装置（The Ultimate Display）, Ivan Sutherland 1965
16. 1.2 拡張現実感の歴史 (3/11) Sutherland氏が構築した最初のVRシステムであるダモ クレスの剣(Sword of Damocles)はARシステムに必要 な3つの構成要素の内、次の2つを備えていた • 頭部トラッキング装置(トラッキング機能) • 光学透過型表示装置(可視化機能) • 登録機能 #AR輪読会
17. 1.2 拡張現実感の歴史 (4/11) #AR輪読会 「ダモクレスの剣」2018/03/18 コンピューター歴史博物館にて @ikkou 撮影
18. 1.2 拡張現実感の歴史 (5/11) #AR輪読会 左図: Public Domain “Damocles” より引用 https://en.wikipedia.org/wiki/Damocles 右図: YouTube “First Head mounted display 1965 The Sword of Damocles” より引用 https://www.youtube.com/watch?v=0iyNrV7w4f4
19. 1.2 拡張現実感の歴史 (6/11) • 1968年 Ivan Sutherland, “Sword of Damocles” • 1974年 Myron Krueger, “Videoplace” • 1992年 “Augmented Reality” という言葉がボーイングの Caudell と Mizell の研究に現れた • 1993年 Feiner, knowledge-based AR(事前シナリオに基づいた AR) を具現化するシステム KARMA が紹介 • 同 Fitzmaurice, 初の空間的認識機能をもった携帯型ディスプレイ Chameleon • 1994年 ノースカロライナ大学チャペルヒル校のState , 医療向け ARの登場、妊婦のお腹に胎児を重畳 #AR輪読会
20. 1.2 拡張現実感の歴史 (7/11) • 1995年 現東大暦本研の暦本先生、現名古屋大長尾研の長尾先 生らによる携帯型ARディスプレイ • 1996年 Schmalstieg, 初の協調型 AR システムである Studierstube • 1997年 Steve Mann, Reality Mediator ウェアラブルコンピューティ ングとメディエイテッドリアリティ • 1997-2001年 日本政府&キヤノン株式会社, 一時的な調査会社と してMixed Reality Systems Laboratoryを設立 ◦ この時点でMR研究のための最大の工業的研究設備 ◦ 複数利用者用体験型シューティングゲーム ◦ 初の光軸一致映像透過型立体視HMD“COASTAR” #AR輪読会
21. 1.2 拡張現実感の歴史 (8/11) • 1997年 Feinerらによる初の屋外型ARシステムTouring Machineが コロンビア大で開発される ◦ GPSと姿勢トラッキングシステムを備えた透過型HMD • 1998年 Thomasらによる屋外型AR案内システムの構築に関する研 究“Map-in-the-Hat”が発表 ◦ 後継として“Tinmith”というプラットフォームに進化 ▪ QuakeのTinmith移植版である初の屋外型ARゲームであ る“ARQuake”がTinmithを有名にした • 1998年 Raskerらがテレプレゼンスシステム“Office of the Future” を提案 #AR輪読会
22. 1.2 拡張現実感の歴史 (9/11) • 1999年 現在も幅広く利用されている “ARToolKit”の登場 ◦ 開発は奈良先端科学技術大学院大学の加藤博一教授 ◦ ワシントン大学のHIT Laboratoryによってサポート ◦ モノクロの人工マーカを使った三次元トラッキング用ライブラリ ◦ 対応プラットフォームはSGI IRIX、Linux、Mac OS X、Windows ◦ これまでの実験室環境以外で利用できるものがなかった状況 を打破 #AR輪読会
23. 1.2 (補足) ARToolKitとその派生 • ARToolKit (C言語) ◦ NyARToolKit (Java/C#移植版) ◦ FLARToolKit (Flash移植版) ◦ JSARToolKit (JavaScript移植版) ▪ AR.js (JSARToolKit利用したライブラリ) #AR輪読会
24. 1.2 拡張現実感の歴史 (10/11) • 1999年 ドイツの教育科学・研究技術省が2100万ユーロを出資する プログラム“ARVIKA”を開始 • 1999年 IBMの研究者SpohrerがWorldboardシステムに関するエッ セイを発表 ◦ ハイパーリンクを持つ情報を空間に配置することのできる拡張 性のあるネットワークインフラ ▪ 現在で言うWebAR果てはARクラウドのような概念 • 2003年 WagnerとSchmalstiegが初の携帯型ARシステムを発表、翌 年ARゲームである“Invisible Train”が数千人によってテストされた #AR輪読会
25. 1.2 拡張現実感の歴史 (11/11) • 2007年 KleinとMurrayによる自然特徴点トラッキングシステム PTAM • 2008年 Vuforiaツールキットの前身が登場 • 2011年 Newcombeらによる安価な奥行きセンサ から詳細な三次 元モデルが生成できるシステムKinectFusion • 2014年 GoogleによるProject Tangoの発表 • 2017年 AppleによるARKit、GoogleによるARCoreの発表 • 2018年 Google Tangoのディスコン #AR輪読会
26. 1.3 拡張現実感の実例
27. 1.3 拡張現実感の実例 本項では項目別にARの例が提示されている • 工業や土木 (早期にAR技術が実証された応用分野) • 保守管理や訓練 • 医療分野の応用例 • 個人用の情報表示や移動サポート (個人の移動にフォーカス) • 既存のメディアを拡張したAR ◦ テレビ ◦ 電子商取引 (eコマース) ◦ ゲーム #AR輪読会
28. 1.3.1 工業・建築 • ARの利用を促した初期の応用例は工業分野に自然発生 • 工業施設はCADによって設計される、ARではCADモデルに立ち戻 るのではなく、現場にCADモデルを持ち込み検査を実施 • 屋外AR型可視化システム“Vidente” ◦ GIS情報を基にして現場に直接紐付けされたAR型情報を提示することで屋外作 業の精度および速度を大幅に改善 #AR輪読会 “Research Gate Figure 2.7” より引用 Vidente Handheld AR for Underground Infrastructure Visualization
29. 1.3.2 整備・訓練 • ARは作業者の視界に直接重ねられた指示を提示することができる ◦ 効果的な訓練が可能になる ◦ 誤りなく作業を進められるようになるまでの時間を短縮できる • 2014年 ARテレプレゼンスシステム ◦ ライブビデオ会議と遠隔撮影制御の利点を自然な形で協調的 インターフェースとして統合 #AR輪読会
30. 1.3.3 医療 CamC (Camera Augmented Mobile C-arm) • 携帯型Carmで医師は従来のカメラ映像とX線画像を重畳して継ぎ 目なく合成できる #AR輪読会 “Camera-augmented mobile C-Arm installed at LCSR” より引用 https://lcsr.jhu.edu/2015/02/16/camera-augmented-mobile-c-arm-installed-at-lcsr/#.W3orhpMzZ24
31. 1.3.4 個人別情報表示 スマートフォンにおけるARブラウザアプリケーション事例 1. 利用者の環境内で関心のある場所に関連する情報をスマートフォ ンのカメラ からの実時間映像に重畳する ◦ Layar, Wikitude, Yelp Monocle ▪ 本文中で紹介されているJunaioは2015年12月にサービス終了 ◦ セカイカメラ(2014年1月サービス終了), GRAFFITY 2. 外国語の同時翻訳 (カメラでテキストを翻訳) ◦ Google 翻訳 (リアルタイム) ◦ Microsoft 翻訳 (写真から翻訳) ◦ その他ストアにて「AR 翻訳」で検索すると多数 #AR輪読会
32. 1.3.5 ナビゲーション (1/3) • 1970年台からヘルメットに装着する透過型ディスプレイが開発、 1986年 ヘッドアップ・ナビゲーションという構想が軍用機において 軍事技術として考案された ◦ 軍事技術は通常と異なる人間工学と価格体系を必要とするた め消費者市場には直接適用できない • ヘッドアップディスプレイ(HUD)はAR用途にも活用できる • 車内ナビゲーションシステムとしての活用 ◦ Wikitude Drive ▪ 参考動画: https://youtu.be/9caFWwKp12w?t=19s ◦ 今でこそよく見る駐車支援システムも一種のARと言える ▪ 参考動画: https://youtu.be/Ajal6bL0PiA?t=14s #AR輪読会
33. 1.3.5 (補足)ナビゲーション (2/3) 近年における車内ナビゲーションシステムとしての活用, 2012 Pioneer #AR輪読会 “AR HUDビュー | サイバーナビ AVIC-VH99HUD AVIC-ZH99HUD | カーナビ | carrozzeria” より引用 https://jpn.pioneer/ja/carrozzeria/cybernavi/avic-vh99hud_avic-zh99hud/navigation/
34. 1.3.5 (補足)ナビゲーション (2/3) 近年における徒歩ナビゲーションシステムとしての活用, 2018 Yahoo! #AR輪読会 “Yahoo! MAP、ナビゲーションをAR（拡張現実）でサポートする機能 「ARモード」を試験導入” より引用 https://jpn.pioneer/ja/carrozzeria/cybernavi/avic-vh99hud_avic-zh99hud/navigation/
35. 1.3.6 テレビ (1/2) • 1970年代後半 サッカー放送のためのフィールド上のマーカを作成 するためのアイデアと最初の特許、1998年に実現 ◦ その後、野球他、多くのスポーツに転用されている ▪ 一般的に視点を変更することはできない • PreViz(Pre-Visualization) ◦ 映画界で用いられてきた映像の設計図の一形態、絵コンテの 映像版 ▪ 参考動画: ナルニア国物語のプレビズ ◦ 近年ではARを活用していることがある ▪ 参考: Blocker by AfterNow (App) ▪ 参考: Blocker, augmented reality for filmmakers #AR輪読会
36. 1.3.6 (補足)テレビ (2/2) Soccer on Your TabletopはARなのか? #AR輪読会 YouTube “Soccer On Your Tabletop” より引用 https://www.youtube.com/watch?v=eRGAB4QBS6U
37. 1.3.7 広告と商業(1/2) ARは潜在的な買い手に製品の任意視点の三次元映像を提示できる • 2009年10月 ARを使った動的コンテンツを特集した最初の印刷物 “Red Bulletin” ▪ 参考動画: Imagination creates Augmented Reality extension to the Red Bulletin Magazine ▪ 参考動画: Red Bulletin "Print 2.0" Augmented Reality • 空調サービスユニット“Waeco”の販売広告 ◦ MagicLens, MagicLens Showcase (App) • オンラインショッピングサイトから衣服の画像を抽出して顧客に画 像が重なるように描画する“Pictoffit” ◦ 参考: 「着せ替え」できる。バーチャル試着室アプリ「Pictofit」 #AR輪読会
38. 1.3.7 (補足)広告と商業(2/2) 近年、ARを活用したプロモーション事例が増えてきている • メイベリンニューヨークの事例 ◦ 参考動画: Try on every Maybelline ColorShow Nail shade, virtually! • IKEA Place ◦ 参考動画: IKEA Placeをご存知ですか？ • 時計ブランド“TISSOT” ◦ 参考動画: Tissot Augmented Reality Application Demo • NATIONAL GEOGRAPHIC ◦ 参考動画: Live AR National Geographic Campaign.mp4 #AR輪読会 参考: ARの広告・プロモーション活用事例10選 https://www.moguravr.com/promotion-ar/
39. 1.3.8 ゲーム (1/2) • 最初の商用ARゲームの1つは2007年にPS3でリリースされた対話 型トレーディングカードゲーム“The Eye of Judgment” (2010年9月 サービス終了) ◦ 参考動画: PS３アイオブジャッジメントを遊んでみた。 • タワーディフェンスゲームの“Vuforia SmartTerrain” ◦ 参考動画: Vuforia™ Smart Terrain™ • プロジェクタを用いたARゲーム体験“Microsoft IllumiRoom” ◦ 参考: IllumiRoom: Peripheral Projected Illusions for Interactive Experiences ◦ 参考動画: IllumiRoom Projects Images Beyond Your TV for an Immersive Gaming Experience #AR輪読会
40. 1.3.8 (補足) ゲーム (2/2) • Pokémon GOはARゲームなのか? ◦ 最初のPokémon GOはARゲーム“ではなかった” ▪ Stop referring to Pokémon Go as augmented reality ◦ 2017年12月 Pokémon GO AR+ リリース ▪ ARKitを利用して回り込みが可能に、ARと言える ◦ 「ポケモンGO」は“本当の”ARゲームになるかもしれない ▪ Niantic AR with Occlusion Technology • 参考動画: Pokemon Go Occlusion Demo (NIantic) w/ Matrix Mill ft. Pikachu and Eevee #AR輪読会 “新たなジム、そしてレイドバトルがやってきます！” より引用 https://www.pokemongo.jp/topics/67/
41. 1.4 関連分野
42. 1.4 関連分野 これまでに取り上げた応用例以外に、本書で定義する ARの定義から逸れているものもある それらは次の3つに関することが多い • 複合現実感 • ユビキタスコンピューティング • 仮想現実 本輪読会では、関連分野は触り程度にします #AR輪読会
43. 1.4.1 複合現実感連続体 (1/2) • 複合現実感, Mixed Reality ◦ 現実と仮想の要素を様々な割合で組み合わせることが できる現実空間と仮想空間との中間的な空間 ◦ ARよりも広範で包括的なMRの概念を好む人々もいる • 現実環境と仮想環境を完全に結ぶ「仮想の連続体」のどこか で、実世界と仮想世界を融合している • 複雑な環境は複数のディスプレイと隣接する空間で構成され る複合現実感群(mixed realities)という概念 #AR輪読会
44. 1.4.1 複合現実感連続体 (2/2) #AR輪読会 Public Domain Wikipedia “Reality–virtuality continuum” より引用 https://en.wikipedia.org/wiki/Reality%E2%80%93virtuality_continuum 複合現実感連続体, Reality–virtuality continuum 複合現実感連続体は現実世界と仮想世界のすべての可能な組み合わ せを含む
45. 1.4.1 (補足) Microsoftの定義するMixed Reality Spectrum #AR輪読会 Microsoft Win Dev Center “What is mixed reality?” より引用 https://docs.microsoft.com/ja-jp/windows/mixed-reality/mixed-reality すべてが Mixed Reality、世界のどの部分を切り取って見ているかの違 いでしかない
46. 1.4.2 仮想現実感 VR, Virtual Reality, 人工現実感 • “MR連続体”においては右端に位置する • 利用者が完全にコンピュータで生成された環境に 没入する • 利用者がVRで自発的にできることや体験すること に関する制限がなくなる • ARとVRはMR連続体内に容易に共存することがで きる #AR輪読会
47. 1.4.3 ユビキタスコンピューティング (1/4) ubicomp, ubiquitous computing • Mark Weiser が1991年に提案した概念 ◦ 日常生活にデジタル技術が大量に導入される ◦ タブ、パッド、ボードといったコンピュータの登場 ◦ コンピュータが読み取り可能なデータという「非物質 的な存在(virtuality)」 を物理的な世界に運び入れる ことを提唱 #AR輪読会
48. 1.4.3 ユビキタスコンピューティング (2/4) • モバイルコンピューティングという概念を内包 • 拡張された物体もARの一形態とみなされるべき • ubicompは人間の注意または操作を必要せず意図 しない ◦ 特定の状況下では操作を必要とする ◦ ARはubicompシステムの理想的なユーザーイン ターフェース #AR輪読会
49. 1.4.3 ユビキタスコンピューティング (3/4) • Weiserの主張 ◦ VRはubicompに相反するもの • Newmanらの主張 ◦ ubicompは次の2つを併せ持つ ▪ 仮想性(virtuality) • MR連続体によって説明できる • 仮想物体と現実物体が混在する度合い ▪ 遍在性(ubiquity) • 遍在性は情報アクセスが固定された場所(端末) から独立している程度を表す #AR輪読会
50. 1.4.3 ユビキタスコンピューティング (4/4) #AR輪読会 「ARの教科書」P.56より引用 Milgram-Weiser チャート
51. 1.5 まとめ
52. 【再掲】1.1 定義と範囲 (1/3) 最も広く受け入れられているARの定義は • 現実と仮想の組み合わせである Combines real and virtual • 実時間で動作する応答性を備えている Interactive in real time • 三次元的に整合性が取れているものである Registered in 3-D #AR輪読会 参考文献: Azuma, R. T., (1997) A Survey of Augmented Reality https://www.cs.unc.edu/~azuma/ARpresence.pdf
53. 【再掲】1.1 定義と範囲 (2/3) 完全なるARシステムには少なくとも3つの構成要素が 必要となる • トラッキング機能 • 登録機能 • 可視化機能 4つ目の構成要素 • 現実世界と仮想世界についての情報を保存する データベース #AR輪読会
54. 【再掲】1.1 定義と範囲 (3/3) #AR輪読会 「ARの教科書」P.28より引用 ARにおける人(利用者)とコンピューターシステムとのフィードバックループ
55. 1.5 まとめ ARの機能的な3つの定義 1. 主な活動の場は現実世界であるとして、仮想情報と 実世界情報を組み合わせること 2. 対話的であり実時間で更新されること 3. 仮想情報は実環境下で三次元的に配置されている こと これらを実現するためにさまざまな技術を用いる 2章目以降ではそれらが説明されている #AR輪読会
56. ディスカッション