ARによる人間の認識能力拡張：掃除機の軌跡をAR化し自閉症児・者の自立活動支援へ活用

XRKaigi 2021 講演資料
---------------------------------
「ARによる人間の認識能力拡張：掃除機の軌跡をAR化し自閉症児・者の自立活動支援への活用」（2021/11/15 17:00-17:40）
https://xrkaigi.com/seminars/52

掃除機の軌跡を視覚化するアプリケーション「掃除機をどこまでかけたかわかる AR」を用いて、埼玉県立本庄特別支援学校と共同で、自閉症児・者向けに「自立活動」授業での活用プロジェクトを行いました。本セッションでは本活動を通して、AR技術がどのように人の生活に役立てられるかをお話しします。
---------------------------------
関連リンク（スライド内リンク含む）
・大西拓人 個展「ドローンが来ると、風が吹く 」@新宿眼科画廊（2021）
https://www.gankagarou.com/show-item/202109onishitakuto/

・そこに西瓜はあるのかい（2017）
https://www.youtube.com/watch?v=d5w8pYwOBoU

・Contact（2017）
https://www.youtube.com/watch?v=-h0rAQ9WcdE

・HUMANITY EXTENSION（2016）
https://www.youtube.com/watch?v=eabLTLek7jc

・掃除機をどこまでかけたかわかるAR 使用の様子（2017）
https://www.youtube.com/watch?v=FvXw4HkKL-w

・埼玉県立本庄特別支援学校
https://honjo-sh.spec.ed.jp/

・KT君自宅での掃除機ARアプリ使用の様子（2019）
https://www.youtube.com/watch?v=V6hdZLrK8SU

・ARKit Examples（2017）
https://arkit.r-u.co.jp/

・デコピンでスイカを割る（2017）
https://www.youtube.com/watch?v=yDDrhNk_n08

・ランナー召喚アプリ（2017）
https://www.youtube.com/watch?v=2_ZxT2HBQjY

・掃除機をどこまでかけたかわかるAR マルチプレイ（2018）
https://www.youtube.com/watch?v=DnKkPk6O-ss

・ルンバに掃除を教える（2018）
https://www.youtube.com/watch?v=BsmXYlHDF4c

・ドローンが来ると、風が吹く ダイジェスト（2021）
https://www.youtube.com/watch?v=pR2oOmR3Kjs

・HOMEWORKS 2021
https://instabu.net/homeworks2021/

・HOMEWORKS 2021 ONLINE TALK（11/27 18:30配信予定）
https://www.youtube.com/watch?v=8iGkooRIq48

Transcript

1. ARによる人間の認識能力拡張 掃除機をAR化し自閉症児 ・ 者の自立活動支援への活用 インタラクションデザイン作家 大西拓人
2. 大西 拓人 （おおにし たく と） メーカー勤務。技術戦略構築のため ・エンタメ業界の動向リサーチ ・先端技術を用いたコンテンツプロトタイピング などの業務にैࣄ 本業 関西の若手作家を中心とした デジタルアート・メディアアートのグループ展 「HOMEWORKS」、「SNACKS」を ����年より定期的に開催 コミュニティ 運営 インタラクションデザイン作家として、 さまざまなテクノロジーを題材にした作品を制作。 今回の「掃除機をどこまでかけたかわかるAR」は 作品ではないものの個人作家活動の一環。 個人作家活動
3. インタラクションデザイン作家って ？ これまでの作品例 主にテクノロジーとインタラクションデザインの手法を用いて作品を制作。 テクノロジーと現実のギャップに生まれるおかしみを見つけることをテーマとしている。 ビジュアルやオーディオといった表現ではなく、コミュニケーションやインタラクションの構造、 技術仕様などを体験に落とし込み作品化することが多い。 ドローンが来ると、風が吹く Contact そこに西瓜はあるのかい HUMANITY EXTENSION ドローンが飛ぶ際の風を触覚器と見立てて、 触る、感じるといったことを実現するため の飛行プログラミングを制作。その中で見 られるドローンならではの動きを観察する。 ���� 文化庁メディア芸術クリエイター支援事業採択企画 WIRED CREATIVE HACK AWARD ���� ファイナリスト dotFes ����、Ogaki Mini Maker Faire 亀山トリエンナーレなどで展示 第 �� 回文化庁メディア芸術祭 アート部門審査委員会推薦作品 ���� ���� ���� VR をプレイする際の現実世界と仮想世界に いる人の認識のギャップを利用した作品。 HMD を被った人だけに見える仮想世界の西 瓜を、現実世界にいる人が割る。 Google 翻訳のスマホアプリをアナログテレ ビの砂嵐にかざすことで、未知のメッセー ジを取り出すことを試みた作品。 マネキンに貧乏ゆすりをさせることで、人 間を模する過程で失われた人間らしさを取 り戻そうとした作品。
4. 本日お話ししたいこと 掃除機をどこまでかけたかわかるAR 自閉症児 ・ 者の自立活動への活用 活動紹介 AR技術を活用して、 どのような取り組みを行い、 どのような結果が得られたかを紹介 本活動がどのようなプロセスで発展していったのか 本活動が技術デモから、 社会貢献実証実験プロジェク トへと展開していった変遷を紹介 AR(XR)のアイデアを考える上でのポイント 本活動の企画のポイン トを振り返りながら、 AR(XR)におけるアイデアのポイン トを整理
5. 掃除機をどこまでかけたかわかるAR 自閉症児 ・ 者の自立活動への活用 活動紹介
6. 掃除機をどこまでかけたかわかるAR AR技術を用いて日常の行動を視覚化するプロジェク ト。 普通の掃除機にスマートフ ォンをマウン トすることで、 誰でも簡単に使用可能。 ����年�月にiOS��で搭載されたARKitを利用して開発。 一般的な掃除機に ・ カメラネジ用クランプマウン ト ・ カメラネジ用スマホホルダー を用いて、 iOS端末を取り付け
7. https://www.youtube.com/watch?v=FvXw4HkKL-w 掃除機をどこまでかけたかわかるAR 使用の様子
8. 本庄特別支援学校との共同プロジェクトとして発足 ����年より埼玉県立本庄特別支援学校と共同で、 ARテク ノロジー 「掃除機をどこまでかけたかわかる AR」 を用いて、 自閉症児 ・ 者向けに 「自立活動」 授業での活用プロジェク トを開始 自閉症および自閉症スペクトラムについて 脳の機能障害で、先天的な障害。コミュニケーションや言語に関する症状があり、同じような行動を繰り返す など様々な状態を、近年では「自閉症スペクトラム」という連続体として包含する診断名で表すようになった。 従来からの典型的な自閉症やアスペルガー症候群、また生活に支障がないようなより軽い状態も含む。 自閉症児 ・ 者の自立活動への活用 学区域を本庄市、上里町、神川町、美里町、深谷市とする知的障がい特別支援学校。 学校教育目標に「いのち　みらい　なかま」を掲げ、 「自立と社会参加を目指し、障 害の特性や教育的ニーズに応じた教育を推進する学校」 「地域に信頼される特別支援 教育のセンターとしての取組を推進する学校」を目指す学校像としています。
9. 「自立活動」 授業とは 授業内容の例 特別支援学校において「障害による学習上又は生活上の困難を主体的に改善・克服するために必要な知識、技 能及び習慣を養う指導」を目的とした授業。 健康の保持 不安定な足元での歩行 ジェンガ 場面に応じたイヤーマフの装着練 絵カードコミュニケーション 心理的な安定 人間関係の形成 環境の把握 身体の動き コミュニケーション 特別支援学校の授業 「自立活動」
10. 自立活動の授業内での状況 人的支援による補助 導入前の状態としては、ひとりでは掃除機をかけるべき面積の約 ��％未満しかかけられなかった。 ・レーザーポインターでの指示 ・紙テープでの細かいエリア分け などの人的支援による補助が必要 本アプリ導入前
11. �. 学校での運用 埼玉県立本庄特別支援学校の教室内で授業の一環と してアプリの使い方を含めて全 � 回の導入を行った �. 家庭内に汎化 教室内での４回の試行で全く問題なく掃除機をかけ ることができるようになったため、K・T くんご自宅 に使用環境を移行 プロジェクト実施の流れ
12. https://www.youtube.com/watch?v=V6hdZLrK8SU K ・ T君自宅でのアプリ使用の様子
13. 導入前 ひとりでは掃除機をかけるべき面積の約 ��％未満しかかけられないため、人的支援が必要 導入後 ひとりでも掃除機を問題なくかけることができるように！ 本取り組みの結果
14. 埼玉県立本庄特別支援学校教員 小岩真弓さんより 大西さんに社会貢献活動として、 お声がけいただいた時から、 感謝でいっぱいです。 Kくんにとっては、 まず、 今まで、床へのマスキングや、レーザーポインターでの、何らかの支援が必要でしたが、一人で、全てを 行えると言うことはとても嬉しかったようです。 障がいのあるお子さんは、人的支援がつくことが多く、 「一人でできた」の機会は他の定型発達のお子さ んより少ないです。その中で、全て一人でできるこのテクノロジーをありがたく思っています。 私たち教員としては、私達が何らかの手をかけなくても（床へのマスキングや、レーザーポインター）彼 らが一人でできることが大変ありがたく思いました。 またこの取り組みがインターネットで紹介されるこ とにより、全国各地のたくさんの先生方が本校に問い合わせをしてくださることが増えました。それだけ、 たくさんの先生方が「このテクノロジーがあれば」と思っているのだと思います。 今回の取り組みを振り返って
15. (Alexander R. Luria 1966-) 実行機能の分類 空間認知能力の補完 プランニング ワーキングメモリ 思考の柔軟性 抑制 段取りや、見通しを立てるな ど、物事を順序立てる能力 必要な記憶を一時的に保持し ながら、情報を処理すること を同時に行う機能 掃除機をどこまでかけたかを記録 掃除機をどこまでかけたかを視覚化 （これからどこをかけるべきかを明示） プランニング機能を補助 ワーキングメモリ機能を補助 方法の工夫や発想の転換など、 問題の解決のために、必要に 応じて枠組みを変える力 衝動性を抑える、必要のない 反応を抑えて必要な反応だけ するといった機能 なぜ効果があったのかについての仮説
16. ARでの視覚化により人的支援が不要になり高い効果が得られた 視覚的にわかりやすいARによる補助によ って人的支援が不要となり、 「ひとりでできた」 の機会を生み出すことができた 直感的に使える操作性により、 導入が容易だった 掃除機にマウン トして、 あとは掃除機をかけるだけ。 という直感的に使える操作性が功をなし、 わずか�回の授業内での試行により導入することができた ARにより空間認知能力が補完されることで、 実行機能が補助された ポジション トラッキングによる記録と、 ARによる視覚化によりワーキングメモリとプランニング機能の補助につながった 自閉症児 ・ 者の自立活動への活用 活動紹介のまとめ
17. 本活動が どのようなプロセスで 発展していったのか
18. ����年�月より、 iOS��にARKit搭載された。 本プロジェク トは、 ARKitを用いてどんな体験が提供ができるだろうか？という 技術リサーチの一環としてスタート。 ベータ版SDKを触りながら、 企画とプロトタイピングを行った。 またiOS��よりSafariでサポートされるようになった WebRTC （getUserMedia対応） についても同様のリサーチとプロトタイピングを行っていた 本プロジェクトのはじまり 当初は自身の立ち上げた会社「る株式会社」の PR 活動として始めたプロジェクト → 現在は転職に伴い、本活動の帰属先は個人に移管。 ARKitのリサーチとしてスタート
19. �つのプロトタイプ動画と技術解説をiOS��リリース日に合わせてWEBで公開 �つのサンプルを制作し、 iOS ��のリリース日に合わせてデモ動画と技術解説を掲載したWEBサイ ト”ARKit Examples” を公開した。 それぞれのデモの開発にかかった工数は�人日程度。 �. デコピンでスイカ割り カメラを通した目の前の空間に自由にスイカを配置。 置いたスイカに向けて デコピンを打ったり、 指で触ったりすることで、 スイカを割ることができる �. ランナー召喚アプリ 走っている自分の目の前に任意の速度で走る陸上選手を表示できるアプリ です。 世界記録の���m�秒�� （約時速��.�km） やフルマラソン�時間��分�� 秒 （約時速��.�km） を始め、 ジョギングのペースメーカー用など、 自分も走 りながらの比較ができるため、 より身近に様々な走りを感じることができる。 �. 掃除機AR 掃除機をどこまでかけたかの軌跡をARで視覚化 ARKit Examples
20. https://www.youtube.com/watch?v=yDDrhNk_n08 �. デコピンでスイカ割り
21. https://www.youtube.com/watch?v=2_ZxT2HBQjY �. ランナー召喚アプリ
22. https://www.youtube.com/watch?v=FvXw4HkKL-w �. 掃除機をどこまでかけたかわかるAR
23. ARKit対応iPhoneを手持ちが可能なARデバイスとして捉え直す 「AR で何を表示しよう？」ではなく、これまでの AR 技術との比較を行うことで、ARKit および ARKit 搭載デ バイスの特徴を捉え直すところから企画を開始。 それまでの AR アプリと異なる特徴的な機能として、 マーカーレス AR であること、 床面の検出を行うことから、 ARKit 対応 iPhone を手持ち可能な AR デバイスと捉え直して、企画の方向性を考えていった。 手持ち可能な AR デバイス ユーザーの身体性と連動できることが このテクノロジーの面白さでは？ 企画のポイント
24. ユーザーの身体性との連動を意識したインタラクション設計 片手で持てるデバイス ↓ 逆の手が使える？ ↓ デコピンでスイカ割り 外で持ち歩ける ↓ ジョギングしながら使う？ ↓ 自分の走行ペースと比較 軽量小型 ↓ モノに取り付けられる？ ↓ 掃除機の軌跡を視覚化 それぞれの企画の要素分解
25. など メディアに取り上げられる Twitter公式モーメントに掲載 奇跡体験 ！ アンビリバボーで紹介 moguraVR （現 MoguLive） に掲載 dotFes����Tokyo Unity公式セッション 「Unity+ARKitで作る、 新しいAR体験」 で紹介
26. ����.�� ����.�� 特に反応の大きかった掃除機ARで継続してプロトタイピング �台のiPhoneで対戦できるように 掃除機の軌跡をルンバに移植
27. https://www.youtube.com/watch?v=DnKkPk6O-ss 掃除機をどこまでかけたかわかるAR マルチプレイ
28. https://www.youtube.com/watch?v=BsmXYlHDF4c ルンバに掃除を教える
29. ����.�� 「これは特別支援学校の自立活動に使えそう」 継続していく中で、 再度TVで取り上げられる 日本テレビ nextクリエイターズ 放送を見た本庄特別支援学校の小岩さんから連絡が
30. ����.�� ����.�� ����.�� ����.�� ����.�� ����.�� ����.�� ����.�� ����.�� ����.�� 試行と発信を継続的に行うことでプロジェクトが発展 iOS�� オープンベータ公開 iOS�� のリサーチとプロトタイプ企画を開始 iOS�� リリースに合わせて �台のiPhoneでの同時対戦機能を実装 掃除機の軌跡をルンバの動きに移植 本庄特別支援学校 小岩さんより問い合わせ 本取り組みの導入実施開始 Webサイト”ARKit Examples”に�サンプルを公開 Twitter 公式モーメン トに掲載 moguraVRに掲載 Mashup Awards ���� for Pro 優秀賞受賞 日本テレビ nextクリエイターズにて紹介 dotFes���� Tokyoにて Unity公式セッション 「Unity+ARKitで作る、 新しいAR体験」 で紹介 フジテレビ系 奇跡体験 ！ アンバリバボー 「仰天 ！ 我が目を疑う衝撃の連続 ！ 視覚のトリ ックSP」 で紹介
31. Webサイ ト”ARKit Examples”やプレスリリースを通じた問い合わせが�件。 うち受注が成立したのが�件。 開発コス トがプロトタイプひとつあたり�人日程度だったことを考えると、 プレスリリースやポイン トでの検索連動 広告の出稿費を含めても非常に高いコス トパフ ォーマンスが得られた。 新しい技術で何ができているか考えている人、 自分の感じている課題をどうにか解決できないか考えている人はたく さんいる。 時には、 完成したサービスよりシンプルなプロトタイプの方が刺さることもある。 本活動がどのようなプロセスで発展していったのか まとめ 技術リサーチのプロトタイプでも企画の角度と継続的な発信で発展が見込める 単に技術レポートや作ってみたに留めず、 きちんと発信していろいろな人の目に触れるようにすることが大事。 また、 単発のリサーチで終わらせるのではなく、 自身でも更なる展開が思いついたらやってみることが重要。 まだ見ぬ誰かの 「こんなことできるかも？」 を刺激する 会社のプロモーション活動としての評価
32. 各種業界アワードなどでの評価 第��回 文化庁メディア芸術祭文化庁メディア芸術祭 エンターテインメント部門 審査委員会推薦作品選出 XR CREATIVE AWARD ���� ファイナリスト選出 WIRED CREATIVE HACK AWARD ���� ファイナリスト選出 ヒーローズ・リーグ ���� XUI 部門 大阪駆動開発賞受賞 講演などによる活動紹介 CIVIC TECH FORUM ����「テクノロジー x 福祉 掃除機を AR 化し自閉症児・者の自立活動支援へ活用」 XR Kaigi ����「AR による人間の認識能力拡張 : 掃除機を AR 化し自閉症児・者の自立活動支援への活用」 本プロジェクト後の継続発信活動
33. AR(XR)のアイデアを 考える上でのポイント
34. 隣接を考える 暗黙的な用途から抜け出す テクノロジーを扱うアイデアを考える際のポイント
36. はじまりは自分や健常者にと ってこんなのあったら便利そう 掃除機をどこまでかけたかわかるARは自分にと っての 「こんなのあったらち ょ っと便利かも」 から始ま った。 別の領域のターゲットユーザーに置き換えたときに、 もっと便利と思ってもらえる機会がある。 ユーザーのグラデーションを意識する たとえば 「自閉症スペク トラム」 という言葉からも、 特性がグラデーションになっていることがわかる。 自分の馴染みのない領域を想像する時に、 切り分けて考えるのではなく、 地続きに考えると展開がしやすくなる。 自分以外の人にアイデアを広げてもらう 自分の普段触れていない領域のことはわからなく て当たり前。 隣接するターゲッ トユーザーのニーズを知るには、 それを知る人に見つけてもらってアイデアを広げてもらうのが有効 ターゲットユーザーの隣接を考える
37. 授業ごとの机の配置を色分けされたテープで視覚化 その日の時間割や係を人係や場所、内容、実施状況とともに掲示 課題を終えた際にもらえるトークンを集めると 好きなもの（ミルキーなど）がもらえる。 人からの賞賛に興味がないお子さんでも モチベーションが湧くように 着替えや掃除の手順を単語帳で順番に提示 本庄特別支援学校の構造化の例 テープの色分けによる机の位置 日課表 トークンあつめ 手順カード
38. 埼玉県立本庄特別支援学校教員 小岩真弓さんより 肢体不自由部門、病弱部門では、たくさんのテクノロジーが開発されており（それでも足りない部分はあ るのでしょうが） 、それが、知的障害部門で応用できるかどうかを考えたりしています。この支援をテク ノロジーでこんな形にできたら…と思っている支援者はきっとたくさんいます。 テクノロジーに支えてい ただきより多くの知的障がいの方々、自閉スペクトラム症の方々が、豊かに生活できることを祈っていま す。 どうか、技術者のみなさま、知識や技術でサポートしていただけたらと思います。 よろしくお願いい たします。 特別支援の領域で、 テクノロジーにこれから求めたいこと
39. 私たちが触れるテクノロジーは用途が定まっていることが多い 私たちが触れることができるリリースされたり、 普及したテク ノロジーはある程度、 用途が定まった状態で世に出てい ることが多い。 リリース側からの開発者への期待であったり、 サンプルプロジェク トであったり、 用途が定ま っている方が アイデアも出やすく、 活性化しやすい面があるため 暗黙的な用途 = みんなの考える領域 このような暗黙的な用途は他の人も考える領域で、 結果として多くのプレイヤーが参入する。 そのテク ノロジーに示された、 暗黙的な用途を理解して、 意識的にそこから抜け出すことで、 独自性のあるアイデアに たどり着きやすい。 暗黙的な用途から抜け出す
40. リリース当時のAR Kitの技術要素の分解 ・ カメラオーバーレイ ・ ポジション トラッキング （カメラ + ターゲッ ト） ・ �D-�D 座標変換 ・ 手持ち可能な端末 ポジショントラッキングに注目する 暗黙的な用途としては、 カメラオーバーレイの技術に寄った 「目の前に何を出すと面白いか」 に誘導されがち。 意識的にポジショントラッキングで 「何の動きを取ると面白いか」 を考えることで、 掃除機の軌跡を取得するアイデアに結びついた。 テクノロジーを分解する
41. ドローンが飛行する際の風に注目する ドローンのセンシング技術のトレンドは、 RGBカメラやToF センサーによるビジョンセンシング。 ドローンの飛行を実現している根幹である、 ジャイロセン サーによる姿勢推定と、 プロペラに回転量の変化による送 風の調整の機能に着目。 トレンド技術である視覚に対して、 触覚としての可能性を 模索することから作品のアイデアがはじま った。 作家としてのテクノロジーの向き合い方にも共通
42. 仮説を立てる 「ドローンの飛行の際の風は、 ドローンにと っての触覚器として利用できるのではないか」 という仮説を設定。 風によ って、 触ったり、 感じたりといった、 インプッ トとアウ トプッ ト両方向の展開可能性を示唆。 仮説を検証するプログラムを用意する ドローンの風で風船を浮かせる。 複数のドローンの風で風船を運ぶ。 ドローンの風で別のドローンの飛行を妨げる。 といった、 �つの検証用飛行プログラムを制作。 その過程で生まれるならでのふるまいを観察する ����年�月に新宿で行った個展では上記の検証プログラムを鑑賞者とともに観察。 その過程で生まれるドローンの技術仕様ならではの動きを見出す体験を提供した。 研究的検証アプローチを通して そのテクノロジーならではのふるまいを観察する
43. https://www.youtube.com/watch?v=pR2oOmR3Kjs ドローンが来ると、 風が吹く
44. 隣接を考える そのテク ノロジーやサービスでできることを、 様々な軸で隣接領域に展開することが有効。 特にAR （XR） 領域においては、 ユーザーの行動センシングにひもづく 「短い時間軸」 の体験はまだまだ少ない。 隣接領域としては同じ機能や表現を、 別のターゲッ トユーザーに展開することも含む。 自分の知らない領域を考えるには、 その領域の人を刺激するアウトプットが大事 暗黙的な用途から抜け出す テク ノロジーやサービスにあらかじめ設定された暗黙的な用途を意識することで、 他のひとが考えていないような独自性のある領域のアイデアが出しやすくなる。 また暗黙的な用途から抜け出すには、 統合されたテクノロジーの技術要素を再度分解することが有効。 その技術要素ひとつひとつで何ができるか、 立ち戻って考えてみることで抜け出しやすくなる。 AR(XR)のアイデアを考える上でのポイント まとめ
45. 掃除機ARを活用してみたい方 今回のような 「自閉症児 ・ 者の自立活動への活用」 を含め、 自分の学校や職場でも試してみたい。 こんなことに使ってみたい。 という方大歓迎です。 掃除機ARのプロジェクトの今後をお手伝いいただける方 本アプリは手が足りなく、 現時点ではス トア上でリリースされていません。 開発面や運用面、 学術的な研究への展開などご協力いただける方、 是非お声掛けください。 大西のインタラクションデザイン作家活動に興味が湧いた方 本業の傍らではありますが、 このような作品やプロジェク トを進めています。 展示のお声がけや、 作品制作のご相談などありましたら、 お気軽にお声掛けくださいませ。 こんな方は是非、 お気軽にお声掛けください
46. ����/��/�� （土） , �� （日） ��:��～��:��@Blend Studio （大阪市此花区） 入場料 ： ���円 （学生以下無料） / 企画 ： インスタ部 開催概要 猪熊祐斗 / 遠藤紘也 / 小岩亮太 / 大西拓人 / 尾花和俊 / 柏木太郎 / 河本裕介 CABETSU / 佐々木航大 / 辻本太郎 / 平井誠之 / 平尾修悟 / 平原真 / hoehoe 参加作家 当日足を運べない方向けに、 作家によるプレゼンテーションをオンラインで配信 ・ �� （土） ��:��-��:�� YouTubeにて ��日にオンラインで作家によるプレゼンテーションを配信予定 https://www.youtube.com/watch?v=8iGkooRIq48 [告知] HOMEWORKS ����