Upgrade to Pro — share decks privately, control downloads, hide ads and more …

東海大学特別講義 2022 前半資料

東海大学特別講義 2022 前半資料

東海大学特別講義 2022「つなげて・ためして・アウトプット~社会の変化をデータや技術で感じとろう~」の登壇資料です。

◆スライド内の素材は以下を使用させて頂いております。ありがとうございます!

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

1ft-seabass
PRO

May 13, 2022
Tweet

More Decks by 1ft-seabass

Other Decks in Education

Transcript

  1. 東海大学特別講義 2022
    つなげて・ためして・アウトプット
    ~社会の変化をデータや技術で感じとろう~
    ワンフットシーバス 田中正吾

    View Slide

  2. まず今日の進行

    View Slide

  3. こんなスケジュール
    ➔ 前半授業 4限 15:10-16:50
    ◆ 田中のトークやリアルタイムデモを見る(約60分)
    ◆ 授業中から質問フォームから質問をする(約30分)
    ➔ 後半授業 5限 17:00-18:40
    ◆ 質問フォームから来た質問を田中が答える(約60分)
    ◆ レポートを答える時間(約30分)

    View Slide

  4. 前半授業は40分ほど田中が話したり
    リアルタイムデモをします

    View Slide

  5. 私が日々行っている
    様々な技術を動かし・考えて・アウトプットしていることが
    この変化する状況でどうなっているかの話をします

    View Slide

  6. 授業中から質問を受け付けます
    後半授業で、質問フォームで挙がった質問を答える予定です

    View Slide

  7. 質問フォームは事前にお伝えしてます
    確認よろしくお願いします!

    View Slide

  8. 今日ご紹介する関連URL集です
    http://bit.ly/
    tokai-202204-tanaka

    View Slide

  9. 後半授業は前半の質問に答えたりします
    質問フォーム優先ですが、その場で直接聞いてもOK!

    View Slide

  10. そして最後に30分で紙のレポートを書いて
    授業の最後に提出します

    View Slide

  11. 前半はこんな感じで進める予定
    トークに加えて、ところどころデモが入ります
    トーク
 デモ


    View Slide

  12. うまくリアクションを共有したい!
    生徒の皆さんの反応が全部見たいんだけど、構造上なかなかむずかしいのでなんとかしたい!

    View Slide

  13. リアクションシステムを作ってみました!
    Node-RED というツールで作っています

    View Slide

  14. さっそくみんなが参加するデモ
    リアクションシステム

    View Slide

  15. 良いなと思ったら「いいね!」ボタン押して反応!

    View Slide

  16. 自己紹介

    View Slide

  17. 田中正吾(たなかせいご)
    屋号:ワンフットシーバス
    2004年よりフリーランス。以後、FLASH制作を
    中心にインタラクティブコンテンツを主に行い現
    在に至る。
    最近ではWEBフロントエンドをベースにしなが
    らも、情報とインターフェースが合わさるアプ
    ローチという視点でIoTやMixed Realityといった
    技術も取り入れながら活動しています。

    View Slide

  18. ルーツ
    2005
    2000 2010

    View Slide

  19. 情報を扱うのが楽しいのでWEB制作へ
    美術大学
 PC WEB制作

    会社員→フリーランス

    2005

    2000
 2010


    View Slide

  20. 会社員からフリーランスへ
    美術大学
 PC WEB制作

    会社員→フリーランス

    2005

    2000
 2010


    View Slide

  21. 2010 スマホ WEB制作
    媒体がPCからスマホへ変わっていく
    デジタル サイネージ制作
    2015

    View Slide

  22. IoT・VR・AIつながっていく
    2015
    IoT制作
    2017
    Mixed Reality制作

    View Slide

  23. ざっくりいうと色々な技術を使って
    情報を届ける全般の手伝いをしている人

    View Slide

  24. 大事なこと

    View Slide

  25. 私は、IoT・AI・クラウド・VR など
    様々な技術でクライアントに関わっています

    View Slide

  26. これらの技術はそのものも大切だが、
    うまく連携して活かしあうことこそ大事
    これはきっと皆さんがこれから学んでいく技術にも同じことが言える

    View Slide

  27. たとえば、例として
    このように可能性が広がります
    IoT + AI = 現実のセンサデータに合わせて判断
    IoT + VR = 効率的に空間の環境を把握
    AI + VR = 現実の行動に合わせてアシスト

    View Slide

  28. つくってみて実感して
    試行錯誤して良くしていくことが大事
    つくる前は分からない調整する点やより良くできる点がある。Google 検索して出てこない。
    重要なのは活用して自分のものにしていくこと。考えるだけでは難しい。

    View Slide

  29. 新しい変化に対して色々な見え方ができる
    なぜこの技術が出てきたか、自分が作ってみたアレが良くなりそう、
    この仕組みは自分の知ってる作ったことがあるからつながっている

    View Slide

  30. 試行錯誤するときの手法を紹介

    View Slide

  31. こんな感じで進める予定
    トークに加えて、ところどころデモが入ります
    トーク
 デモ


    View Slide

  32. IoT

    View Slide

  33. Internet of Things
    (インターネットのモノ化)

    View Slide

  34. Internet of Things
    デバイスというモノや物事(アクション)を
    インターネットとつなげて
    見えないものが見えたり(=可視化)
    より便利になったりすること
    デバイス
 WEB
 デバイス
 WEB


    View Slide

  35. +インターネット

    View Slide

  36. インターネットの得意なところ

    View Slide

  37. データを見えるようにするのが得意

    View Slide

  38. 遠く離れた情報を得るのが得意

    View Slide

  39. 遠く離れたところに情報や操作を送るのも得意

    View Slide

  40. 最近はこれが発展して
    情報をみんなでシェアするのも得意

    View Slide

  41. 命令を自動で行ってくれる

    View Slide

  42. いつでもみることができる

    View Slide

  43. データを収集・蓄積・分析するのが得意

    View Slide

  44. 現実世界を知覚してデータ化する流れがある
    センシングでデータとして捉え、ネットワークを通じて収集、データ蓄積をする流れ
    ネットワーク

    データ収集

    現実世界

    センシングでデータ化 

    サーバー

    データ蓄積


    View Slide

  45. データによって現実世界に介入することもある
    サーバーでデータ分析や判断を行い、ネットワークを通じてデータ伝達、なんらかのアクションを行う
    現実世界

    なんらかのアクション 

    (アクチュエーター)

    サーバー

    データ分析・判断

    ネットワーク

    データ伝達


    View Slide

  46. 知覚できる量も拡大し細分化している
    センサーも増えて手軽に計測できインターネット経由でデータが蓄積できる
    PC WEB制作 スマホ WEB制作 IoT

    View Slide

  47. 知覚できる範囲は双方向性が強く
    より細かくより深くなった

    View Slide

  48. 私のIoT技術との付き合い方
    使いやすくなったセンサー類

    View Slide

  49. M5Stack・obnizのような
    すぐに試行錯誤できるデバイス
    今日紹介した Grove がつながるとセンシング・アクチュエータ(動き)部分も試行錯誤しやすい
    pressed A


    View Slide

  50. obniz

    View Slide

  51. obniz
    https://www.switch-science.com/catalog/3838/

    View Slide

  52. obnizというデバイスも動かしてみる

    View Slide

  53. obnizはモーターやセンサーをつなぐだけで
    すぐにクラウド経由で操作できるようになります

    View Slide

  54. しかもJavaScriptでコードがかけて
    いろいろな試行錯誤か可能

    View Slide

  55. さて、ここで obniz デモ。
    obniz とセンサーや動くもの(アクチュエータ)を加える

    View Slide

  56. obniz にテープLEDが制御します

    View Slide

  57. これを遠隔でカラーを変えます

    View Slide

  58. 実際に現場に行かなくても照明が操作できる

    View Slide

  59. IoT の事例のコロナ前と現在の変化
    社会が変わればニーズも変わるニースが変わればセンサーが変わる

    View Slide

  60. コロナ禍で換気の重要性がでてきた
    コロナ以前はトイレの空き状況や会議室の空き状況といった事例が多かった

    View Slide

  61. 部屋の空き状況管理のIoT
    その場に行かなくてもセンサーが使用状況を把握して開き具合が分かりスムーズに使える
    センサー センサー センサー

    View Slide

  62. 部屋の空き状況管理のIoT
    ➔ トイレでも会議室でも「実際にその部屋に行かないと状況
    が分からない」という課題が各所にあった。
    ➔ 予約管理システムがあるケースもあるが、現場の使用状況
    との整合性が取れていないケースも。
    ➔ IoT が加わり人間の代わりにセンサーによって現場がデー
    タで見れる「遠隔」要素で課題解決しやすく。
    ➔ さらに使用状況をデータとして「蓄積」したり「可視化」
    できユーザーの行動の利便性が上がった。
    ➔ より気軽にトイレや部屋が使えるという安心感の向上。

    View Slide

  63. コロナ禍での換気 IoT
    空気のよどみを人間の呼吸をターゲットに CO2 センサーで把握して適切な換気をして快適な空間管理をする
    1473
    ppm
    センサー

    View Slide

  64. コロナ禍での換気 IoT
    ➔ コロナの性質から換気が重要になったが、空気のよどみは
    目に見えないので対策が難しかった。
    ➔ IoT が加わり CO2 センサーで人間の知覚できない空気の
    よどみを把握でき適切な換気タイミングを知れるように
    なった。ある意味の「拡張知覚」「可視化」。
    ➔ コロナ禍で移動の制約が多くなり、現場に行かなくても状
    況が把握できる「遠隔」や「データ共有」が大切に。
    ➔ コロナ禍でも換気がよく管理された空間で活動ができると
    いう安心感の向上。(以前より身に迫った感がある)

    View Slide

  65. CO2 センサーの IoT デモします!
    リアルタイムデモ!

    View Slide

  66. みなさんも一緒に見れます!
    https://tokai-univ-2022-iot-controll.herokuapp.com/ui/

    View Slide

  67. ここにある CO2 センサーの値が
    ネットワーク経由でグラフで見えます

    View Slide

  68. M5StackというIoTデバイスと
    Grove CO2 センサーでできています
    各パーツのくわしい紹介は後ほど触れるので大丈夫です
    CO2センサー
    M5Stack
    Grove システム

    View Slide

  69. M5Stack は Wi-Fi につながるので
    ネットワークの先にあるデータを送ります
    MQTT ブローカーというデータを指揮する場所に知らせてる感じ
    センサー
    MQTT

    View Slide

  70. Node-RED という通信やデータを良い感じに扱える
    ローコードツールでデータを受けとります
    Node-RED
    センサー
    MQTT

    View Slide

  71. Node-RED がダッシュボード機能で
    データを可視化します
    Node-RED
    センサー
    MQTT
    グラフで
    可視化

    View Slide

  72. Node-RED のデータの流れ
    CO2 センサーの値の様子を Node-RED のダッシュボードで可視化

    View Slide

  73. 実際に動作している様子
    Node-RED のダッシュボードで CO2 センサーの状況が見える

    View Slide

  74. みなさんも一緒に見れます!
    https://tokai-univ-2022-iot-controll.herokuapp.com/ui/

    View Slide

  75. それではデモスタート!

    View Slide

  76. それぞれの IoT の仕組みで共通していること

    View Slide

  77. 現実世界をセンサーで知覚して
    データとして捉える
    収集
    収集
    収集
    データ
    センサー(知覚)

    View Slide

  78. スマホやPCではディスプレイ越しだったが
    センサーによって現実世界により深く触れれる
    センサー

    View Slide

  79. データとインターネットが組み合わすと
    遠隔で何かしたり蓄積できる
    データ
    センサー(知覚) データ蓄積
    収集
    収集
    収集

    View Slide

  80. データをまとめて可視化したり
    通知したり分析することができる
    データ
    (知覚) データ蓄積 可視化・通知
    ・分析

    View Slide

  81. ここからフィードバック(次どうする)が生まれ
    行動が変わったり便利になったり対策が立てれる

    View Slide

  82. このあたりが IoT で
    できるようになって大事で楽しいところ
    現実世界がデータととらえられて、データにすれば今までのITの知見でいろいろ良くできる


    収集
    収集
    データ
    センサー
    (知覚)
    データ蓄積 可視化・通知
    ・分析

    View Slide

  83. では IoT により馴染むには?

    View Slide

  84. 実際に自分で IoT に触れてみよう
    自分の身近なところから IoT でより良くしていくための機材や考え方を私の経験から話します

    View Slide

  85. なんかこういうのってお値段高いんじゃないの?
    自分ではなかなか挑戦しづらそう!

    View Slide

  86. いえいえ、大丈夫です

    View Slide

  87. デバイスやセンサーは
    最近手軽に手に入りやすくなっています!
    半導体不足で手に入りにくいものもありますが、以前と比べてという話

    View Slide

  88. たとえば、この CO2 センサーは Grove システム

    View Slide

  89. スイッチサイエンスさんの例
    https://www.switch-science.com/catalog/list/379/

    View Slide

  90. Grove システム制作元の Seeed Studio 社の様子
    https://jp.seeedstudio.com/category/Grove-c-1003/category/Sensor-for-Grove-c-24.html

    View Slide

  91. Groveのように様々なセンサーが手に入りやすく
    現場実装の想像力を育てることができる
    経験がないとどうしても視野が広がりにくい

    View Slide

  92. 私の Grove センサーたくさん持ってきたので
    よかったら後で見てみてください

    View Slide

  93. IoT をするためのデバイスも
    手に入りやすくなっている

    View Slide

  94. たとえば、この M5Stack というデバイスは
    すぐに IoT をはじめられる良いデバイス

    View Slide

  95. スイッチサイエンスさんの M5Stack 紹介
    https://www.switch-science.com/catalog/7362/

    View Slide

  96. IoT をしたいときに必要なものがモリモリ

    View Slide

  97. Grove もつながるので IoT をサッとはじめて
    データやセンサーを試行錯誤できる
    普段の仕事を同じように、アイデアを手元ですぐに試せるので、自分の身近になり実感が湧く

    View Slide

  98. こういうツールで自分の知っている円の中に
    IoT の感覚をうまーく馴染ませるとイイ

    View Slide

  99. このような「サッと試すこと」の
    実務での取り組みへの活用
    田中の普段の動きから

    View Slide

  100. 仕事で IoT に関わるまえに、自分なりに
    IoT でまわりを良くする試行錯誤ができる
    経験値が自分のハンドリングで積める!
    うまく IoT で便利になれば良い知見ゲット!課題見えても実感の精度高い知見ゲット!
    ↓ わたしの例

    View Slide

  101. 案件で使うセンサーや IoT デバイスがなくても
    購入できる近しい構成ですぐ作って検証できる
    プロトタイピング。取得したいデータも見えてくるし、蓄積や分析などその先のやることも見えやすい。

    View Slide

  102. 試すと設置・通信状況・データの実情など
    自分なりのものさしが見えてくる
    状況がわかるデータ取得のタイミングであったり、
    どこに設置するか、どんなデータの設計だと使いやすいか、実はどんなデータが見たいかなど
    自分でつくるときの自分ツッコミは結構リアル。業務へのひとつのものさし・こだわりが見えてくる。

    View Slide

  103. IoT はハードウェアに目が行きがちだが
    ソフトウェアの大切さも見えてくる
    IoT の可視化・通知・分析やそれ以降となると、サッと試すクラウド環境だったり、デバイス管理だったり、
    IoT を支える技術の大事さとともに、それでもすぐ試せる必要なオールインワンな環境が見えてくる

    View Slide

  104. すぐ試せる構成の性能レベルや課題を実感でき
    仕事で使うエンタープライズ構成の素敵さが分かる
    用途に合う機材の選定や予算感、業務での実装の先回りがしやすくなる、解像度が高まる!

    View Slide

  105. 実は今回も SORACOM さんにある
    上位の CO2 センサーもこの空間に仕掛けています
    LTE-M CO2センサー RS-LTECO2 スターターキット

    View Slide

  106. 自分の仕組みとくらべての素敵さや
    押さえたいポイントがよーく分かる
    入手性、なぜ LTE 通信が良いか、コンパクトさ、電源と設置のしやすさ、すぐ使える感じ などなど

    View Slide

  107. データの見せ方や取得タイミングであったり
    運用するために必要なものなども実感できる
    複数人のログイン・ダッシュボードの見やすさ・グラフもいいけど通知の便利さ だったり

    View Slide

  108. おのおのの課題への色々なアプローチが知れて
    いざ現場でもアイデアが出しやすくなる
    例:ある場所を人の検知や人の流れを知りたい
    WEBカメラで画像認識 AI も自分で試すと得手不得手や教師データ収集の大変さをみえ万能じゃないと知れたり
    あるいは同じ状況でも他のセンサーを使うと良い感じに状況がつかめるアプローチも知れるかもしれない!

    View Slide

  109. Groveシステムによって
    ハードウェアも試行錯誤しやすくなってきた

    View Slide

  110. Groveシステムとは
    引用: https://dotstud.io/docs/grove/
    Groveとは、seeed studioが開発している差すだけ で
    扱えるセンサーなどがあるモジュールのことです。
    どのモジュールも端子に凹凸があるため、初心者でも向きを間違えることなく扱えたり
    手軽に差し替えたりすることが出来るので、プロトタイピングをするときにピッタリ。

    View Slide

  111. スイッチサイエンス社の例
    Grove センサの一部。スイッチや人間の五感に近いセンサなどいろいろある。

    View Slide

  112. もう少し一覧を見てみましょう
    https://www.switch-science.com/catalog/list/379/

    View Slide

  113. 個人でも手が届くことで
    発想しやすく試しやすくなる

    View Slide

  114. 使いやすいデバイス・センサー・インターネット
    こちらを駆使して試行錯誤をしてます

    View Slide

  115. ➔ IoT もコロナ禍を通じて社会からのニーズも変化すること
    で変わり続けている
    ➔ IoT には現実世界のデータ知覚→蓄積→分析→フィード
    バック で現実を良くしていく大事なループがあり楽しい
    ➔ 最近は IoT を自分の手元ではじめやすいので、自分なりに
    IoT を試行錯誤してみると経験値や解像度が高まります
    ➔ 自分の技術と IoT を馴染ませておくと、いざ現場でも色々
    なアプローチで関わることができます
    ここまでのまとめ
    IoT の最近の雰囲気と、サッと自分から試すことの効用

    View Slide

  116. ツールの力ですばやく作ってためす

    View Slide

  117. ツールの力ですばやく作ってためす
    クラウドやAIもすばやくつくれるようになってきました

    View Slide

  118. クラウド
    様々な技術を自分でサーバーや難しい設定をすることなく、手軽に扱うことができる一連のサービス

    View Slide

  119. 自分で作ると本来時間がかかる大変な仕組みを
    クラウドの力を借りるとすぐに試せます

    View Slide

  120. APIを知っておくと幅が広がる

    View Slide

  121. API=Application Programming Interface
    http://e-words.jp/w/API.html

    View Slide

  122. API はデータをやりとりする出入り口

    View Slide

  123. API は技術同士をつなげる良き接着剤
    AI
    データベース
    ストレージ
    IoT
    サーバレス
    開発者ツール
    ブロックチェーン
    セキュリティ
    ネットワーク
    API

    View Slide

  124. View Slide

  125. データを受け取るメリット
    世界には様々なAPIがある。出来上がった仕組みにデータを入れて色々なことを考えられる。

    View Slide

  126. データにアクセスできるメリット
    最近は外部の高機能な仕組みをうまく利用して自分のつくりたいものを拡張できる
    例:クラウド

    View Slide

  127. こうやって組み合わせることで
    いろいろな価値が分かりやりたいことが広がる

    View Slide

  128. 多くのAPIはHTTPでできているので
    ここを抑えておくと自由度が上がる

    View Slide

  129. いろいろなAPIの例
    この記事は海外で有名なAPI集を私が調べてひとつひとつ合計100個まとめたものです
    https://zenn.dev/protoout/books/public-apis-api-get

    View Slide

  130. つなげやすくするツール

    View Slide

  131. IFTTTというAPIを連携するサービス
    外部サービスのAPIに気軽に連携できる
    https://ifttt.com/

    View Slide

  132. このようにデータをより細かく調整して
    試行錯誤するときにはNode-REDも良い
    IoTは、センサー・データ・蓄積先など様々な要素が変わるのでプログラムのスクラップアンドビルドが多い
    https://nodered.jp/

    View Slide

  133. 作りたいものに早く到達できる
    気軽にやり直したり試すことができる
    IoTのようにハードウェアとソフトウェアを連携すると多岐に及ぶので試行錯誤のしやすさは着目しましょう

    View Slide

  134. 1歳息子の寝姿をこっそり見る仕組みだった
    それが子育ての状況に合わせて進化しました

    View Slide

  135. 2歳息子の寝姿をこっそり見る仕組みへ
    寝室をインターネットカメラで撮影しています

    View Slide

  136. LINE BOT に画像を求めると
    今の寝姿を撮影してきてくれたり

    View Slide

  137. 10秒ごと更新している寝姿が確認できる
    家のネットワーク内オンリー

    View Slide

  138. 仕組みの話

    View Slide

  139. 今回使っているインターネットカメラ

    View Slide

  140. IODATA Qwatch という
    インターネットカメラ
    見守りカメラ
    Qwatch TS-NS110W

    View Slide

  141. なかなか良い画質

    View Slide

  142. 暗視モードもあって
    部屋の明るさで自動切換してくれる
    つまり暗闇で起きていることもこっそりと気づける

    View Slide

  143. 公式にAPIが公開されており
    静止画撮影も反応早く撮影できる
    https://www.iodata.jp/product/lancam/api/index.htm

    View Slide

  144. 外の Node-RED と家の中の Node-RED が活躍
    LINE BOT を受け付けるのは Azure に作った Node-RED で
    家の中の Node-RED がカメラとのやりとり(画像取得)を行っている
    Azure VM
    Node-RED
    Raspberry Pi
    Node-RED
    MQTT HTTP
    HTTP
    HTTP

    View Slide

  145. 家だけで画像が見れる仕組み
    Node-RED が 10 秒ごとインターネットカメラから取得してストックしている。シンプルな仕組み。
    Raspberry Pi
    Node-RED
    HTTP

    View Slide

  146. このようなフロー

    View Slide

  147. 画像くださいって言って取ってくる仕組み

    View Slide

  148. 画像くださいって言って取ってくる仕組み
    MQTT によって「画像ください」というお願いを家の中の Node-RED に届ける。
    カメラから画像を取得したら HTTP で Base64 文字列で戻して LINE BOT が応答している。
    MQTT HTTP
    HTTP
    Base64
    文字列

    View Slide

  149. 10秒ごとの更新画像があるので
    外からお願いされたら中から応答する

    View Slide

  150. 家族のフィードバックの話を

    View Slide

  151. 泣き声が聞こえたときに部屋の外から
    もう起きるかまだ寝るかを見れる
    暗視もあるので昼夜ばっちり。これが一番利用してくれていると思う!うれしい!
    静かに起きてすぐ寝ちゃうとか分かってかわいすぎる。寝なそうな挙動も分かる。

    View Slide

  152. 外でも状況が見れるのはよい
    どちらかひとりが買い物など行っているときに状況が分かるのは情報共有として良い。
    かわいい寝姿を気づかれずに撮影できるのもよい(スマホだと撮る気配やシャッター音で起きる場合もある)

    View Slide

  153. このツールで家族と新しい側面の
    コミュニケーションができてとても楽しい
    テクノロジーと開発で生活に新しい側面を生まれる

    View Slide

  154. フィードバックももらいながら
    現実にうまく対応して楽しくする実装力がつく
    テクノロジーを現実に自分なりにしっかり実装する機会を出会える作れる

    View Slide

  155. 自分のつくる力が息子が生まれてからも
    仕事だけでなく生活にも活用できててグッとくる
    以前からこういうファミリーテックするのが目標にしていたのでよかった。引き続き、楽しんでいきたい!
    最近はスマート温湿度センサーで夏場&冬場の温度変化を把握する実装をしてみました!

    View Slide

  156. IoT + VR

    View Slide

  157. 今日の VR デバイス

    View Slide

  158. HoloLens 2
    https://www.microsoft.com/ja-jp/hololens/hardware

    View Slide

  159. センサーによって人間に対して
    新しい空間感覚が提供されつつある

    View Slide

  160. HoloLens

    OUTPUT

    INPUT

    現実空間をそのまま入出力できるデバイス
    こういった認識も高度なセンシングによって実現できている

    View Slide

  161. IoTは現実に対してセンサーやデバイスが
    インターネットによって
    情報が相互に関わり合うもの
    デバイスやセンサー
    (現実空間)
    インターネット
    空間
    データ

    View Slide

  162. Mixed Reality 混合現実 も
    現実空間に対して3D映像によって
    情報が相互に関わり合うもの
    現実空間
    データ上の
    3D空間
    操作・データ

    View Slide

  163. こんなのも昨年開発で関わりました
    ドローン×ARグラスで災害現場の要救助者を発見する、レスキュードローンシステム実証実験
    https://prtimes.jp/main/html/rd/p/000000047.000013715.html

    View Slide

  164. Unity C#でいろいろ書ける
    Wi-Fiでインターネットにつながるので連携しやすい

    View Slide

  165. Unityからのやり取りはシンプルにして
    データの流れはNode-REDで変えるとやりやすい

    View Slide

  166. IoT+Mixed Reality(HoloLens 2)

    View Slide

  167. HoloLens 2でセンシング可視化のデモをします
    さきほどのCO2センシングデータをHoloLens 2上で可視化します

    View Slide

  168. 空間をうまく利用することで
    平面での情報伝達よりスムーズになるかもしれない
    すでに空間を利用した作業アシストの事例やコミュニケーション事例が出てきている

    View Slide

  169. Keigan Motor + HoloLens 2
    扱いやすくて強力なモーター動力を HooloLens 2 から直接 Bluetooth 制御したい
    Keigan Motor 引用 :
    https://keiganmotor.myshopify.com/collections/km-1u-%E5%8D%98%E4%BD%93/products/km-1u
    Bluetooth

    View Slide

  170. KeiganMotor KM-1U
    KeiganMotor KM-1Uはラピッドプロトタイピング(迅速な試作品製作)に
    特化したモーターモジュール®製品
    https://keigan-motor.com/km-1u/

    View Slide

  171. 以前も有線接続した Raspberry Pi + Node-RED が
    HoloLens 2 と Keigan Motor を中継するのは作りました
    このときは MQTT の接続まわりに力を入れた
    HoloLens 2 Keigan Motor
    Raspberry Pi
    Node-RED
    シリアル
    接続
    MQTT
    有線
    無線

    View Slide

  172. こんなコンテンツ
    https://twitter.com/1ft_seabass/status/1356407989922529280

    View Slide

  173. この仕組みでもいろいろ制御できるけど
    いかんせん関連する技術やデバイスが多い悩ましさがある
    HoloLens 2 Keigan Motor
    Raspberry Pi
    Node-RED
    シリアル
    接続
    MQTT
    有線
    無線

    View Slide

  174. もっと直接シンプルに動かせるパターンもあると
    より柔軟に対応るのでやってみたい
    大事なのはアプローチが多様でありたい
    Bluetooth

    View Slide

  175. Bluetooth での命令にも Keigan Motor は対応
    Bluetooth

    View Slide

  176. スマホから操作するかも
    Bluetooth 操作の例として

    View Slide

  177. HoloLens 2 に事前にペアリング
    設定 > デバイス > Bluetooth

    View Slide

  178. それでは動かしてみます
    まずは動画から

    View Slide

  179. 動きが分かりやすいように KeiganMotor に
    LEGO 矢印つけます

    View Slide

  180. リアルタイムデモもやってみます
    180,90,0 と角度の書かれたタイルをクリックすると回転します

    View Slide

  181. ロボットアームを遠くから操作する
    近くでも空間を認識しながら操作ができる

    View Slide

  182. 指輪ヘルスケアデバイス OuraRing 連携
    これと HoloLens 2 を連携するチャレンジめな事例を伝えたい

    View Slide

  183. 指につけるデバイスで色々なセンサーで
    健康状態を常にチェックしてくれる
    スマホアプリでBluetooth でデータ取得し体調・睡眠時間・アクティビティ・心拍数などクラウド分析

    View Slide

  184. なんと自分でも API 経由でデータ取得可能
    まさに API 活用

    View Slide

  185. これを Oura Ring をつけてる左腕に
    心拍数データを表示させてみます

    View Slide

  186. 自分の健康状態を空間可視化できる未来を感じる
    ヘルスケア+VR+IoT も色々なことができそう

    View Slide

  187. まとめ

    View Slide

  188. いろいろとお話してみました

    View Slide

  189. 試行錯誤がとても大事。いざ組んでみると、
    作る前は分からない調整点やより良くなる点がある

    View Slide

  190. つくってみて実感して
    試行錯誤して良くしていくことが大事

    View Slide

  191. 重要なのは使いやすいデバイスやツールを
    うまく使い、活用して自分のものにしていくこと
    発想
    プロトタイプ
    アウトプット

    View Slide

  192. 技術を覚えていきつつ
    他者に分かりやすく伝えることは大事

    View Slide

  193. 最近もゴールデンウイーク中
    アウトプットしてみました
    https://gw-advent.9wick.com/calendars/2022/120

    View Slide

  194. 人と交流することで新たな発見はある

    View Slide

  195. 最近は私も技術の広がりとともに
    関わる場所が広がってきた

    View Slide

  196. 今後、みなさんも総合力が活きてくる
    知って組み合わせてメリットばかり

    View Slide

  197. 伝える手段もどんどん変わるいま

    View Slide

  198. みなさんも是非どんどんと
    技術を広げて関わってみて下さい

    View Slide

  199. がんばりましょう!

    View Slide

  200. 前半授業はここで終了です
    質問あれば是非書いてみましょう

    View Slide