東海大学特別講義 2022 前半資料

東海大学特別講義 2022「つなげて・ためして・アウトプット～社会の変化をデータや技術で感じとろう～」の登壇資料です。

◆スライド内の素材は以下を使用させて頂いております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 東海大学特別講義 2022
   つなげて・ためして・アウトプット
   ～社会の変化をデータや技術で感じとろう～
   ワンフットシーバス 田中正吾
   

   View Slide

2. まず今日の進行
   

   View Slide

3. こんなスケジュール
   ➔ 前半授業 4限 15:10-16:50
   ◆ 田中のトークやリアルタイムデモを見る（約60分）
   ◆ 授業中から質問フォームから質問をする（約30分）
   ➔ 後半授業 5限 17:00-18:40
   ◆ 質問フォームから来た質問を田中が答える（約60分）
   ◆ レポートを答える時間（約30分）
   

   View Slide

4. 前半授業は40分ほど田中が話したり
   リアルタイムデモをします
   

   View Slide

5. 私が日々行っている
   様々な技術を動かし・考えて・アウトプットしていることが
   この変化する状況でどうなっているかの話をします
   

   View Slide

6. 授業中から質問を受け付けます
   後半授業で、質問フォームで挙がった質問を答える予定です
   

   View Slide

7. 質問フォームは事前にお伝えしてます
   確認よろしくお願いします！
   

   View Slide

8. 今日ご紹介する関連URL集です
   http://bit.ly/
   tokai-202204-tanaka
   

   View Slide

9. 後半授業は前半の質問に答えたりします
   質問フォーム優先ですが、その場で直接聞いてもOK！
   

   View Slide

10. そして最後に30分で紙のレポートを書いて
    授業の最後に提出します
    

    View Slide

11. 前半はこんな感じで進める予定
    トークに加えて、ところどころデモが入ります
    トーク
 デモ

    

    View Slide

12. うまくリアクションを共有したい！
    生徒の皆さんの反応が全部見たいんだけど、構造上なかなかむずかしいのでなんとかしたい！
    

    View Slide

13. リアクションシステムを作ってみました！
    Node-RED というツールで作っています
    

    View Slide

14. さっそくみんなが参加するデモ
    リアクションシステム
    

    View Slide

15. 良いなと思ったら「いいね！」ボタン押して反応！
    

    View Slide

16. 自己紹介
    

    View Slide

17. 田中正吾（たなかせいご）
    屋号：ワンフットシーバス
    2004年よりフリーランス。以後、FLASH制作を
    中心にインタラクティブコンテンツを主に行い現
    在に至る。
    最近ではWEBフロントエンドをベースにしなが
    らも、情報とインターフェースが合わさるアプ
    ローチという視点でIoTやMixed Realityといった
    技術も取り入れながら活動しています。
    

    View Slide

18. ルーツ
    2005
    2000 2010
    

    View Slide

19. 情報を扱うのが楽しいのでWEB制作へ
    美術大学
 PC WEB制作

    会社員→フリーランス

    2005

    2000
 2010

    

    View Slide

20. 会社員からフリーランスへ
    美術大学
 PC WEB制作

    会社員→フリーランス

    2005

    2000
 2010

    

    View Slide

21. 2010 スマホ WEB制作
    媒体がPCからスマホへ変わっていく
    デジタル サイネージ制作
    2015
    

    View Slide

22. IoT・VR・AIつながっていく
    2015
    IoT制作
    2017
    Mixed Reality制作
    

    View Slide

23. ざっくりいうと色々な技術を使って
    情報を届ける全般の手伝いをしている人
    

    View Slide

24. 大事なこと
    

    View Slide

25. 私は、IoT・AI・クラウド・VR など
    様々な技術でクライアントに関わっています
    

    View Slide

26. これらの技術はそのものも大切だが、
    うまく連携して活かしあうことこそ大事
    これはきっと皆さんがこれから学んでいく技術にも同じことが言える
    

    View Slide

27. たとえば、例として
    このように可能性が広がります
    IoT + AI = 現実のセンサデータに合わせて判断
    IoT + VR = 効率的に空間の環境を把握
    AI + VR = 現実の行動に合わせてアシスト
    

    View Slide

28. つくってみて実感して
    試行錯誤して良くしていくことが大事
    つくる前は分からない調整する点やより良くできる点がある。Google 検索して出てこない。
    重要なのは活用して自分のものにしていくこと。考えるだけでは難しい。
    

    View Slide

29. 新しい変化に対して色々な見え方ができる
    なぜこの技術が出てきたか、自分が作ってみたアレが良くなりそう、
    この仕組みは自分の知ってる作ったことがあるからつながっている
    

    View Slide

30. 試行錯誤するときの手法を紹介
    

    View Slide

31. こんな感じで進める予定
    トークに加えて、ところどころデモが入ります
    トーク
 デモ

    

    View Slide

32. IoT
    

    View Slide

33. Internet of Things
    （インターネットのモノ化）
    

    View Slide

34. Internet of Things
    デバイスというモノや物事（アクション）を
    インターネットとつなげて
    見えないものが見えたり（＝可視化）
    より便利になったりすること
    デバイス
 WEB
 デバイス
 WEB

    

    View Slide

35. ＋インターネット
    

    View Slide

36. インターネットの得意なところ
    

    View Slide

37. データを見えるようにするのが得意
    

    View Slide

38. 遠く離れた情報を得るのが得意
    

    View Slide

39. 遠く離れたところに情報や操作を送るのも得意
    

    View Slide

40. 最近はこれが発展して
    情報をみんなでシェアするのも得意
    

    View Slide

41. 命令を自動で行ってくれる
    

    View Slide

42. いつでもみることができる
    

    View Slide

43. データを収集・蓄積・分析するのが得意
    

    View Slide

44. 現実世界を知覚してデータ化する流れがある
    センシングでデータとして捉え、ネットワークを通じて収集、データ蓄積をする流れ
    ネットワーク

    データ収集

    現実世界

    センシングでデータ化 

    サーバー

    データ蓄積

    

    View Slide

45. データによって現実世界に介入することもある
    サーバーでデータ分析や判断を行い、ネットワークを通じてデータ伝達、なんらかのアクションを行う
    現実世界

    なんらかのアクション 

    （アクチュエーター）

    サーバー

    データ分析・判断

    ネットワーク

    データ伝達

    

    View Slide

46. 知覚できる量も拡大し細分化している
    センサーも増えて手軽に計測できインターネット経由でデータが蓄積できる
    PC WEB制作 スマホ WEB制作 IoT
    

    View Slide

47. 知覚できる範囲は双方向性が強く
    より細かくより深くなった
    

    View Slide

48. 私のIoT技術との付き合い方
    使いやすくなったセンサー類
    

    View Slide

49. M5Stack・obnizのような
    すぐに試行錯誤できるデバイス
    今日紹介した Grove がつながるとセンシング・アクチュエータ（動き）部分も試行錯誤しやすい
    pressed A

    

    View Slide

50. obniz
    

    View Slide

51. obniz
    https://www.switch-science.com/catalog/3838/
    

    View Slide

52. obnizというデバイスも動かしてみる
    

    View Slide

53. obnizはモーターやセンサーをつなぐだけで
    すぐにクラウド経由で操作できるようになります
    

    View Slide

54. しかもJavaScriptでコードがかけて
    いろいろな試行錯誤か可能
    

    View Slide

55. さて、ここで obniz デモ。
    obniz とセンサーや動くもの（アクチュエータ）を加える
    

    View Slide

56. obniz にテープLEDが制御します
    

    View Slide

57. これを遠隔でカラーを変えます
    

    View Slide

58. 実際に現場に行かなくても照明が操作できる
    

    View Slide

59. IoT の事例のコロナ前と現在の変化
    社会が変わればニーズも変わるニースが変わればセンサーが変わる
    

    View Slide

60. コロナ禍で換気の重要性がでてきた
    コロナ以前はトイレの空き状況や会議室の空き状況といった事例が多かった
    

    View Slide

61. 部屋の空き状況管理のIoT
    その場に行かなくてもセンサーが使用状況を把握して開き具合が分かりスムーズに使える
    センサー センサー センサー
    ！
    

    View Slide

62. 部屋の空き状況管理のIoT
    ➔ トイレでも会議室でも「実際にその部屋に行かないと状況
    が分からない」という課題が各所にあった。
    ➔ 予約管理システムがあるケースもあるが、現場の使用状況
    との整合性が取れていないケースも。
    ➔ IoT が加わり人間の代わりにセンサーによって現場がデー
    タで見れる「遠隔」要素で課題解決しやすく。
    ➔ さらに使用状況をデータとして「蓄積」したり「可視化」
    できユーザーの行動の利便性が上がった。
    ➔ より気軽にトイレや部屋が使えるという安心感の向上。
    

    View Slide

63. コロナ禍での換気 IoT
    空気のよどみを人間の呼吸をターゲットに CO2 センサーで把握して適切な換気をして快適な空間管理をする
    1473
    ppm
    センサー
    ！
    

    View Slide

64. コロナ禍での換気 IoT
    ➔ コロナの性質から換気が重要になったが、空気のよどみは
    目に見えないので対策が難しかった。
    ➔ IoT が加わり CO2 センサーで人間の知覚できない空気の
    よどみを把握でき適切な換気タイミングを知れるように
    なった。ある意味の「拡張知覚」「可視化」。
    ➔ コロナ禍で移動の制約が多くなり、現場に行かなくても状
    況が把握できる「遠隔」や「データ共有」が大切に。
    ➔ コロナ禍でも換気がよく管理された空間で活動ができると
    いう安心感の向上。（以前より身に迫った感がある）
    

    View Slide

65. CO2 センサーの IoT デモします！
    リアルタイムデモ！
    

    View Slide

66. みなさんも一緒に見れます！
    https://tokai-univ-2022-iot-controll.herokuapp.com/ui/
    

    View Slide

67. ここにある CO2 センサーの値が
    ネットワーク経由でグラフで見えます
    

    View Slide

68. M5StackというIoTデバイスと
    Grove CO2 センサーでできています
    各パーツのくわしい紹介は後ほど触れるので大丈夫です
    CO2センサー
    M5Stack
    Grove システム
    

    View Slide

69. M5Stack は Wi-Fi につながるので
    ネットワークの先にあるデータを送ります
    MQTT ブローカーというデータを指揮する場所に知らせてる感じ
    センサー
    MQTT
    

    View Slide

70. Node-RED という通信やデータを良い感じに扱える
    ローコードツールでデータを受けとります
    Node-RED
    センサー
    MQTT
    

    View Slide

71. Node-RED がダッシュボード機能で
    データを可視化します
    Node-RED
    センサー
    MQTT
    グラフで
    可視化
    

    View Slide

72. Node-RED のデータの流れ
    CO2 センサーの値の様子を Node-RED のダッシュボードで可視化
    

    View Slide

73. 実際に動作している様子
    Node-RED のダッシュボードで CO2 センサーの状況が見える
    

    View Slide

74. みなさんも一緒に見れます！
    https://tokai-univ-2022-iot-controll.herokuapp.com/ui/
    

    View Slide

75. それではデモスタート！
    

    View Slide

76. それぞれの IoT の仕組みで共通していること
    

    View Slide

77. 現実世界をセンサーで知覚して
    データとして捉える
    収集
    収集
    収集
    データ
    センサー（知覚）
    

    View Slide

78. スマホやPCではディスプレイ越しだったが
    センサーによって現実世界により深く触れれる
    センサー
    

    View Slide

79. データとインターネットが組み合わすと
    遠隔で何かしたり蓄積できる
    データ
    センサー（知覚） データ蓄積
    収集
    収集
    収集
    

    View Slide

80. データをまとめて可視化したり
    通知したり分析することができる
    データ
    （知覚） データ蓄積 可視化・通知
    ・分析
    

    View Slide

81. ここからフィードバック（次どうする）が生まれ
    行動が変わったり便利になったり対策が立てれる
    ！
    

    View Slide

82. このあたりが IoT で
    できるようになって大事で楽しいところ
    現実世界がデータととらえられて、データにすれば今までのITの知見でいろいろ良くできる
    収
    集
    収集
    収集
    データ
    センサー
    （知覚）
    データ蓄積 可視化・通知
    ・分析
    

    View Slide

83. では IoT により馴染むには？
    

    View Slide

84. 実際に自分で IoT に触れてみよう
    自分の身近なところから IoT でより良くしていくための機材や考え方を私の経験から話します
    

    View Slide

85. なんかこういうのってお値段高いんじゃないの？
    自分ではなかなか挑戦しづらそう！
    

    View Slide

86. いえいえ、大丈夫です
    

    View Slide

87. デバイスやセンサーは
    最近手軽に手に入りやすくなっています！
    半導体不足で手に入りにくいものもありますが、以前と比べてという話
    

    View Slide

88. たとえば、この CO2 センサーは Grove システム
    

    View Slide

89. スイッチサイエンスさんの例
    https://www.switch-science.com/catalog/list/379/
    

    View Slide

90. Grove システム制作元の Seeed Studio 社の様子
    https://jp.seeedstudio.com/category/Grove-c-1003/category/Sensor-for-Grove-c-24.html
    

    View Slide

91. Groveのように様々なセンサーが手に入りやすく
    現場実装の想像力を育てることができる
    経験がないとどうしても視野が広がりにくい
    

    View Slide

92. 私の Grove センサーたくさん持ってきたので
    よかったら後で見てみてください
    

    View Slide

93. IoT をするためのデバイスも
    手に入りやすくなっている
    

    View Slide

94. たとえば、この M5Stack というデバイスは
    すぐに IoT をはじめられる良いデバイス
    

    View Slide

95. スイッチサイエンスさんの M5Stack 紹介
    https://www.switch-science.com/catalog/7362/
    

    View Slide

96. IoT をしたいときに必要なものがモリモリ
    

    View Slide

97. Grove もつながるので IoT をサッとはじめて
    データやセンサーを試行錯誤できる
    普段の仕事を同じように、アイデアを手元ですぐに試せるので、自分の身近になり実感が湧く
    

    View Slide

98. こういうツールで自分の知っている円の中に
    IoT の感覚をうまーく馴染ませるとイイ
    

    View Slide

99. このような「サッと試すこと」の
    実務での取り組みへの活用
    田中の普段の動きから
    

    View Slide

100. 仕事で IoT に関わるまえに、自分なりに
     IoT でまわりを良くする試行錯誤ができる
     経験値が自分のハンドリングで積める！
     うまく IoT で便利になれば良い知見ゲット！課題見えても実感の精度高い知見ゲット！
     ↓ わたしの例
     

     View Slide

101. 案件で使うセンサーや IoT デバイスがなくても
     購入できる近しい構成ですぐ作って検証できる
     プロトタイピング。取得したいデータも見えてくるし、蓄積や分析などその先のやることも見えやすい。
     

     View Slide

102. 試すと設置・通信状況・データの実情など
     自分なりのものさしが見えてくる
     状況がわかるデータ取得のタイミングであったり、
     どこに設置するか、どんなデータの設計だと使いやすいか、実はどんなデータが見たいかなど
     自分でつくるときの自分ツッコミは結構リアル。業務へのひとつのものさし・こだわりが見えてくる。
     

     View Slide

103. IoT はハードウェアに目が行きがちだが
     ソフトウェアの大切さも見えてくる
     IoT の可視化・通知・分析やそれ以降となると、サッと試すクラウド環境だったり、デバイス管理だったり、
     IoT を支える技術の大事さとともに、それでもすぐ試せる必要なオールインワンな環境が見えてくる
     

     View Slide

104. すぐ試せる構成の性能レベルや課題を実感でき
     仕事で使うエンタープライズ構成の素敵さが分かる
     用途に合う機材の選定や予算感、業務での実装の先回りがしやすくなる、解像度が高まる！
     

     View Slide

105. 実は今回も SORACOM さんにある
     上位の CO2 センサーもこの空間に仕掛けています
     LTE-M CO2センサー RS-LTECO2 スターターキット
     

     View Slide

106. 自分の仕組みとくらべての素敵さや
     押さえたいポイントがよーく分かる
     入手性、なぜ LTE 通信が良いか、コンパクトさ、電源と設置のしやすさ、すぐ使える感じ　などなど
     

     View Slide

107. データの見せ方や取得タイミングであったり
     運用するために必要なものなども実感できる
     複数人のログイン・ダッシュボードの見やすさ・グラフもいいけど通知の便利さ　だったり
     

     View Slide

108. おのおのの課題への色々なアプローチが知れて
     いざ現場でもアイデアが出しやすくなる
     例：ある場所を人の検知や人の流れを知りたい
     WEBカメラで画像認識 AI も自分で試すと得手不得手や教師データ収集の大変さをみえ万能じゃないと知れたり
     あるいは同じ状況でも他のセンサーを使うと良い感じに状況がつかめるアプローチも知れるかもしれない！
     

     View Slide

109. Groveシステムによって
     ハードウェアも試行錯誤しやすくなってきた
     

     View Slide

110. Groveシステムとは
     引用： https://dotstud.io/docs/grove/
     Groveとは、seeed studioが開発している差すだけ で
     扱えるセンサーなどがあるモジュールのことです。
     どのモジュールも端子に凹凸があるため、初心者でも向きを間違えることなく扱えたり
     手軽に差し替えたりすることが出来るので、プロトタイピングをするときにピッタリ。
     

     View Slide

111. スイッチサイエンス社の例
     Grove センサの一部。スイッチや人間の五感に近いセンサなどいろいろある。
     

     View Slide

112. もう少し一覧を見てみましょう
     https://www.switch-science.com/catalog/list/379/
     

     View Slide

113. 個人でも手が届くことで
     発想しやすく試しやすくなる
     

     View Slide

114. 使いやすいデバイス・センサー・インターネット
     こちらを駆使して試行錯誤をしてます
     

     View Slide

115. ➔ IoT もコロナ禍を通じて社会からのニーズも変化すること
     で変わり続けている
     ➔ IoT には現実世界のデータ知覚→蓄積→分析→フィード
     バック で現実を良くしていく大事なループがあり楽しい
     ➔ 最近は IoT を自分の手元ではじめやすいので、自分なりに
     IoT を試行錯誤してみると経験値や解像度が高まります
     ➔ 自分の技術と IoT を馴染ませておくと、いざ現場でも色々
     なアプローチで関わることができます
     ここまでのまとめ
     IoT の最近の雰囲気と、サッと自分から試すことの効用
     

     View Slide

116. ツールの力ですばやく作ってためす
     

     View Slide

117. ツールの力ですばやく作ってためす
     クラウドやAIもすばやくつくれるようになってきました
     

     View Slide

118. クラウド
     様々な技術を自分でサーバーや難しい設定をすることなく、手軽に扱うことができる一連のサービス
     

     View Slide

119. 自分で作ると本来時間がかかる大変な仕組みを
     クラウドの力を借りるとすぐに試せます
     

     View Slide

120. APIを知っておくと幅が広がる
     

     View Slide

121. API=Application Programming Interface
     http://e-words.jp/w/API.html
     

     View Slide

122. API はデータをやりとりする出入り口
     

     View Slide

123. API は技術同士をつなげる良き接着剤
     AI
     データベース
     ストレージ
     IoT
     サーバレス
     開発者ツール
     ブロックチェーン
     セキュリティ
     ネットワーク
     API
     

     View Slide

124. View Slide

125. データを受け取るメリット
     世界には様々なAPIがある。出来上がった仕組みにデータを入れて色々なことを考えられる。
     

     View Slide

126. データにアクセスできるメリット
     最近は外部の高機能な仕組みをうまく利用して自分のつくりたいものを拡張できる
     例：クラウド
     

     View Slide

127. こうやって組み合わせることで
     いろいろな価値が分かりやりたいことが広がる
     

     View Slide

128. 多くのAPIはHTTPでできているので
     ここを抑えておくと自由度が上がる
     

     View Slide

129. いろいろなAPIの例
     この記事は海外で有名なAPI集を私が調べてひとつひとつ合計100個まとめたものです
     https://zenn.dev/protoout/books/public-apis-api-get
     

     View Slide

130. つなげやすくするツール
     

     View Slide

131. IFTTTというAPIを連携するサービス
     外部サービスのAPIに気軽に連携できる
     https://ifttt.com/
     

     View Slide

132. このようにデータをより細かく調整して
     試行錯誤するときにはNode-REDも良い
     IoTは、センサー・データ・蓄積先など様々な要素が変わるのでプログラムのスクラップアンドビルドが多い
     https://nodered.jp/
     

     View Slide

133. 作りたいものに早く到達できる
     気軽にやり直したり試すことができる
     IoTのようにハードウェアとソフトウェアを連携すると多岐に及ぶので試行錯誤のしやすさは着目しましょう
     

     View Slide

134. 1歳息子の寝姿をこっそり見る仕組みだった
     それが子育ての状況に合わせて進化しました
     

     View Slide

135. 2歳息子の寝姿をこっそり見る仕組みへ
     寝室をインターネットカメラで撮影しています
     

     View Slide

136. LINE BOT に画像を求めると
     今の寝姿を撮影してきてくれたり
     

     View Slide

137. 10秒ごと更新している寝姿が確認できる
     家のネットワーク内オンリー
     

     View Slide

138. 仕組みの話
     

     View Slide

139. 今回使っているインターネットカメラ
     

     View Slide

140. IODATA Qwatch という
     インターネットカメラ
     見守りカメラ
     Qwatch TS-NS110W
     

     View Slide

141. なかなか良い画質
     

     View Slide

142. 暗視モードもあって
     部屋の明るさで自動切換してくれる
     つまり暗闇で起きていることもこっそりと気づける
     

     View Slide

143. 公式にAPIが公開されており
     静止画撮影も反応早く撮影できる
     https://www.iodata.jp/product/lancam/api/index.htm
     

     View Slide

144. 外の Node-RED と家の中の Node-RED が活躍
     LINE BOT を受け付けるのは Azure に作った Node-RED で
     家の中の Node-RED がカメラとのやりとり（画像取得）を行っている
     Azure VM
     Node-RED
     Raspberry Pi
     Node-RED
     MQTT HTTP
     HTTP
     HTTP
     

     View Slide

145. 家だけで画像が見れる仕組み
     Node-RED が 10 秒ごとインターネットカメラから取得してストックしている。シンプルな仕組み。
     Raspberry Pi
     Node-RED
     HTTP
     

     View Slide

146. このようなフロー
     

     View Slide

147. 画像くださいって言って取ってくる仕組み
     

     View Slide

148. 画像くださいって言って取ってくる仕組み
     MQTT によって「画像ください」というお願いを家の中の Node-RED に届ける。
     カメラから画像を取得したら HTTP で Base64 文字列で戻して LINE BOT が応答している。
     MQTT HTTP
     HTTP
     Base64
     文字列
     

     View Slide

149. 10秒ごとの更新画像があるので
     外からお願いされたら中から応答する
     

     View Slide

150. 家族のフィードバックの話を
     

     View Slide

151. 泣き声が聞こえたときに部屋の外から
     もう起きるかまだ寝るかを見れる
     暗視もあるので昼夜ばっちり。これが一番利用してくれていると思う！うれしい！
     静かに起きてすぐ寝ちゃうとか分かってかわいすぎる。寝なそうな挙動も分かる。
     

     View Slide

152. 外でも状況が見れるのはよい
     どちらかひとりが買い物など行っているときに状況が分かるのは情報共有として良い。
     かわいい寝姿を気づかれずに撮影できるのもよい（スマホだと撮る気配やシャッター音で起きる場合もある）
     

     View Slide

153. このツールで家族と新しい側面の
     コミュニケーションができてとても楽しい
     テクノロジーと開発で生活に新しい側面を生まれる
     

     View Slide

154. フィードバックももらいながら
     現実にうまく対応して楽しくする実装力がつく
     テクノロジーを現実に自分なりにしっかり実装する機会を出会える作れる
     

     View Slide

155. 自分のつくる力が息子が生まれてからも
     仕事だけでなく生活にも活用できててグッとくる
     以前からこういうファミリーテックするのが目標にしていたのでよかった。引き続き、楽しんでいきたい！
     最近はスマート温湿度センサーで夏場＆冬場の温度変化を把握する実装をしてみました！
     

     View Slide

156. IoT + VR
     

     View Slide

157. 今日の VR デバイス
     

     View Slide

158. HoloLens 2
     https://www.microsoft.com/ja-jp/hololens/hardware
     

     View Slide

159. センサーによって人間に対して
     新しい空間感覚が提供されつつある
     

     View Slide

160. HoloLens

     OUTPUT

     INPUT

     現実空間をそのまま入出力できるデバイス
     こういった認識も高度なセンシングによって実現できている
     

     View Slide

161. IoTは現実に対してセンサーやデバイスが
     インターネットによって
     情報が相互に関わり合うもの
     デバイスやセンサー
     （現実空間）
     インターネット
     空間
     データ
     

     View Slide

162. Mixed Reality 混合現実 も
     現実空間に対して3D映像によって
     情報が相互に関わり合うもの
     現実空間
     データ上の
     3D空間
     操作・データ
     

     View Slide

163. こんなのも昨年開発で関わりました
     ドローン×ARグラスで災害現場の要救助者を発見する、レスキュードローンシステム実証実験
     https://prtimes.jp/main/html/rd/p/000000047.000013715.html
     

     View Slide

164. Unity C#でいろいろ書ける
     Wi-Fiでインターネットにつながるので連携しやすい
     

     View Slide

165. Unityからのやり取りはシンプルにして
     データの流れはNode-REDで変えるとやりやすい
     

     View Slide

166. IoT＋Mixed Reality（HoloLens 2）
     

     View Slide

167. HoloLens 2でセンシング可視化のデモをします
     さきほどのCO2センシングデータをHoloLens 2上で可視化します
     

     View Slide

168. 空間をうまく利用することで
     平面での情報伝達よりスムーズになるかもしれない
     すでに空間を利用した作業アシストの事例やコミュニケーション事例が出てきている
     

     View Slide

169. Keigan Motor + HoloLens 2
     扱いやすくて強力なモーター動力を HooloLens 2 から直接 Bluetooth 制御したい
     Keigan Motor 引用 :
     https://keiganmotor.myshopify.com/collections/km-1u-%E5%8D%98%E4%BD%93/products/km-1u
     Bluetooth
     

     View Slide

170. KeiganMotor KM-1U
     KeiganMotor KM-1Uはラピッドプロトタイピング（迅速な試作品製作）に
     特化したモーターモジュール®製品
     https://keigan-motor.com/km-1u/
     

     View Slide

171. 以前も有線接続した Raspberry Pi + Node-RED が
     HoloLens 2 と Keigan Motor を中継するのは作りました
     このときは MQTT の接続まわりに力を入れた
     HoloLens 2 Keigan Motor
     Raspberry Pi
     Node-RED
     シリアル
     接続
     MQTT
     有線
     無線
     

     View Slide

172. こんなコンテンツ
     https://twitter.com/1ft_seabass/status/1356407989922529280
     

     View Slide

173. この仕組みでもいろいろ制御できるけど
     いかんせん関連する技術やデバイスが多い悩ましさがある
     HoloLens 2 Keigan Motor
     Raspberry Pi
     Node-RED
     シリアル
     接続
     MQTT
     有線
     無線
     

     View Slide

174. もっと直接シンプルに動かせるパターンもあると
     より柔軟に対応るのでやってみたい
     大事なのはアプローチが多様でありたい
     Bluetooth
     

     View Slide

175. Bluetooth での命令にも Keigan Motor は対応
     Bluetooth
     

     View Slide

176. スマホから操作するかも
     Bluetooth 操作の例として
     

     View Slide

177. HoloLens 2 に事前にペアリング
     設定 > デバイス > Bluetooth
     

     View Slide

178. それでは動かしてみます
     まずは動画から
     

     View Slide

179. 動きが分かりやすいように KeiganMotor に
     LEGO 矢印つけます
     

     View Slide

180. リアルタイムデモもやってみます
     180,90,0 と角度の書かれたタイルをクリックすると回転します
     

     View Slide

181. ロボットアームを遠くから操作する
     近くでも空間を認識しながら操作ができる
     

     View Slide

182. 指輪ヘルスケアデバイス OuraRing 連携
     これと HoloLens 2 を連携するチャレンジめな事例を伝えたい
     

     View Slide

183. 指につけるデバイスで色々なセンサーで
     健康状態を常にチェックしてくれる
     スマホアプリでBluetooth でデータ取得し体調・睡眠時間・アクティビティ・心拍数などクラウド分析
     

     View Slide

184. なんと自分でも API 経由でデータ取得可能
     まさに API 活用
     

     View Slide

185. これを Oura Ring をつけてる左腕に
     心拍数データを表示させてみます
     

     View Slide

186. 自分の健康状態を空間可視化できる未来を感じる
     ヘルスケア＋VR＋IoT も色々なことができそう
     

     View Slide

187. まとめ
     

     View Slide

188. いろいろとお話してみました
     

     View Slide

189. 試行錯誤がとても大事。いざ組んでみると、
     作る前は分からない調整点やより良くなる点がある
     

     View Slide

190. つくってみて実感して
     試行錯誤して良くしていくことが大事
     

     View Slide

191. 重要なのは使いやすいデバイスやツールを
     うまく使い、活用して自分のものにしていくこと
     発想
     プロトタイプ
     アウトプット
     

     View Slide

192. 技術を覚えていきつつ
     他者に分かりやすく伝えることは大事
     

     View Slide

193. 最近もゴールデンウイーク中
     アウトプットしてみました
     https://gw-advent.9wick.com/calendars/2022/120
     

     View Slide

194. 人と交流することで新たな発見はある
     

     View Slide

195. 最近は私も技術の広がりとともに
     関わる場所が広がってきた
     

     View Slide

196. 今後、みなさんも総合力が活きてくる
     知って組み合わせてメリットばかり
     

     View Slide

197. 伝える手段もどんどん変わるいま
     

     View Slide

198. みなさんも是非どんどんと
     技術を広げて関わってみて下さい
     

     View Slide

199. がんばりましょう！
     

     View Slide

200. 前半授業はここで終了です
     質問あれば是非書いてみましょう
     

     View Slide