東海大学特別講義 2022 前半資料

by 1ft-seabass

Slide 1

Slide 1 text

東海大学特別講義 2022 つなげて・ためして・アウトプット～社会の変化をデータや技術で感じとろう～ワンフットシーバス田中正吾

Slide 2

Slide 2 text

まず今日の進行

Slide 3

Slide 3 text

こんなスケジュール ➔ 前半授業 4限 15:10-16:50 ◆ 田中のトークやリアルタイムデモを見る（約60分） ◆ 授業中から質問フォームから質問をする（約30分） ➔ 後半授業 5限 17:00-18:40 ◆ 質問フォームから来た質問を田中が答える（約60分） ◆ レポートを答える時間（約30分）

Slide 4

Slide 4 text

前半授業は40分ほど田中が話したりリアルタイムデモをします

Slide 5

Slide 5 text

私が日々行っている様々な技術を動かし・考えて・アウトプットしていることがこの変化する状況でどうなっているかの話をします

Slide 6

Slide 6 text

授業中から質問を受け付けます後半授業で、質問フォームで挙がった質問を答える予定です

Slide 7

Slide 7 text

質問フォームは事前にお伝えしてます確認よろしくお願いします！

Slide 8

Slide 8 text

今日ご紹介する関連URL集です http://bit.ly/ tokai-202204-tanaka

Slide 9

Slide 9 text

後半授業は前半の質問に答えたりします質問フォーム優先ですが、その場で直接聞いてもOK！

Slide 10

Slide 10 text

そして最後に30分で紙のレポートを書いて授業の最後に提出します

Slide 11

Slide 11 text

前半はこんな感じで進める予定トークに加えて、ところどころデモが入りますトーク  デモ 

Slide 12

Slide 12 text

うまくリアクションを共有したい！生徒の皆さんの反応が全部見たいんだけど、構造上なかなかむずかしいのでなんとかしたい！

Slide 13

Slide 13 text

リアクションシステムを作ってみました！ Node-RED というツールで作っています

Slide 14

Slide 14 text

さっそくみんなが参加するデモリアクションシステム

Slide 15

Slide 15 text

良いなと思ったら「いいね！」ボタン押して反応！

Slide 16

Slide 16 text

自己紹介

Slide 17

Slide 17 text

田中正吾（たなかせいご）屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を中心にインタラクティブコンテンツを主に行い現在に至る。最近ではWEBフロントエンドをベースにしながらも、情報とインターフェースが合わさるアプローチという視点でIoTやMixed Realityといった技術も取り入れながら活動しています。

Slide 18

Slide 18 text

ルーツ 2005 2000 2010

Slide 19

Slide 19 text

情報を扱うのが楽しいのでWEB制作へ美術大学  PC WEB制作  会社員→フリーランス  2005  2000  2010 

Slide 20

Slide 20 text

会社員からフリーランスへ美術大学  PC WEB制作  会社員→フリーランス  2005  2000  2010 

Slide 21

Slide 21 text

2010 スマホ WEB制作媒体がPCからスマホへ変わっていくデジタルサイネージ制作 2015

Slide 22

Slide 22 text

IoT・VR・AIつながっていく 2015 IoT制作 2017 Mixed Reality制作

Slide 23

Slide 23 text

ざっくりいうと色々な技術を使って情報を届ける全般の手伝いをしている人

Slide 24

Slide 24 text

大事なこと

Slide 25

Slide 25 text

私は、IoT・AI・クラウド・VR など様々な技術でクライアントに関わっています

Slide 26

Slide 26 text

これらの技術はそのものも大切だが、うまく連携して活かしあうことこそ大事これはきっと皆さんがこれから学んでいく技術にも同じことが言える

Slide 27

Slide 27 text

たとえば、例としてこのように可能性が広がります IoT + AI = 現実のセンサデータに合わせて判断 IoT + VR = 効率的に空間の環境を把握 AI + VR = 現実の行動に合わせてアシスト

Slide 28

Slide 28 text

つくってみて実感して試行錯誤して良くしていくことが大事つくる前は分からない調整する点やより良くできる点がある。Google 検索して出てこない。重要なのは活用して自分のものにしていくこと。考えるだけでは難しい。

Slide 29

Slide 29 text

新しい変化に対して色々な見え方ができるなぜこの技術が出てきたか、自分が作ってみたアレが良くなりそう、この仕組みは自分の知ってる作ったことがあるからつながっている

Slide 30

Slide 30 text

試行錯誤するときの手法を紹介

Slide 31

Slide 31 text

こんな感じで進める予定トークに加えて、ところどころデモが入りますトーク  デモ 

Slide 32

Slide 32 text

IoT

Slide 33

Slide 33 text

Internet of Things （インターネットのモノ化）

Slide 34

Slide 34 text

Internet of Things デバイスというモノや物事（アクション）をインターネットとつなげて見えないものが見えたり（＝可視化）より便利になったりすることデバイス  WEB  デバイス  WEB 

Slide 35

Slide 35 text

＋インターネット

Slide 36

Slide 36 text

インターネットの得意なところ

Slide 37

Slide 37 text

データを見えるようにするのが得意

Slide 38

Slide 38 text

遠く離れた情報を得るのが得意

Slide 39

Slide 39 text

遠く離れたところに情報や操作を送るのも得意

Slide 40

Slide 40 text

最近はこれが発展して情報をみんなでシェアするのも得意

Slide 41

Slide 41 text

命令を自動で行ってくれる

Slide 42

Slide 42 text

いつでもみることができる

Slide 43

Slide 43 text

データを収集・蓄積・分析するのが得意

Slide 44

Slide 44 text

現実世界を知覚してデータ化する流れがあるセンシングでデータとして捉え、ネットワークを通じて収集、データ蓄積をする流れネットワーク  データ収集  現実世界  センシングでデータ化   サーバー  データ蓄積 

Slide 45

Slide 45 text

データによって現実世界に介入することもあるサーバーでデータ分析や判断を行い、ネットワークを通じてデータ伝達、なんらかのアクションを行う現実世界  なんらかのアクション   （アクチュエーター）  サーバー  データ分析・判断  ネットワーク  データ伝達 

Slide 46

Slide 46 text

知覚できる量も拡大し細分化しているセンサーも増えて手軽に計測できインターネット経由でデータが蓄積できる PC WEB制作スマホ WEB制作 IoT

Slide 47

Slide 47 text

知覚できる範囲は双方向性が強くより細かくより深くなった

Slide 48

Slide 48 text

私のIoT技術との付き合い方使いやすくなったセンサー類

Slide 49

Slide 49 text

M5Stack・obnizのようなすぐに試行錯誤できるデバイス今日紹介した Grove がつながるとセンシング・アクチュエータ（動き）部分も試行錯誤しやすい pressed A 

Slide 50

Slide 50 text

obniz

Slide 51

Slide 51 text

obniz https://www.switch-science.com/catalog/3838/

Slide 52

Slide 52 text

obnizというデバイスも動かしてみる

Slide 53

Slide 53 text

obnizはモーターやセンサーをつなぐだけですぐにクラウド経由で操作できるようになります

Slide 54

Slide 54 text

しかもJavaScriptでコードがかけていろいろな試行錯誤か可能

Slide 55

Slide 55 text

さて、ここで obniz デモ。 obniz とセンサーや動くもの（アクチュエータ）を加える

Slide 56

Slide 56 text

obniz にテープLEDが制御します

Slide 57

Slide 57 text

これを遠隔でカラーを変えます

Slide 58

Slide 58 text

実際に現場に行かなくても照明が操作できる

Slide 59

Slide 59 text

IoT の事例のコロナ前と現在の変化社会が変わればニーズも変わるニースが変わればセンサーが変わる

Slide 60

Slide 60 text

コロナ禍で換気の重要性がでてきたコロナ以前はトイレの空き状況や会議室の空き状況といった事例が多かった

Slide 61

Slide 61 text

部屋の空き状況管理のIoT その場に行かなくてもセンサーが使用状況を把握して開き具合が分かりスムーズに使えるセンサーセンサーセンサー！

Slide 62

Slide 62 text

部屋の空き状況管理のIoT ➔ トイレでも会議室でも「実際にその部屋に行かないと状況が分からない」という課題が各所にあった。 ➔ 予約管理システムがあるケースもあるが、現場の使用状況との整合性が取れていないケースも。 ➔ IoT が加わり人間の代わりにセンサーによって現場がデータで見れる「遠隔」要素で課題解決しやすく。 ➔ さらに使用状況をデータとして「蓄積」したり「可視化」できユーザーの行動の利便性が上がった。 ➔ より気軽にトイレや部屋が使えるという安心感の向上。

Slide 63

Slide 63 text

コロナ禍での換気 IoT 空気のよどみを人間の呼吸をターゲットに CO2 センサーで把握して適切な換気をして快適な空間管理をする 1473 ppm センサー！

Slide 64

Slide 64 text

コロナ禍での換気 IoT ➔ コロナの性質から換気が重要になったが、空気のよどみは目に見えないので対策が難しかった。 ➔ IoT が加わり CO2 センサーで人間の知覚できない空気のよどみを把握でき適切な換気タイミングを知れるようになった。ある意味の「拡張知覚」「可視化」。 ➔ コロナ禍で移動の制約が多くなり、現場に行かなくても状況が把握できる「遠隔」や「データ共有」が大切に。 ➔ コロナ禍でも換気がよく管理された空間で活動ができるという安心感の向上。（以前より身に迫った感がある）

Slide 65

Slide 65 text

CO2 センサーの IoT デモします！リアルタイムデモ！

Slide 66

Slide 66 text

みなさんも一緒に見れます！ https://tokai-univ-2022-iot-controll.herokuapp.com/ui/

Slide 67

Slide 67 text

ここにある CO2 センサーの値がネットワーク経由でグラフで見えます

Slide 68

Slide 68 text

M5StackというIoTデバイスと Grove CO2 センサーでできています各パーツのくわしい紹介は後ほど触れるので大丈夫です CO2センサー M5Stack Grove システム

Slide 69

Slide 69 text

M5Stack は Wi-Fi につながるのでネットワークの先にあるデータを送ります MQTT ブローカーというデータを指揮する場所に知らせてる感じセンサー MQTT

Slide 70

Slide 70 text

Node-RED という通信やデータを良い感じに扱えるローコードツールでデータを受けとります Node-RED センサー MQTT

Slide 71

Slide 71 text

Node-RED がダッシュボード機能でデータを可視化します Node-RED センサー MQTT グラフで可視化

Slide 72

Slide 72 text

Node-RED のデータの流れ CO2 センサーの値の様子を Node-RED のダッシュボードで可視化

Slide 73

Slide 73 text

実際に動作している様子 Node-RED のダッシュボードで CO2 センサーの状況が見える

Slide 74

Slide 74 text

みなさんも一緒に見れます！ https://tokai-univ-2022-iot-controll.herokuapp.com/ui/

Slide 75

Slide 75 text

それではデモスタート！

Slide 76

Slide 76 text

それぞれの IoT の仕組みで共通していること

Slide 77

Slide 77 text

現実世界をセンサーで知覚してデータとして捉える収集収集収集データセンサー（知覚）

Slide 78

Slide 78 text

スマホやPCではディスプレイ越しだったがセンサーによって現実世界により深く触れれるセンサー

Slide 79

Slide 79 text

データとインターネットが組み合わすと遠隔で何かしたり蓄積できるデータセンサー（知覚）データ蓄積収集収集収集

Slide 80

Slide 80 text

データをまとめて可視化したり通知したり分析することができるデータ（知覚）データ蓄積可視化・通知・分析

Slide 81

Slide 81 text

ここからフィードバック（次どうする）が生まれ行動が変わったり便利になったり対策が立てれる！

Slide 82

Slide 82 text

このあたりが IoT でできるようになって大事で楽しいところ現実世界がデータととらえられて、データにすれば今までのITの知見でいろいろ良くできる収集収集収集データセンサー（知覚）データ蓄積可視化・通知・分析

Slide 83

Slide 83 text

では IoT により馴染むには？

Slide 84

Slide 84 text

実際に自分で IoT に触れてみよう自分の身近なところから IoT でより良くしていくための機材や考え方を私の経験から話します

Slide 85

Slide 85 text

なんかこういうのってお値段高いんじゃないの？自分ではなかなか挑戦しづらそう！

Slide 86

Slide 86 text

いえいえ、大丈夫です

Slide 87

Slide 87 text

デバイスやセンサーは最近手軽に手に入りやすくなっています！半導体不足で手に入りにくいものもありますが、以前と比べてという話

Slide 88

Slide 88 text

たとえば、この CO2 センサーは Grove システム

Slide 89

Slide 89 text

スイッチサイエンスさんの例 https://www.switch-science.com/catalog/list/379/

Slide 90

Slide 90 text

Grove システム制作元の Seeed Studio 社の様子 https://jp.seeedstudio.com/category/Grove-c-1003/category/Sensor-for-Grove-c-24.html

Slide 91

Slide 91 text

Groveのように様々なセンサーが手に入りやすく現場実装の想像力を育てることができる経験がないとどうしても視野が広がりにくい

Slide 92

Slide 92 text

私の Grove センサーたくさん持ってきたのでよかったら後で見てみてください

Slide 93

Slide 93 text

IoT をするためのデバイスも手に入りやすくなっている

Slide 94

Slide 94 text

たとえば、この M5Stack というデバイスはすぐに IoT をはじめられる良いデバイス

Slide 95

Slide 95 text

スイッチサイエンスさんの M5Stack 紹介 https://www.switch-science.com/catalog/7362/

Slide 96

Slide 96 text

IoT をしたいときに必要なものがモリモリ

Slide 97

Slide 97 text

Grove もつながるので IoT をサッとはじめてデータやセンサーを試行錯誤できる普段の仕事を同じように、アイデアを手元ですぐに試せるので、自分の身近になり実感が湧く

Slide 98

Slide 98 text

こういうツールで自分の知っている円の中に IoT の感覚をうまーく馴染ませるとイイ

Slide 99

Slide 99 text

このような「サッと試すこと」の実務での取り組みへの活用田中の普段の動きから

Slide 100

Slide 100 text

仕事で IoT に関わるまえに、自分なりに IoT でまわりを良くする試行錯誤ができる経験値が自分のハンドリングで積める！うまく IoT で便利になれば良い知見ゲット！課題見えても実感の精度高い知見ゲット！ ↓ わたしの例

Slide 101

Slide 101 text

案件で使うセンサーや IoT デバイスがなくても購入できる近しい構成ですぐ作って検証できるプロトタイピング。取得したいデータも見えてくるし、蓄積や分析などその先のやることも見えやすい。

Slide 102

Slide 102 text

試すと設置・通信状況・データの実情など自分なりのものさしが見えてくる状況がわかるデータ取得のタイミングであったり、どこに設置するか、どんなデータの設計だと使いやすいか、実はどんなデータが見たいかなど自分でつくるときの自分ツッコミは結構リアル。業務へのひとつのものさし・こだわりが見えてくる。

Slide 103

Slide 103 text

IoT はハードウェアに目が行きがちだがソフトウェアの大切さも見えてくる IoT の可視化・通知・分析やそれ以降となると、サッと試すクラウド環境だったり、デバイス管理だったり、 IoT を支える技術の大事さとともに、それでもすぐ試せる必要なオールインワンな環境が見えてくる

Slide 104

Slide 104 text

すぐ試せる構成の性能レベルや課題を実感でき仕事で使うエンタープライズ構成の素敵さが分かる用途に合う機材の選定や予算感、業務での実装の先回りがしやすくなる、解像度が高まる！

Slide 105

Slide 105 text

実は今回も SORACOM さんにある上位の CO2 センサーもこの空間に仕掛けています LTE-M CO2センサー RS-LTECO2 スターターキット

Slide 106

Slide 106 text

自分の仕組みとくらべての素敵さや押さえたいポイントがよーく分かる入手性、なぜ LTE 通信が良いか、コンパクトさ、電源と設置のしやすさ、すぐ使える感じ　などなど

Slide 107

Slide 107 text

データの見せ方や取得タイミングであったり運用するために必要なものなども実感できる複数人のログイン・ダッシュボードの見やすさ・グラフもいいけど通知の便利さ　だったり

Slide 108

Slide 108 text

おのおのの課題への色々なアプローチが知れていざ現場でもアイデアが出しやすくなる例：ある場所を人の検知や人の流れを知りたい WEBカメラで画像認識 AI も自分で試すと得手不得手や教師データ収集の大変さをみえ万能じゃないと知れたりあるいは同じ状況でも他のセンサーを使うと良い感じに状況がつかめるアプローチも知れるかもしれない！

Slide 109

Slide 109 text

Groveシステムによってハードウェアも試行錯誤しやすくなってきた

Slide 110

Slide 110 text

Groveシステムとは引用： https://dotstud.io/docs/grove/ Groveとは、seeed studioが開発している差すだけで扱えるセンサーなどがあるモジュールのことです。どのモジュールも端子に凹凸があるため、初心者でも向きを間違えることなく扱えたり手軽に差し替えたりすることが出来るので、プロトタイピングをするときにピッタリ。

Slide 111

Slide 111 text

スイッチサイエンス社の例 Grove センサの一部。スイッチや人間の五感に近いセンサなどいろいろある。

Slide 112

Slide 112 text

もう少し一覧を見てみましょう https://www.switch-science.com/catalog/list/379/

Slide 113

Slide 113 text

個人でも手が届くことで発想しやすく試しやすくなる

Slide 114

Slide 114 text

使いやすいデバイス・センサー・インターネットこちらを駆使して試行錯誤をしてます

Slide 115

Slide 115 text

➔ IoT もコロナ禍を通じて社会からのニーズも変化することで変わり続けている ➔ IoT には現実世界のデータ知覚→蓄積→分析→フィードバックで現実を良くしていく大事なループがあり楽しい ➔ 最近は IoT を自分の手元ではじめやすいので、自分なりに IoT を試行錯誤してみると経験値や解像度が高まります ➔ 自分の技術と IoT を馴染ませておくと、いざ現場でも色々なアプローチで関わることができますここまでのまとめ IoT の最近の雰囲気と、サッと自分から試すことの効用

Slide 116

Slide 116 text

ツールの力ですばやく作ってためす

Slide 117

Slide 117 text

ツールの力ですばやく作ってためすクラウドやAIもすばやくつくれるようになってきました

Slide 118

Slide 118 text

クラウド様々な技術を自分でサーバーや難しい設定をすることなく、手軽に扱うことができる一連のサービス

Slide 119

Slide 119 text

自分で作ると本来時間がかかる大変な仕組みをクラウドの力を借りるとすぐに試せます

Slide 120

Slide 120 text

APIを知っておくと幅が広がる

Slide 121

Slide 121 text

API=Application Programming Interface http://e-words.jp/w/API.html

Slide 122

Slide 122 text

API はデータをやりとりする出入り口

Slide 123

Slide 123 text

API は技術同士をつなげる良き接着剤 AI データベースストレージ IoT サーバレス開発者ツールブロックチェーンセキュリティネットワーク API

Slide 124

Slide 124 text

No content

Slide 125

Slide 125 text

データを受け取るメリット世界には様々なAPIがある。出来上がった仕組みにデータを入れて色々なことを考えられる。

Slide 126

Slide 126 text

データにアクセスできるメリット最近は外部の高機能な仕組みをうまく利用して自分のつくりたいものを拡張できる例：クラウド

Slide 127

Slide 127 text

こうやって組み合わせることでいろいろな価値が分かりやりたいことが広がる

Slide 128

Slide 128 text

多くのAPIはHTTPでできているのでここを抑えておくと自由度が上がる

Slide 129

Slide 129 text

いろいろなAPIの例この記事は海外で有名なAPI集を私が調べてひとつひとつ合計100個まとめたものです https://zenn.dev/protoout/books/public-apis-api-get

Slide 130

Slide 130 text

つなげやすくするツール

Slide 131

Slide 131 text

IFTTTというAPIを連携するサービス外部サービスのAPIに気軽に連携できる https://ifttt.com/

Slide 132

Slide 132 text

このようにデータをより細かく調整して試行錯誤するときにはNode-REDも良い IoTは、センサー・データ・蓄積先など様々な要素が変わるのでプログラムのスクラップアンドビルドが多い https://nodered.jp/

Slide 133

Slide 133 text

作りたいものに早く到達できる気軽にやり直したり試すことができる IoTのようにハードウェアとソフトウェアを連携すると多岐に及ぶので試行錯誤のしやすさは着目しましょう

Slide 134

Slide 134 text

1歳息子の寝姿をこっそり見る仕組みだったそれが子育ての状況に合わせて進化しました

Slide 135

Slide 135 text

2歳息子の寝姿をこっそり見る仕組みへ寝室をインターネットカメラで撮影しています

Slide 136

Slide 136 text

LINE BOT に画像を求めると今の寝姿を撮影してきてくれたり

Slide 137

Slide 137 text

10秒ごと更新している寝姿が確認できる家のネットワーク内オンリー

Slide 138

Slide 138 text

仕組みの話

Slide 139

Slide 139 text

今回使っているインターネットカメラ

Slide 140

Slide 140 text

IODATA Qwatch というインターネットカメラ見守りカメラ Qwatch TS-NS110W

Slide 141

Slide 141 text

なかなか良い画質

Slide 142

Slide 142 text

暗視モードもあって部屋の明るさで自動切換してくれるつまり暗闇で起きていることもこっそりと気づける

Slide 143

Slide 143 text

公式にAPIが公開されており静止画撮影も反応早く撮影できる https://www.iodata.jp/product/lancam/api/index.htm

Slide 144

Slide 144 text

外の Node-RED と家の中の Node-RED が活躍 LINE BOT を受け付けるのは Azure に作った Node-RED で家の中の Node-RED がカメラとのやりとり（画像取得）を行っている Azure VM Node-RED Raspberry Pi Node-RED MQTT HTTP HTTP HTTP

Slide 145

Slide 145 text

家だけで画像が見れる仕組み Node-RED が 10 秒ごとインターネットカメラから取得してストックしている。シンプルな仕組み。 Raspberry Pi Node-RED HTTP

Slide 146

Slide 146 text

このようなフロー

Slide 147

Slide 147 text

画像くださいって言って取ってくる仕組み

Slide 148

Slide 148 text

画像くださいって言って取ってくる仕組み MQTT によって「画像ください」というお願いを家の中の Node-RED に届ける。カメラから画像を取得したら HTTP で Base64 文字列で戻して LINE BOT が応答している。 MQTT HTTP HTTP Base64 文字列

Slide 149

Slide 149 text

10秒ごとの更新画像があるので外からお願いされたら中から応答する

Slide 150

Slide 150 text

家族のフィードバックの話を

Slide 151

Slide 151 text

泣き声が聞こえたときに部屋の外からもう起きるかまだ寝るかを見れる暗視もあるので昼夜ばっちり。これが一番利用してくれていると思う！うれしい！静かに起きてすぐ寝ちゃうとか分かってかわいすぎる。寝なそうな挙動も分かる。

Slide 152

Slide 152 text

外でも状況が見れるのはよいどちらかひとりが買い物など行っているときに状況が分かるのは情報共有として良い。かわいい寝姿を気づかれずに撮影できるのもよい（スマホだと撮る気配やシャッター音で起きる場合もある）

Slide 153

Slide 153 text

このツールで家族と新しい側面のコミュニケーションができてとても楽しいテクノロジーと開発で生活に新しい側面を生まれる

Slide 154

Slide 154 text

フィードバックももらいながら現実にうまく対応して楽しくする実装力がつくテクノロジーを現実に自分なりにしっかり実装する機会を出会える作れる

Slide 155

Slide 155 text

自分のつくる力が息子が生まれてからも仕事だけでなく生活にも活用できててグッとくる以前からこういうファミリーテックするのが目標にしていたのでよかった。引き続き、楽しんでいきたい！最近はスマート温湿度センサーで夏場＆冬場の温度変化を把握する実装をしてみました！

Slide 156

Slide 156 text

IoT + VR

Slide 157

Slide 157 text

今日の VR デバイス

Slide 158

Slide 158 text

HoloLens 2 https://www.microsoft.com/ja-jp/hololens/hardware

Slide 159

Slide 159 text

センサーによって人間に対して新しい空間感覚が提供されつつある

Slide 160

Slide 160 text

HoloLens  OUTPUT  INPUT  現実空間をそのまま入出力できるデバイスこういった認識も高度なセンシングによって実現できている

Slide 161

Slide 161 text

IoTは現実に対してセンサーやデバイスがインターネットによって情報が相互に関わり合うものデバイスやセンサー（現実空間）インターネット空間データ

Slide 162

Slide 162 text

Mixed Reality 混合現実も現実空間に対して3D映像によって情報が相互に関わり合うもの現実空間データ上の 3D空間操作・データ

Slide 163

Slide 163 text

こんなのも昨年開発で関わりましたドローン×ARグラスで災害現場の要救助者を発見する、レスキュードローンシステム実証実験 https://prtimes.jp/main/html/rd/p/000000047.000013715.html

Slide 164

Slide 164 text

Unity C#でいろいろ書ける Wi-Fiでインターネットにつながるので連携しやすい

Slide 165

Slide 165 text

Unityからのやり取りはシンプルにしてデータの流れはNode-REDで変えるとやりやすい

Slide 166

Slide 166 text

IoT＋Mixed Reality（HoloLens 2）

Slide 167

Slide 167 text

HoloLens 2でセンシング可視化のデモをしますさきほどのCO2センシングデータをHoloLens 2上で可視化します

Slide 168

Slide 168 text

空間をうまく利用することで平面での情報伝達よりスムーズになるかもしれないすでに空間を利用した作業アシストの事例やコミュニケーション事例が出てきている

Slide 169

Slide 169 text

Keigan Motor + HoloLens 2 扱いやすくて強力なモーター動力を HooloLens 2 から直接 Bluetooth 制御したい Keigan Motor 引用 : https://keiganmotor.myshopify.com/collections/km-1u-%E5%8D%98%E4%BD%93/products/km-1u Bluetooth

Slide 170

Slide 170 text

KeiganMotor KM-1U KeiganMotor KM-1Uはラピッドプロトタイピング（迅速な試作品製作）に特化したモーターモジュール®製品 https://keigan-motor.com/km-1u/

Slide 171

Slide 171 text

以前も有線接続した Raspberry Pi + Node-RED が HoloLens 2 と Keigan Motor を中継するのは作りましたこのときは MQTT の接続まわりに力を入れた HoloLens 2 Keigan Motor Raspberry Pi Node-RED シリアル接続 MQTT 有線無線

Slide 172

Slide 172 text

こんなコンテンツ https://twitter.com/1ft_seabass/status/1356407989922529280

Slide 173

Slide 173 text

この仕組みでもいろいろ制御できるけどいかんせん関連する技術やデバイスが多い悩ましさがある HoloLens 2 Keigan Motor Raspberry Pi Node-RED シリアル接続 MQTT 有線無線

Slide 174

Slide 174 text

もっと直接シンプルに動かせるパターンもあるとより柔軟に対応るのでやってみたい大事なのはアプローチが多様でありたい Bluetooth

Slide 175

Slide 175 text

Bluetooth での命令にも Keigan Motor は対応 Bluetooth

Slide 176

Slide 176 text

スマホから操作するかも Bluetooth 操作の例として

Slide 177

Slide 177 text

HoloLens 2 に事前にペアリング設定 > デバイス > Bluetooth

Slide 178

Slide 178 text

それでは動かしてみますまずは動画から

Slide 179

Slide 179 text

動きが分かりやすいように KeiganMotor に LEGO 矢印つけます

Slide 180

Slide 180 text

リアルタイムデモもやってみます 180,90,0 と角度の書かれたタイルをクリックすると回転します

Slide 181

Slide 181 text

ロボットアームを遠くから操作する近くでも空間を認識しながら操作ができる

Slide 182

Slide 182 text

指輪ヘルスケアデバイス OuraRing 連携これと HoloLens 2 を連携するチャレンジめな事例を伝えたい

Slide 183

Slide 183 text

指につけるデバイスで色々なセンサーで健康状態を常にチェックしてくれるスマホアプリでBluetooth でデータ取得し体調・睡眠時間・アクティビティ・心拍数などクラウド分析

Slide 184

Slide 184 text

なんと自分でも API 経由でデータ取得可能まさに API 活用

Slide 185

Slide 185 text

これを Oura Ring をつけてる左腕に心拍数データを表示させてみます

Slide 186

Slide 186 text

自分の健康状態を空間可視化できる未来を感じるヘルスケア＋VR＋IoT も色々なことができそう

Slide 187

Slide 187 text

まとめ

Slide 188

Slide 188 text

いろいろとお話してみました

Slide 189

Slide 189 text

試行錯誤がとても大事。いざ組んでみると、作る前は分からない調整点やより良くなる点がある

Slide 190

Slide 190 text

つくってみて実感して試行錯誤して良くしていくことが大事

Slide 191

Slide 191 text

重要なのは使いやすいデバイスやツールをうまく使い、活用して自分のものにしていくこと発想プロトタイプアウトプット

Slide 192

Slide 192 text

技術を覚えていきつつ他者に分かりやすく伝えることは大事

Slide 193

Slide 193 text

最近もゴールデンウイーク中アウトプットしてみました https://gw-advent.9wick.com/calendars/2022/120

Slide 194

Slide 194 text

人と交流することで新たな発見はある

Slide 195

Slide 195 text

最近は私も技術の広がりとともに関わる場所が広がってきた

Slide 196

Slide 196 text

今後、みなさんも総合力が活きてくる知って組み合わせてメリットばかり

Slide 197

Slide 197 text

伝える手段もどんどん変わるいま

Slide 198

Slide 198 text

みなさんも是非どんどんと技術を広げて関わってみて下さい

Slide 199

Slide 199 text

がんばりましょう！

Slide 200

Slide 200 text

前半授業はここで終了です質問あれば是非書いてみましょう