IoT & xR & Display Node-RED Technology Performance

IBM Cloud Community Summit 2018「IoT＋XR＋Display いろいろなインターフェースのかけ橋！Node-RED演舞！」の登壇資料です。

◆スライド内の素材は以下を使用させて頂いております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/

Transcript

1. IBM Cloud Community Summit 2018 IoT＋XR＋Display いろいろなインターフェー スのかけ橋！Node-RED演舞！ ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！
3. 自己紹介
4. 田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといっ た技術も取り入れながら活動しています。
5. 今日の流れ
6. IoT pressed A
7. XR = VR/MR/AR Oculus Go HoloLens
8. Display
9. これらをNode-REDと組み合わせて いろいろなデモをお見せしていきます！
10. Node-RED
11. Node-RED https://nodered.jp/
12. Node-RED IoTをはじめとする様々なAPI/Data連携を GUIで直感的に構築できるオープンソースソフトウェア
13. 今日はIBM CloudでNode-REDを作り IoT Platformを構築します IBM Watson IoT Platform Node-RED
14. 今日はIBM CloudでNode-REDを作り IoT Platformでデバイスと連携します pressed A
15. IoT Platformの連携具合
16. そのほかに外部にワンクッション MQTTを担当するNode-REDも配備 さくらのクラウド MQTT Broker
17. 2つのNode-REDでいろいろとつなぎます！ さくらのクラウド MQTT Broker IBM Watson IoT Platform Node-RED IBM Cloud
18. まず軽いデモから
19. M5Stackというデバイス pressed A
20. ディスプレイもボタンもあって パッケージしっかりなM5Stack ESP32というWi-Fiボードベースで扱いやすい pressed A
21. ディスプレイを変化させてみます！ pressed A IBM Watson IoT Platform Node-RED IBM Cloud
22. Node-REDではこんな仕組み M5StackはJSON命令で変化するようにしてあるNode-REDからはIoT Platformからデータを送る
23. 試行錯誤しやすい
24. できる人が増える
25. あとで見ても分かりやすい（はず）
26. 公開されているカスタムノードを 取り込んでより良くできる
27. すばやく作りたいものができる
28. こんな感じでデモをしながら お伝えしていきます
29. いざ演舞！
30. つぎはLEDを光らせてみよう
31. ただしテープLEDでピカピカ
32. 1つめで使うのはNefryBT
33. NefryBTは簡単にインターネットにつながる
34. Groveシステムによって ハードウェアも試行錯誤しやすい
35. スイッチサイエンス社の例 https://www.switch-science.com/catalog/list/379/
36. IBM Cloud IoT Platformと連携できる
37. obnizはIoT Platform直は難しかったので WebSocket経由で動かす IBM Watson IoT Platform Node-RED IBM Cloud
38. こんなフローで指示を出している NefryBT内で受け取りルールを作って動作
39. いざデモしてみる
40. obnizというデバイスも動かしてみる
41. obnizはモーターやセンサーをつなぐだけで すぐにクラウド経由で操作できるようになります
42. しかもJavaScriptでコードがかけて いろいろな試行錯誤か可能
43. obnizはIoT Platform直は難しかったので WebSocket経由で連携 さくらのクラウド MQTT Broker IBM Watson IoT Platform Node-RED IBM Cloud WebSocket MQTT
44. こんなフローで指示を出している obnizではobnizクラウドでJavaScriptでルールを作って動作させる
45. いざデモしてみる
46. つづいてobnizからM5StackとNefryBTに指示 Party Time pressed A
47. obnizから受けると色替えするフロー
48. つづいてobnizからM5StackとNefryBTに指示 Party Time
49. いざデモしてみる
50. つづいてobnizから鍵スイッチ経由で指示 EAOという鍵で回すスイッチを使います
51. 鍵を持つ人だけスイッチが入れれる
52. 実は先ほどとほぼ同じ仕組み
53. いざデモしてみる
54. Node-REDはWebSocketやMQTTで プロトコルが変わっても柔軟に対応できる さくらのクラウド MQTT Broker IBM Watson IoT Platform Node-RED IBM Cloud WebSocket MQTT
55. 機械学習とIoTをつないでみる
56. IBM CloudのWatson Visual Recognitionも 画像認識を独自に作ることができる
57. Watson Visual Recognition Default Custom Model https://console.bluemix.net/catalog/services/visual-recognition
58. ツールの起動ですぐにはじめられる
59. いろいろあるが今回はCustomに
60. プロジェクト作成
61. こんな画面で作成していく
62. ZIPで固めた画像一式を一気に登録できる！
63. 一気にウォンバット登録
64. 最低2つの認識クラスが必要なので ウォンバット以外の動物を登録
65. タスマニアデビル・ヤブイヌ・カピバラ・小熊
66. 登録完了！
67. いよいよトレーニング開始→10分程度完了
68. できたのでテストしてみる
69. かなりうまく認識できている
70. 他の例
71. ちょっと怪しいのもある
72. ビーバーは迷っている（登録なしなので）
73. 判定結果をデバイスに連携！ M5Stackで判定させる！
74. 判定結果をデバイスに連携！ M5Stackで判定させる！ WLv:0.907 NG:ChildBear
75. フローはちょっと大きいので デモしながら説明します！
76. いざデモしてみる
77. AmazonなSORASOM LTE-M Button LTEあればどこでもワンクリックで指示が出せる
78. Lambda経由でNode-REDに投げる
79. NefryBTにボタンの押し方によって 光り方を変えます！ クリック・ダブルクリック・長押し IBM Watson IoT Platform Node-RED IBM Cloud
80. いざデモしてみる
81. つづいてxRともつなげる Oculus Go HoloLens
82. Oculus Goからやってみましょう
83. Oculus Goはスタンドアロンで動く VRを手軽に体験できるのがよいところ
84. Oculus GoはUnityで作りますが MQTTで連携することができます IoT Platform直でも行けそうだが今度頑張ってみます！今回はMQTTでIoT Platform中継。
85. さきほどのデバイスから文字を送ります
86. いざデモしてみる
87. そしてHoloLens
88. Unity C#でいろいろ書ける Watson Unity SDKも動いて連携できる
89. ここにおけるNode-REDの良さ
90. Unityでソースコード変えるの結構大変
91. でも試行錯誤はしたい
92. Unityからのやり取りはシンプルにして データの流れはNode-REDで変えるとやりやすい
93. いろいろと連携させます
94. いざデモしてみる
95. Node-REDが橋渡しをしてくれることで センサー・データ・空間が自在に連携できる
96. 連携したその先にさらなる発想が見えてくる！
97. これからもいろいろな連携をして 可能性を接続していきたい！
98. ご清聴いただきまして ありがとうございました！