Maker Faire Tokyo 2020にtoioの作品を出展した時の話 〜 会場での技術的対応など 〜 / IoTLT vol.68

Transcript

1. Maker Faire Tokyo 2020に toioの作品を出展した時の話 2020年10月13日 (火) IoTLT vol.68 @オンライン

   　　豊田 陽介 ( @youtoy ) 〜 会場での技術的対応など 〜

2. 豊田陽介（@youtoy） 自己紹介 普段は、某通信会社の研究所勤務 話題のものを たくさん購入 してる気がする ガジェット好き その他 ビジュアルプログラミングIoTLT 共同主催、その他にも複数主催

   IT系イベント主催・登壇・運営、多数参加 子ども向けの活動いろいろ（IT系以外も） プライベートでの活動 今朝、 ゲット！ 新型の micro:bit が 気になる！

3. 今月はイベントが盛りだくさん スマートスピーカーを遊びたおす会 運営 Node-REDで色々試すハンズオン Tec-Nomad ・ ビジュアルプログラミング交 流会 コラボ 主催（コラボ）・

   講師 オンラインLTハックLT 共同主催・ 登壇 ビジュアルプログラミングIoTLT 共同主催 以下、主催・運営で関わっている今後（今月中開催）のイベント

4. 今月最初の週末、 Maker Faire Tokyo 2020！

5. IoTLT vol.68 @オンライン 共同主催しているコミュニティで出展！ https://www.facebook.com/groups/toiotomo 終了後の出展報告投稿 toioのユーザコミュニティの Facebookグループ

6. IoTLT vol.68 @オンライン 自分が展示していた作品 2つの作品 1）Node.jsとHTML＋JavaScript 　で実装した機械学習を使ったもの 2）ビジュアルプログラミングで 　実装した2つのtoioを制御するもの https://www.youtube.com/watch?v=Ve6TyzzmXck

7. IoTLT vol.68 @オンライン 仕組みの概要：作品1 PC （Chromo・ 　内蔵マイク） toio＋専用マット BLE ハンドベル・

   卓上ベル・声 音・声 「Teachable Machine」での音の機械学習を使った作品 （元になる仕組みは2月のTsukuba Mini Maker Faire 2020等で作ったもの）

8. IoTLT vol.68 @オンライン 仕組みの概要：作品1 「Teachable Machine」での音の機械学習を使った作品 PC （Chromo・ 　内蔵マイク） toio＋専用マット

   BLE HTML + JavaScript ハンドベル・ 卓上ベル・声 音・声 Web Bluetooth API Teachable Machine （音の機械学習）

9. IoTLT vol.68 @オンライン 仕組みの概要：作品2 toio用のビジュアルプログラミング環境で動きの処理を 実装（5パターンの動きをランダムに選択） PC （Chromo） toio＋専用マット BLE

10. 今回は技術の話、でも 作品の仕組みの詳細ではなく

11. IoTLT vol.68 @オンライン 例えば通信まわりのトラブル対応：作品1 「Wi-Fi は本番中は通信品質が大きく劣化しそうだ」と想定していたけど・・・ （過去に仕事で、ビッグサイト・幕張メッセで開催のイベントに、ネットワーク 経由で映像を送る技術・製品の展示を何度も行った時の話などから） Bluetoothの通信品質劣化の具合を読み違えた・・・ 位置座標の

    リアルタイム送信 もう一方の位置 座標を使った モーター制御 一方の位置座標を 使って他方が追跡を する制御でおかした 位置へ移動したり

12. IoTLT vol.68 @オンライン 通信まわりのトラブルの現地対応：作品1 片方向の制御のみを使うようにソースコードを書きかえ 動きAのための モーター制御 動きBのための モーター制御

13. IoTLT vol.68 @オンライン 作品2について 元から個別に片方向に通信する形だったため影響なし 動きA〜Eのため のモーター制御 初日はこちらをフル稼働させ、自分の作品の稼働がない時間はなかった 動きF〜Jのため のモーター制御

14. もう1つの大きな問題

15. IoTLT vol.68 @オンライン 音の認識（機械学習）関連のトラブル 会場でのノイズの影響等で以前作った学習モデルの認識精度が劇的に落ちた ・つくばで展示した際はイヤフォンマイクをつけて、マイクを音源に近づけて 　対応すれば大丈夫だった ・今回の初日の午前（展示準備のための時間）では問題なく動作していた ・初日の12時の開場後にしばらくして問題が発生（事前の想定以上の影響） その後、大丈夫じゃなくなったw

16. IoTLT vol.68 @オンライン 音の認識（機械学習）関連のトラブル対応 現地のイベント開催中に音の機械学習をやり直した ブラウザがあれば学習が実行 できるTeachable Machineの メリット ・もう一方の作品を稼働させ続けつつ

17. IoTLT vol.68 @オンライン 過去の音の認識（機械学習）関連の対処 今回の作品の元になるものを作った際に対処したこと ・toioの動作中に鳴らす音の学習は、toioの駆動音ごと学習 ・toioの駆動音もノイズののった背景雑音として学習 1台/2台のtoioが駆動中 toioの駆動中 に音を鳴らす

18. 展示の工夫では 「小さい子どもにもうける・分かる 工夫（構成・UX・説明など）」 もあるけど省略

19. IoTLT vol.68 @オンライン 思ったよりお子さん連れの方も多かった 想定通り、小さいお子さんでも楽しんでもらえた！ 中高生以上の学生さん や大人の方にも！

20. 【余談】 基本、触れるのはNGとしたが、 ある程度は柔軟に対応 展示のルールで、触れた場合は要消毒

21. 仕組みの話については

22. IoTLT vol.68 @オンライン 仕組みに関する過去のQiitaの記事 今回の作品に関係するもの •Teachable Machine を使った音声からの任意のキーワードの検出 　（ブラウザ上で機械学習） 　https://qiita.com/youtoy/items/9096836e5d77274500ea

    •toio を音で制御してみた（Audio用の Teachable Machine で 　ベルやタンバリンの音を機械学習） 　https://qiita.com/youtoy/items/37f70bb4ce630e6cbd92 •toio を Web Bluetooth API で制御（「通知・読み出し・書き込み」を行う） 　https://qiita.com/youtoy/items/791905964d871ac987d6 •#toio の開発者向けマット（仮）をビジュアルプログラミングで 　使ってみる（その2） #おうちでロボット開発 　https://qiita.com/youtoy/items/415ee7ce3cc271a6b534

23. 終わる前に

24. 【宣伝】最終週にIoTLT のスピンオフ！ IoTLT vol.68 @オンライン 10/28（水） 開催！

25. ヒーローズ・リーグ 「VUI賞」 IoTLT vol.68 @オンライン AIアシスタント・スマート スピーカー関連、他 VUI に 関する作品が対象

    IoTLT の賞もあるよ！ http://heroes-league.net/

26. 終わり！