Maker Faire Tokyo 2020にtoioの作品を出展した時の話 〜 会場での技術的対応など 〜 / IoTLT vol.68

Transcript

1. Maker Faire Tokyo 2020に
   toioの作品を出展した時の話
   2020年10月13日 (火)
   IoTLT vol.68 @オンライン
   　　豊田 陽介 ( @youtoy )
   〜 会場での技術的対応など 〜
   

   View Slide

2. 豊田陽介（@youtoy）
   自己紹介
   普段は、某通信会社の研究所勤務
   話題のものを
   たくさん購入
   してる気がする
   ガジェット好き
   その他
   ビジュアルプログラミングIoTLT
   共同主催、その他にも複数主催
   IT系イベント主催・登壇・運営、多数参加
   子ども向けの活動いろいろ（IT系以外も）
   プライベートでの活動
   今朝、
   ゲット！
   新型の
   micro:bit が
   気になる！
   

   View Slide

3. 今月はイベントが盛りだくさん
   スマートスピーカーを遊びたおす会
   運営
   Node-REDで色々試すハンズオン
   Tec-Nomad ・ ビジュアルプログラミング交
   流会 コラボ
   主催（コラボ）・
   講師
   オンラインLTハックLT
   共同主催・
   登壇
   ビジュアルプログラミングIoTLT
   共同主催
   以下、主催・運営で関わっている今後（今月中開催）のイベント
   

   View Slide

4. 今月最初の週末、
   Maker Faire Tokyo 2020！
   

   View Slide

5. IoTLT vol.68 @オンライン
   共同主催しているコミュニティで出展！
   https://www.facebook.com/groups/toiotomo
   終了後の出展報告投稿 toioのユーザコミュニティの
   Facebookグループ
   

   View Slide

6. IoTLT vol.68 @オンライン
   自分が展示していた作品
   2つの作品
   1）Node.jsとHTML＋JavaScript
   　で実装した機械学習を使ったもの
   2）ビジュアルプログラミングで
   　実装した2つのtoioを制御するもの
   https://www.youtube.com/watch?v=Ve6TyzzmXck
   

   View Slide

7. IoTLT vol.68 @オンライン
   仕組みの概要：作品1
   PC
   （Chromo・
   　内蔵マイク）
   toio＋専用マット
   BLE
   ハンドベル・
   卓上ベル・声
   音・声
   「Teachable Machine」での音の機械学習を使った作品
   （元になる仕組みは2月のTsukuba Mini Maker Faire 2020等で作ったもの）
   

   View Slide

8. IoTLT vol.68 @オンライン
   仕組みの概要：作品1
   「Teachable Machine」での音の機械学習を使った作品
   PC
   （Chromo・
   　内蔵マイク）
   toio＋専用マット
   BLE
   HTML +
   JavaScript
   ハンドベル・
   卓上ベル・声
   音・声
   Web Bluetooth API
   Teachable Machine
   （音の機械学習）
   

   View Slide

9. IoTLT vol.68 @オンライン
   仕組みの概要：作品2
   toio用のビジュアルプログラミング環境で動きの処理を
   実装（5パターンの動きをランダムに選択）
   PC
   （Chromo） toio＋専用マット
   BLE
   

   View Slide

10. 今回は技術の話、でも
    作品の仕組みの詳細ではなく
    

    View Slide

11. IoTLT vol.68 @オンライン
    例えば通信まわりのトラブル対応：作品1
    「Wi-Fi は本番中は通信品質が大きく劣化しそうだ」と想定していたけど・・・
    （過去に仕事で、ビッグサイト・幕張メッセで開催のイベントに、ネットワーク
    経由で映像を送る技術・製品の展示を何度も行った時の話などから）
    Bluetoothの通信品質劣化の具合を読み違えた・・・
    位置座標の
    リアルタイム送信
    もう一方の位置
    座標を使った
    モーター制御
    一方の位置座標を
    使って他方が追跡を
    する制御でおかした
    位置へ移動したり
    

    View Slide

12. IoTLT vol.68 @オンライン
    通信まわりのトラブルの現地対応：作品1
    片方向の制御のみを使うようにソースコードを書きかえ
    動きAのための
    モーター制御
    動きBのための
    モーター制御
    

    View Slide

13. IoTLT vol.68 @オンライン
    作品2について
    元から個別に片方向に通信する形だったため影響なし
    動きA〜Eのため
    のモーター制御
    初日はこちらをフル稼働させ、自分の作品の稼働がない時間はなかった
    動きF〜Jのため
    のモーター制御
    

    View Slide

14. もう1つの大きな問題
    

    View Slide

15. IoTLT vol.68 @オンライン
    音の認識（機械学習）関連のトラブル
    会場でのノイズの影響等で以前作った学習モデルの認識精度が劇的に落ちた
    ・つくばで展示した際はイヤフォンマイクをつけて、マイクを音源に近づけて
    　対応すれば大丈夫だった
    ・今回の初日の午前（展示準備のための時間）では問題なく動作していた
    ・初日の12時の開場後にしばらくして問題が発生（事前の想定以上の影響）
    その後、大丈夫じゃなくなったw
    

    View Slide

16. IoTLT vol.68 @オンライン
    音の認識（機械学習）関連のトラブル対応
    現地のイベント開催中に音の機械学習をやり直した
    ブラウザがあれば学習が実行
    できるTeachable Machineの
    メリット
    ・もう一方の作品を稼働させ続けつつ
    

    View Slide

17. IoTLT vol.68 @オンライン
    過去の音の認識（機械学習）関連の対処
    今回の作品の元になるものを作った際に対処したこと
    ・toioの動作中に鳴らす音の学習は、toioの駆動音ごと学習
    ・toioの駆動音もノイズののった背景雑音として学習
    1台/2台のtoioが駆動中
    toioの駆動中
    に音を鳴らす
    

    View Slide

18. 展示の工夫では
    「小さい子どもにもうける・分かる
    工夫（構成・UX・説明など）」
    もあるけど省略
    

    View Slide

19. IoTLT vol.68 @オンライン
    思ったよりお子さん連れの方も多かった
    想定通り、小さいお子さんでも楽しんでもらえた！
    中高生以上の学生さん
    や大人の方にも！
    

    View Slide

20. 【余談】
    基本、触れるのはNGとしたが、
    ある程度は柔軟に対応
    展示のルールで、触れた場合は要消毒
    

    View Slide

21. 仕組みの話については
    

    View Slide

22. IoTLT vol.68 @オンライン
    仕組みに関する過去のQiitaの記事
    今回の作品に関係するもの
    ●Teachable Machine を使った音声からの任意のキーワードの検出
    　（ブラウザ上で機械学習）
    　https://qiita.com/youtoy/items/9096836e5d77274500ea
    ●toio を音で制御してみた（Audio用の Teachable Machine で
    　ベルやタンバリンの音を機械学習）
    　https://qiita.com/youtoy/items/37f70bb4ce630e6cbd92
    ●toio を Web Bluetooth API で制御（「通知・読み出し・書き込み」を行う）
    　https://qiita.com/youtoy/items/791905964d871ac987d6
    ●#toio の開発者向けマット（仮）をビジュアルプログラミングで
    　使ってみる（その2） #おうちでロボット開発
    　https://qiita.com/youtoy/items/415ee7ce3cc271a6b534
    

    View Slide

23. 終わる前に
    

    View Slide

24. 【宣伝】最終週にIoTLT のスピンオフ！
    IoTLT vol.68 @オンライン
    10/28（水）
    開催！
    

    View Slide

25. ヒーローズ・リーグ 「VUI賞」
    IoTLT vol.68 @オンライン
    AIアシスタント・スマート
    スピーカー関連、他 VUI に
    関する作品が対象
    IoTLT の賞もあるよ！
    http://heroes-league.net/
    

    View Slide

26. 終わり！
    

    View Slide