スマートスピーカー（AIアシスタント）以外のVoice関連の話をしてみる / #AR_Fukuoka #VUIFukuoka

Transcript

1. 2021年2月24日 (水) xTech ゆるっとLT: VUI Fukuoka and AR_Fukuoka @オンライン 　　豊田

   陽介 ( @youtoy ) スマートスピーカー（AIアシスタント） 以外のVoice関連の話をしてみる

2. 豊田陽介（@youtoy） 自己紹介 普段は、某通信会社の研究所勤務 話題のものをたくさん 購入している気がする IT系イベント主催・登壇・運営、多数参加 子ども向けの活動いろいろ（IT系以外も） プライベートでの活動 ガジェット好き その他

   主催テーマ： ビジュアルプログラミング、IoT、 ロボットトイ、メカトロなど

3. VUI関連の活動など スマートスピーカー Advent Calendar 2020 で書いた記事 ⇒ IFTTT で Alexa・Google

   Assistant を利用して IFTTT Pro の新機能 　（クエリー・フィルター）との組み合わせも試す - Qiita ヒーローズ・リーグ（旧 Mashup Awards）のVUI部門 ⇒ オーガナイザー（2018〜2020） 今週の土曜 「VoiceLunchJP#07」 ⇒ ハンズオンっぽい感じの内容の 　 ファシリテーター

4. VUI関連で作ったものの一部 ビジュアルプログラミングで Alexaスキル ＋ toio 連携 Alexaスキル ＋ ラズパイ ＋

   micro:bit連携 Alexa Gadgets Toolkit の Custom Interfaces Espalexa Alexaスキル ＋ M5StickC ＆ micro:bit連携 Voiceflow Node.js・Python・ MakeCode C・MakeCode Node.js・V oiceflow

5. スマートスピーカー・ AIアシスタントの話を 出していたものの

6. それらが絡まない話

7. 今日の話題 声（や音全般）＋ 機械学習 1 2 ビジュアルプログラミング＋ スマホの音声系機能

8. Teachable Machine （by Google） 1つ目のトピック

9. 声（や音全般）＋ 機械学習 Googleさん提供の「Teachable Machine」 ⇒ ブラウザ上で学習ができて推論のお試しも

10. 声より音色がメインの 事例ですが...

11. Teachable Machine（音）を使った事例 https://www.youtube.com/watch?v=Ve6TyzzmXck

12. 音のインタフェースは...

13. 展示で年齢によらず楽しんでもらえた！ 2020年10月開催の Maker Faire Tokyo 2020 にて 中高生以上の学生さん や大人の方にも！

14. 音を対象にしたTeachable Machine 音を学習させる操作を する部分 機械学習モデルの 作成操作をする部分 音の識別を試せる 部分（モデルが できた後）

15. 音の学習は、 サイト上でボタン押下 ⇒ マイクでの録音 という流れ

16. Web上で音を識別する部分を試す 作成された機械学習モデルの推論をそのままサイト上でお試し

17. モデルデータを独自のプログラムで動かす •Teachable Machine の FAQ より 　https://teachablemachine.withgoogle.com/faq 手軽なのは JavaScriptベース のもの

    ⇒ p5.js ＋ p5.js の Web 　 エディタが一番手軽かも？

18. 手軽なお試し（p5.js Web Editorで試す） 機械学習モデルの クラウドへのアップ オンラインエディタで実行 （ソースコードの変更などもOK） モデルの URL は

    書き換えを！

19. クラウドアップ時のURLへアクセスすると Web上でのお試しや、モデルデータのダウンロードが可能 ⇒ 学習させるデータの追加はできなそうだけど...

20. プロジェクトのファイルの保存/アップ 左上のメニューから、プロジェクトのダウンロード・アップが

21. 注意点というかコツ などに関わる部分

22. Teachable Machineの利用での注意点 •Teachable Machine の FAQ「希望どおりに動作しないのはなぜですか？」より 　https://teachablemachine.withgoogle.com/faq

23. 音の学習・モデル利用の話の一部は記事に

24. ビジュアルプログラミング でスマホアプリ＋VUI 2つ目のトピック

25. デモ動画：声の機械学習利用＋音声合成 https://www.youtube.com/watch?v=Ywu-fy5S16M Androidアプリ

26. ブロックベースのプログラミング UI を作る画面

27. Webサイト上での機械学習もできる 学習 推論 ⇒ 機械学習のモデルはダウンロードして Androidアプリへ

28. 細かな話はQiitaの記事（前後編）に モデルのデータを作る部分 Androidアプリ開発の部分

29. 将来的な話として...

30. Alexa連携用の機能が検討されてるっぽい App Inventor の AIプロジェクトの概要に関するプレゼンより ⇒ https://www.youtube.com/watch?v=mwE0gBH5ai0

31. 終わり！