Upgrade to Pro — share decks privately, control downloads, hide ads and more …

スマートスピーカー(AIアシスタント)以外のVoice関連の話をしてみる / #AR_Fukuoka #VUIFukuoka

Cd931bc05e7cee46b9a950a63e47ba4c?s=47 yo-to
February 24, 2021

スマートスピーカー(AIアシスタント)以外のVoice関連の話をしてみる / #AR_Fukuoka #VUIFukuoka

Cd931bc05e7cee46b9a950a63e47ba4c?s=128

yo-to

February 24, 2021
Tweet

Transcript

  1. 2021年2月24日 (水) xTech ゆるっとLT: VUI Fukuoka and AR_Fukuoka @オンライン   豊田

    陽介 ( @youtoy ) スマートスピーカー(AIアシスタント) 以外のVoice関連の話をしてみる
  2. 豊田陽介(@youtoy) 自己紹介 普段は、某通信会社の研究所勤務 話題のものをたくさん 購入している気がする IT系イベント主催・登壇・運営、多数参加 子ども向けの活動いろいろ(IT系以外も) プライベートでの活動 ガジェット好き その他

    主催テーマ: ビジュアルプログラミング、IoT、 ロボットトイ、メカトロなど
  3. VUI関連の活動など スマートスピーカー Advent Calendar 2020 で書いた記事 ⇒ IFTTT で Alexa・Google

    Assistant を利用して IFTTT Pro の新機能  (クエリー・フィルター)との組み合わせも試す - Qiita ヒーローズ・リーグ(旧 Mashup Awards)のVUI部門 ⇒ オーガナイザー(2018〜2020) 今週の土曜 「VoiceLunchJP#07」 ⇒ ハンズオンっぽい感じの内容の   ファシリテーター
  4. VUI関連で作ったものの一部 ビジュアルプログラミングで Alexaスキル + toio 連携 Alexaスキル + ラズパイ +

    micro:bit連携 Alexa Gadgets Toolkit の Custom Interfaces Espalexa Alexaスキル + M5StickC & micro:bit連携 Voiceflow Node.js・Python・ MakeCode C・MakeCode Node.js・V oiceflow
  5. スマートスピーカー・ AIアシスタントの話を 出していたものの

  6. それらが絡まない話

  7. 今日の話題 声(や音全般)+ 機械学習 1 2 ビジュアルプログラミング+ スマホの音声系機能

  8. Teachable Machine (by Google) 1つ目のトピック

  9. 声(や音全般)+ 機械学習 Googleさん提供の「Teachable Machine」 ⇒ ブラウザ上で学習ができて推論のお試しも

  10. 声より音色がメインの 事例ですが...

  11. Teachable Machine(音)を使った事例 https://www.youtube.com/watch?v=Ve6TyzzmXck

  12. 音のインタフェースは...

  13. 展示で年齢によらず楽しんでもらえた! 2020年10月開催の Maker Faire Tokyo 2020 にて 中高生以上の学生さん や大人の方にも!

  14. 音を対象にしたTeachable Machine 音を学習させる操作を する部分 機械学習モデルの 作成操作をする部分 音の識別を試せる 部分(モデルが できた後)

  15. 音の学習は、 サイト上でボタン押下 ⇒ マイクでの録音 という流れ

  16. Web上で音を識別する部分を試す 作成された機械学習モデルの推論をそのままサイト上でお試し

  17. モデルデータを独自のプログラムで動かす •Teachable Machine の FAQ より  https://teachablemachine.withgoogle.com/faq 手軽なのは JavaScriptベース のもの

    ⇒ p5.js + p5.js の Web   エディタが一番手軽かも?
  18. 手軽なお試し(p5.js Web Editorで試す) 機械学習モデルの クラウドへのアップ オンラインエディタで実行 (ソースコードの変更などもOK) モデルの URL は

    書き換えを!
  19. クラウドアップ時のURLへアクセスすると Web上でのお試しや、モデルデータのダウンロードが可能 ⇒ 学習させるデータの追加はできなそうだけど...

  20. プロジェクトのファイルの保存/アップ 左上のメニューから、プロジェクトのダウンロード・アップが

  21. 注意点というかコツ などに関わる部分

  22. Teachable Machineの利用での注意点 •Teachable Machine の FAQ「希望どおりに動作しないのはなぜですか?」より  https://teachablemachine.withgoogle.com/faq

  23. 音の学習・モデル利用の話の一部は記事に

  24. ビジュアルプログラミング でスマホアプリ+VUI 2つ目のトピック

  25. デモ動画:声の機械学習利用+音声合成 https://www.youtube.com/watch?v=Ywu-fy5S16M Androidアプリ

  26. ブロックベースのプログラミング UI を作る画面

  27. Webサイト上での機械学習もできる 学習 推論 ⇒ 機械学習のモデルはダウンロードして Androidアプリへ

  28. 細かな話はQiitaの記事(前後編)に モデルのデータを作る部分 Androidアプリ開発の部分

  29. 将来的な話として...

  30. Alexa連携用の機能が検討されてるっぽい App Inventor の AIプロジェクトの概要に関するプレゼンより ⇒ https://www.youtube.com/watch?v=mwE0gBH5ai0

  31. 終わり!