スマートスピーカー（AIアシスタント）以外のVoice関連の話をしてみる / #AR_Fukuoka #VUIFukuoka

Slide 1

Slide 1 text

2021年2月24日 (水) xTech ゆるっとLT: VUI Fukuoka and AR_Fukuoka @オンライン　　豊田陽介 ( @youtoy ) スマートスピーカー（AIアシスタント）以外のVoice関連の話をしてみる

Slide 2

Slide 2 text

豊田陽介（@youtoy）自己紹介普段は、某通信会社の研究所勤務話題のものをたくさん購入している気がする IT系イベント主催・登壇・運営、多数参加子ども向けの活動いろいろ（IT系以外も）プライベートでの活動ガジェット好きその他主催テーマ：ビジュアルプログラミング、IoT、ロボットトイ、メカトロなど

Slide 3

Slide 3 text

VUI関連の活動などスマートスピーカー Advent Calendar 2020 で書いた記事 ⇒ IFTTT で Alexa・Google Assistant を利用して IFTTT Pro の新機能　（クエリー・フィルター）との組み合わせも試す - Qiita ヒーローズ・リーグ（旧 Mashup Awards）のVUI部門 ⇒ オーガナイザー（2018〜2020）今週の土曜「VoiceLunchJP#07」 ⇒ ハンズオンっぽい感じの内容の　ファシリテーター

Slide 4

Slide 4 text

VUI関連で作ったものの一部ビジュアルプログラミングで Alexaスキル＋ toio 連携 Alexaスキル＋ラズパイ＋ micro:bit連携 Alexa Gadgets Toolkit の Custom Interfaces Espalexa Alexaスキル＋ M5StickC ＆ micro:bit連携 Voiceﬂow Node.js・Python・ MakeCode C・MakeCode Node.js・V oiceﬂow

Slide 5

Slide 5 text

スマートスピーカー・ AIアシスタントの話を出していたものの

Slide 6

Slide 6 text

それらが絡まない話

Slide 7

Slide 7 text

今日の話題声（や音全般）＋機械学習 1 2 ビジュアルプログラミング＋スマホの音声系機能

Slide 8

Slide 8 text

Teachable Machine （by Google） 1つ目のトピック

Slide 9

Slide 9 text

声（や音全般）＋機械学習 Googleさん提供の「Teachable Machine」 ⇒ ブラウザ上で学習ができて推論のお試しも

Slide 10

Slide 10 text

声より音色がメインの事例ですが...

Slide 11

Slide 11 text

Teachable Machine（音）を使った事例 https://www.youtube.com/watch?v=Ve6TyzzmXck

Slide 12

Slide 12 text

音のインタフェースは...

Slide 13

Slide 13 text

展示で年齢によらず楽しんでもらえた！ 2020年10月開催の Maker Faire Tokyo 2020 にて中高生以上の学生さんや大人の方にも！

Slide 14

Slide 14 text

音を対象にしたTeachable Machine 音を学習させる操作をする部分機械学習モデルの作成操作をする部分音の識別を試せる部分（モデルができた後）

Slide 15

Slide 15 text

音の学習は、サイト上でボタン押下 ⇒ マイクでの録音という流れ

Slide 16

Slide 16 text

Web上で音を識別する部分を試す作成された機械学習モデルの推論をそのままサイト上でお試し

Slide 17

Slide 17 text

モデルデータを独自のプログラムで動かす ●Teachable Machine の FAQ より　https://teachablemachine.withgoogle.com/faq 手軽なのは JavaScriptベースのもの ⇒ p5.js ＋ p5.js の Web 　エディタが一番手軽かも？

Slide 18

Slide 18 text

手軽なお試し（p5.js Web Editorで試す）機械学習モデルのクラウドへのアップオンラインエディタで実行（ソースコードの変更などもOK）モデルの URL は書き換えを！

Slide 19

Slide 19 text

クラウドアップ時のURLへアクセスすると Web上でのお試しや、モデルデータのダウンロードが可能 ⇒ 学習させるデータの追加はできなそうだけど...

Slide 20

Slide 20 text

プロジェクトのファイルの保存/アップ左上のメニューから、プロジェクトのダウンロード・アップが

Slide 21

Slide 21 text

注意点というかコツなどに関わる部分

Slide 22

Slide 22 text

Teachable Machineの利用での注意点 ●Teachable Machine の FAQ「希望どおりに動作しないのはなぜですか？」より　https://teachablemachine.withgoogle.com/faq

Slide 23

Slide 23 text

音の学習・モデル利用の話の一部は記事に

Slide 24

Slide 24 text

ビジュアルプログラミングでスマホアプリ＋VUI 2つ目のトピック

Slide 25

Slide 25 text

デモ動画：声の機械学習利用＋音声合成 https://www.youtube.com/watch?v=Ywu-fy5S16M Androidアプリ

Slide 26

Slide 26 text

ブロックベースのプログラミング UI を作る画面

Slide 27

Slide 27 text

Webサイト上での機械学習もできる学習推論 ⇒ 機械学習のモデルはダウンロードして Androidアプリへ

Slide 28

Slide 28 text

細かな話はQiitaの記事（前後編）にモデルのデータを作る部分 Androidアプリ開発の部分

Slide 29

Slide 29 text

将来的な話として...

Slide 30

Slide 30 text

Alexa連携用の機能が検討されてるっぽい App Inventor の AIプロジェクトの概要に関するプレゼンより ⇒ https://www.youtube.com/watch?v=mwE0gBH5ai0

Slide 31

Slide 31 text

終わり！