Slide 1
Slide 1 text
2021年2月24日 (水)
xTech ゆるっとLT: VUI Fukuoka and AR_Fukuoka @オンライン
豊田 陽介 ( @youtoy )
スマートスピーカー（AIアシスタント）
以外のVoice関連の話をしてみる
Slide 2
Slide 2 text
豊田陽介（@youtoy）
自己紹介
普段は、某通信会社の研究所勤務
話題のものをたくさん
購入している気がする
IT系イベント主催・登壇・運営、多数参加
子ども向けの活動いろいろ（IT系以外も）
プライベートでの活動
ガジェット好き
その他
主催テーマ：
ビジュアルプログラミング、IoT、
ロボットトイ、メカトロなど
Slide 3
Slide 3 text
VUI関連の活動など
スマートスピーカー Advent Calendar 2020 で書いた記事
⇒ IFTTT で Alexa・Google Assistant を利用して IFTTT Pro の新機能
（クエリー・フィルター）との組み合わせも試す - Qiita
ヒーローズ・リーグ（旧 Mashup
Awards）のVUI部門
⇒ オーガナイザー（2018〜2020）
今週の土曜
「VoiceLunchJP#07」
⇒ ハンズオンっぽい感じの内容の
ファシリテーター
Slide 4
Slide 4 text
VUI関連で作ったものの一部
ビジュアルプログラミングで
Alexaスキル ＋ toio 連携
Alexaスキル ＋ ラズパイ ＋
micro:bit連携
Alexa Gadgets Toolkit の
Custom Interfaces
Espalexa
Alexaスキル ＋ M5StickC ＆
micro:bit連携
Voiceflow
Node.js・Python・
MakeCode
C・MakeCode
Node.js・V
oiceflow
Slide 5
Slide 5 text
スマートスピーカー・
AIアシスタントの話を
出していたものの
Slide 6
Slide 6 text
それらが絡まない話
Slide 7
Slide 7 text
今日の話題
声（や音全般）＋ 機械学習
1
2 ビジュアルプログラミング＋
スマホの音声系機能
Slide 8
Slide 8 text
Teachable Machine
（by Google）
1つ目のトピック
Slide 9
Slide 9 text
声（や音全般）＋ 機械学習
Googleさん提供の「Teachable Machine」
⇒ ブラウザ上で学習ができて推論のお試しも
Slide 10
Slide 10 text
声より音色がメインの
事例ですが...
Slide 11
Slide 11 text
Teachable Machine（音）を使った事例
https://www.youtube.com/watch?v=Ve6TyzzmXck
Slide 12
Slide 12 text
音のインタフェースは...
Slide 13
Slide 13 text
展示で年齢によらず楽しんでもらえた！
2020年10月開催の Maker Faire Tokyo 2020 にて
中高生以上の学生さん
や大人の方にも！
Slide 14
Slide 14 text
音を対象にしたTeachable Machine
音を学習させる操作を
する部分
機械学習モデルの
作成操作をする部分
音の識別を試せる
部分（モデルが
できた後）
Slide 15
Slide 15 text
音の学習は、
サイト上でボタン押下
⇒ マイクでの録音
という流れ
Slide 16
Slide 16 text
Web上で音を識別する部分を試す
作成された機械学習モデルの推論をそのままサイト上でお試し
Slide 17
Slide 17 text
モデルデータを独自のプログラムで動かす
●Teachable Machine の FAQ より
https://teachablemachine.withgoogle.com/faq
手軽なのは JavaScriptベース
のもの
⇒ p5.js ＋ p5.js の Web
エディタが一番手軽かも？
Slide 18
Slide 18 text
手軽なお試し（p5.js Web Editorで試す）
機械学習モデルの
クラウドへのアップ
オンラインエディタで実行
（ソースコードの変更などもOK）
モデルの URL は
書き換えを！
Slide 19
Slide 19 text
クラウドアップ時のURLへアクセスすると
Web上でのお試しや、モデルデータのダウンロードが可能
⇒ 学習させるデータの追加はできなそうだけど...
Slide 20
Slide 20 text
プロジェクトのファイルの保存/アップ
左上のメニューから、プロジェクトのダウンロード・アップが
Slide 21
Slide 21 text
注意点というかコツ
などに関わる部分
Slide 22
Slide 22 text
Teachable Machineの利用での注意点
●Teachable Machine の FAQ「希望どおりに動作しないのはなぜですか？」より
https://teachablemachine.withgoogle.com/faq
Slide 23
Slide 23 text
音の学習・モデル利用の話の一部は記事に
Slide 24
Slide 24 text
ビジュアルプログラミング
でスマホアプリ＋VUI
2つ目のトピック
Slide 25
Slide 25 text
デモ動画：声の機械学習利用＋音声合成
https://www.youtube.com/watch?v=Ywu-fy5S16M
Androidアプリ
Slide 26
Slide 26 text
ブロックベースのプログラミング
UI を作る画面
Slide 27
Slide 27 text
Webサイト上での機械学習もできる
学習
推論
⇒ 機械学習のモデルはダウンロードして Androidアプリへ
Slide 28
Slide 28 text
細かな話はQiitaの記事（前後編）に
モデルのデータを作る部分 Androidアプリ開発の部分
Slide 29
Slide 29 text
将来的な話として...
Slide 30
Slide 30 text
Alexa連携用の機能が検討されてるっぽい
App Inventor の AIプロジェクトの概要に関するプレゼンより
⇒ https://www.youtube.com/watch?v=mwE0gBH5ai0
Slide 31
Slide 31 text
終わり！