Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スマートスピーカー(AIアシスタント)以外のVoice関連の話をしてみる / #AR_Fuku...
Search
you(@youtoy)
PRO
February 24, 2021
Technology
1
170
スマートスピーカー(AIアシスタント)以外のVoice関連の話をしてみる / #AR_Fukuoka #VUIFukuoka
you(@youtoy)
PRO
February 24, 2021
Tweet
Share
More Decks by you(@youtoy)
See All by you(@youtoy)
もくはりでのモノ作りと自身のモノ作り活動 / もくはり文化祭2024 オープン記念イベント
you
PRO
0
35
"かわいい" がテーマのハッカソンでWebの技術を使って魔法の世界を作った話など / HTML5 10th Anniversary
you
PRO
0
84
ブラウザで AI・機械学習が扱える TensorFlow.js が使われているライブラリなどの話 / #さくらのAI Meetup vol.4「ブラウザ」
you
PRO
0
180
Blynk と Raspberry Pi Pico W で IoT 〜 MQTT・HTTPリクエストの組み合わせも 〜 / IoTLT vol.114
you
PRO
0
2.5k
AIを活用したWebアプリのプロトタイプを作ってコンテストや展示に出してみた話 / 大阪工業大学 ネットワークデザイン学科 LT大会 2024v2
you
PRO
0
97
Babylon.jsと色々なものを組み合わせる:ブラウザのAPIやガジェットや2D描画ライブラリなど / Babylon.js 勉強会 vol.3
you
PRO
0
610
WebHID API で Joy-Con・DUALSHOCK 4 のセンサーをブラウザから利用する / IoTLT vol.109
you
PRO
0
2.4k
UIFlow 2.0 で MQTT をやってみた! / IoTLT vol.108
you
PRO
0
5k
UIFlow 2.0 と ATOMS3 の組み合わせで LINE通知を試す / ビジュアルプログラミングIoTLT vol.16
you
PRO
1
2.7k
Other Decks in Technology
See All in Technology
脳波を用いた嗜好マッチングシステム
hokkey621
0
290
Windows の新しい管理者保護モード
murachiakira
0
200
AIエージェント元年@日本生成AIユーザ会
shukob
1
210
ABWG2024採択者が語るエンジニアとしての自分自身の見つけ方〜発信して、つながって、世界を広げていく〜
maimyyym
1
150
ESXi で仮想化した ARM 環境で LLM を動作させてみるぞ
unnowataru
0
180
NFV基盤のOpenStack更新 ~9世代バージョンアップへの挑戦~
vtj
0
350
JAWS FESTA 2024「バスロケ」GPS×サーバーレスの開発と運用の舞台裏/jawsfesta2024-bus-gps-serverless
ma2shita
3
120
(機械学習システムでも) SLO から始める信頼性構築 - ゆる SRE#9 2025/02/21
daigo0927
0
270
Ruby on Railsで持続可能な開発を行うために取り組んでいること
am1157154
3
140
JavaにおけるNull非許容性
skrb
2
2.6k
Visualize, Visualize, Visualize and rclone
tomoaki0705
9
83k
AWSではじめる Web APIテスト実践ガイド / A practical guide to testing Web APIs on AWS
yokawasa
8
680
Featured
See All Featured
GitHub's CSS Performance
jonrohan
1030
460k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
100
18k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Navigating Team Friction
lara
183
15k
Building an army of robots
kneath
303
45k
Gamification - CAS2011
davidbonilla
80
5.2k
Automating Front-end Workflow
addyosmani
1368
200k
Practical Orchestrator
shlominoach
186
10k
Rebuilding a faster, lazier Slack
samanthasiow
80
8.9k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.3k
Transcript
2021年2月24日 (水) xTech ゆるっとLT: VUI Fukuoka and AR_Fukuoka @オンライン 豊田
陽介 ( @youtoy ) スマートスピーカー(AIアシスタント) 以外のVoice関連の話をしてみる
豊田陽介(@youtoy) 自己紹介 普段は、某通信会社の研究所勤務 話題のものをたくさん 購入している気がする IT系イベント主催・登壇・運営、多数参加 子ども向けの活動いろいろ(IT系以外も) プライベートでの活動 ガジェット好き その他
主催テーマ: ビジュアルプログラミング、IoT、 ロボットトイ、メカトロなど
VUI関連の活動など スマートスピーカー Advent Calendar 2020 で書いた記事 ⇒ IFTTT で Alexa・Google
Assistant を利用して IFTTT Pro の新機能 (クエリー・フィルター)との組み合わせも試す - Qiita ヒーローズ・リーグ(旧 Mashup Awards)のVUI部門 ⇒ オーガナイザー(2018〜2020) 今週の土曜 「VoiceLunchJP#07」 ⇒ ハンズオンっぽい感じの内容の ファシリテーター
VUI関連で作ったものの一部 ビジュアルプログラミングで Alexaスキル + toio 連携 Alexaスキル + ラズパイ +
micro:bit連携 Alexa Gadgets Toolkit の Custom Interfaces Espalexa Alexaスキル + M5StickC & micro:bit連携 Voiceflow Node.js・Python・ MakeCode C・MakeCode Node.js・V oiceflow
スマートスピーカー・ AIアシスタントの話を 出していたものの
それらが絡まない話
今日の話題 声(や音全般)+ 機械学習 1 2 ビジュアルプログラミング+ スマホの音声系機能
Teachable Machine (by Google) 1つ目のトピック
声(や音全般)+ 機械学習 Googleさん提供の「Teachable Machine」 ⇒ ブラウザ上で学習ができて推論のお試しも
声より音色がメインの 事例ですが...
Teachable Machine(音)を使った事例 https://www.youtube.com/watch?v=Ve6TyzzmXck
音のインタフェースは...
展示で年齢によらず楽しんでもらえた! 2020年10月開催の Maker Faire Tokyo 2020 にて 中高生以上の学生さん や大人の方にも!
音を対象にしたTeachable Machine 音を学習させる操作を する部分 機械学習モデルの 作成操作をする部分 音の識別を試せる 部分(モデルが できた後)
音の学習は、 サイト上でボタン押下 ⇒ マイクでの録音 という流れ
Web上で音を識別する部分を試す 作成された機械学習モデルの推論をそのままサイト上でお試し
モデルデータを独自のプログラムで動かす •Teachable Machine の FAQ より https://teachablemachine.withgoogle.com/faq 手軽なのは JavaScriptベース のもの
⇒ p5.js + p5.js の Web エディタが一番手軽かも?
手軽なお試し(p5.js Web Editorで試す) 機械学習モデルの クラウドへのアップ オンラインエディタで実行 (ソースコードの変更などもOK) モデルの URL は
書き換えを!
クラウドアップ時のURLへアクセスすると Web上でのお試しや、モデルデータのダウンロードが可能 ⇒ 学習させるデータの追加はできなそうだけど...
プロジェクトのファイルの保存/アップ 左上のメニューから、プロジェクトのダウンロード・アップが
注意点というかコツ などに関わる部分
Teachable Machineの利用での注意点 •Teachable Machine の FAQ「希望どおりに動作しないのはなぜですか?」より https://teachablemachine.withgoogle.com/faq
音の学習・モデル利用の話の一部は記事に
ビジュアルプログラミング でスマホアプリ+VUI 2つ目のトピック
デモ動画:声の機械学習利用+音声合成 https://www.youtube.com/watch?v=Ywu-fy5S16M Androidアプリ
ブロックベースのプログラミング UI を作る画面
Webサイト上での機械学習もできる 学習 推論 ⇒ 機械学習のモデルはダウンロードして Androidアプリへ
細かな話はQiitaの記事(前後編)に モデルのデータを作る部分 Androidアプリ開発の部分
将来的な話として...
Alexa連携用の機能が検討されてるっぽい App Inventor の AIプロジェクトの概要に関するプレゼンより ⇒ https://www.youtube.com/watch?v=mwE0gBH5ai0
終わり!