$30 off During Our Annual Pro Sale. View Details »

スマートスピーカー（AIアシスタント）以外のVoice関連の話をしてみる / #AR_Fukuoka #VUIFukuoka

you（@youtoy）
February 24, 2021
Technology
1
140

スマートスピーカー（AIアシスタント）以外のVoice関連の話をしてみる / #AR_Fukuoka #VUIFukuoka

you（@youtoy）

February 24, 2021
Tweet

More Decks by you（@youtoy）

See All by you（@youtoy）
第2回ナブかつLABキャリアトーク / 豊田陽介
you
0
6
個人的に使いやすいと思う／好きなガジェットをいくつか紹介してみる / トヨタ ガジェット研究所
you
1
75
続・Webの技術でできる様々なこと 〜ブラウザで機械学習やデバイス制御など〜 / HTML5 8th Anniversary
you
1
120
p5.jsを使ったクリエイティブコーディングやJavaScriptによる機械学習・デバイス制御などの処理と組み合わせる話 / PWA Night vol.44
you
1
130
最近obnizを使った話（MESHやSpresenseとの組み合わせ） / IoTLT vol.92
you
0
220
ガジェット・アプリ・インタフェースなどをつなぐあれこれ / #ヒーローズリーグ 2022 開発素材LT ～ユーザ編～
you
0
70
UIFlowのtoio用ブロックを使ってみた / ビジュアルプログラミングIoTLT vol.12
you
0
2k
ブラウザ上でファンタジー・SF的な映像表現に挑んでみる / エンジニアの自由研究発表会vol.7
you
0
180
M5Station-BATを軽く試してみた / IoTLT vol.90
you
0
280

Other Decks in Technology

See All in Technology
DevelopersIOのアウトプット文化を ハックして人材育成に繋げる話 /deviosapporo2022fall_takipone
takipone
0
370
Aurora MySQL 一段飛ばしのバージョンアップとその他もろもろの話
hmatsu47
PRO
1
820
ウェブフロントエンジニアから見る Flutter Webの 現在地点 / Flutter web as of now
kgsi
3
2.6k
如何建立自己的開源專案
line_developers_tw
PRO
0
1.2k
Technologies that Support the Data Solution Business
techverse_2022
PRO
0
300
Securing CI/CD Systems Through eBPF (recap)
whywaita
PRO
0
400
How LINE Securities Integrates with External Services
techverse_2022
PRO
0
110
XP入門と私 / Introduction_of_extream_programming_and_I
fatsushi
1
380
同志諸君よ、ゼロトラストを撃て_CloudNativeDays2022
ken5scal
2
2.2k
APN AWS Top Engineersが語るAWSの最新セキュリティ
cmusudakeisuke
0
840
Container Replatform 101
shkitayama
4
380
ユーザー数100万人規模の事業成長を止めずに、レガシーコードと戦う / JJUG CCC 2022 Fall
visional_engineering_and_design
2
230

Featured

See All Featured
Facilitating Awesome Meetings
lara
33
4.4k
A Philosophy of Restraint
colly
193
15k
5 minutes of I Can Smell Your CMS
philhawksworth
197
18k
Git: the NoSQL Database
bkeepers
PRO
417
60k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
349
27k
JazzCon 2018 Closing Keynote - Leadership for the Reluctant Leader
reverentgeek
175
8.9k
KATA
mclloyd
10
9.4k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
499
130k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
3
480
Practical Orchestrator
shlominoach
178
8.9k
Code Review Best Practice
trishagee
48
11k
The Cult of Friendly URLs
andyhume
68
5k

Transcript

  1. 2021年2月24日 (水) xTech ゆるっとLT: VUI Fukuoka and AR_Fukuoka @オンライン 　　豊田

    陽介 ( @youtoy ) スマートスピーカー（AIアシスタント） 以外のVoice関連の話をしてみる

  2. 豊田陽介（@youtoy） 自己紹介 普段は、某通信会社の研究所勤務 話題のものをたくさん 購入している気がする IT系イベント主催・登壇・運営、多数参加 子ども向けの活動いろいろ（IT系以外も） プライベートでの活動 ガジェット好き その他

    主催テーマ： ビジュアルプログラミング、IoT、 ロボットトイ、メカトロなど

  3. VUI関連の活動など スマートスピーカー Advent Calendar 2020 で書いた記事 ⇒ IFTTT で Alexa・Google

    Assistant を利用して IFTTT Pro の新機能 　（クエリー・フィルター）との組み合わせも試す - Qiita ヒーローズ・リーグ（旧 Mashup Awards）のVUI部門 ⇒ オーガナイザー（2018〜2020） 今週の土曜 「VoiceLunchJP#07」 ⇒ ハンズオンっぽい感じの内容の 　 ファシリテーター

  4. VUI関連で作ったものの一部 ビジュアルプログラミングで Alexaスキル ＋ toio 連携 Alexaスキル ＋ ラズパイ ＋

    micro:bit連携 Alexa Gadgets Toolkit の Custom Interfaces Espalexa Alexaスキル ＋ M5StickC ＆ micro:bit連携 Voiceflow Node.js・Python・ MakeCode C・MakeCode Node.js・V oiceflow

  5. スマートスピーカー・ AIアシスタントの話を 出していたものの

  6. それらが絡まない話

  7. 今日の話題 声（や音全般）＋ 機械学習 1 2 ビジュアルプログラミング＋ スマホの音声系機能

  8. Teachable Machine （by Google） 1つ目のトピック

  9. 声（や音全般）＋ 機械学習 Googleさん提供の「Teachable Machine」 ⇒ ブラウザ上で学習ができて推論のお試しも

  10. 声より音色がメインの 事例ですが...

  11. Teachable Machine（音）を使った事例 https://www.youtube.com/watch?v=Ve6TyzzmXck

  12. 音のインタフェースは...

  13. 展示で年齢によらず楽しんでもらえた！ 2020年10月開催の Maker Faire Tokyo 2020 にて 中高生以上の学生さん や大人の方にも！

  14. 音を対象にしたTeachable Machine 音を学習させる操作を する部分 機械学習モデルの 作成操作をする部分 音の識別を試せる 部分（モデルが できた後）

  15. 音の学習は、 サイト上でボタン押下 ⇒ マイクでの録音 という流れ

  16. Web上で音を識別する部分を試す 作成された機械学習モデルの推論をそのままサイト上でお試し

  17. モデルデータを独自のプログラムで動かす •Teachable Machine の FAQ より 　https://teachablemachine.withgoogle.com/faq 手軽なのは JavaScriptベース のもの

    ⇒ p5.js ＋ p5.js の Web 　 エディタが一番手軽かも？

  18. 手軽なお試し（p5.js Web Editorで試す） 機械学習モデルの クラウドへのアップ オンラインエディタで実行 （ソースコードの変更などもOK） モデルの URL は

    書き換えを！

  19. クラウドアップ時のURLへアクセスすると Web上でのお試しや、モデルデータのダウンロードが可能 ⇒ 学習させるデータの追加はできなそうだけど...

  20. プロジェクトのファイルの保存/アップ 左上のメニューから、プロジェクトのダウンロード・アップが

  21. 注意点というかコツ などに関わる部分

  22. Teachable Machineの利用での注意点 •Teachable Machine の FAQ「希望どおりに動作しないのはなぜですか？」より 　https://teachablemachine.withgoogle.com/faq

  23. 音の学習・モデル利用の話の一部は記事に

  24. ビジュアルプログラミング でスマホアプリ＋VUI 2つ目のトピック

  25. デモ動画：声の機械学習利用＋音声合成 https://www.youtube.com/watch?v=Ywu-fy5S16M Androidアプリ

  26. ブロックベースのプログラミング UI を作る画面

  27. Webサイト上での機械学習もできる 学習 推論 ⇒ 機械学習のモデルはダウンロードして Androidアプリへ

  28. 細かな話はQiitaの記事（前後編）に モデルのデータを作る部分 Androidアプリ開発の部分

  29. 将来的な話として...

  30. Alexa連携用の機能が検討されてるっぽい App Inventor の AIプロジェクトの概要に関するプレゼンより ⇒ https://www.youtube.com/watch?v=mwE0gBH5ai0

  31. 終わり！