Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スマートスピーカー(AIアシスタント)以外のVoice関連の話をしてみる / #AR_Fuku...
Search
you(@youtoy)
PRO
February 24, 2021
Technology
1
180
スマートスピーカー(AIアシスタント)以外のVoice関連の話をしてみる / #AR_Fukuoka #VUIFukuoka
you(@youtoy)
PRO
February 24, 2021
Tweet
Share
More Decks by you(@youtoy)
See All by you(@youtoy)
ブラウザのAPIで Nintendo Switch用の特殊なゲーム用コントローラーを体験型コンテンツに / IoTLT @ストラタシス・ジャパン
you
PRO
0
86
ローカルLLMとLINE Botの組み合わせ その2(EVO-X2でgpt-oss-120bを利用) / LINE DC Generative AI Meetup #7
you
PRO
0
140
生成AIとM5Stack / M5 Japan Tour 2025 Autumn 東京
you
PRO
0
270
子ども向けの活動や自身のモノづくり活動などでやったこと / micro:bit ファンの集い
you
PRO
0
13
ブラウザのAPIで色々なデバイスをあれこれ扱ってみた話(主にWeb HID API) / IoTLT @JLCPCB オープンハードカンファレンス
you
PRO
0
130
ヒーローズ・リーグの応募作品で使ったデバイス・アイテム・ライブラリなど / #ヒーローズリーグ 2025 開発素材LT
you
PRO
0
40
最近発売された端末+UIFlow 2.0の組み合わせ(+1.0の話)をUSB接続で / ビジュアルプログラミングIoTLT vol.21
you
PRO
0
100
AIエージェント開発用SDKとローカルLLMをLINE Botと組み合わせてみた / LINEを使ったLT大会 #14
you
PRO
0
210
ブラウザで CircuitPython の開発:公式の「CircuitPython Code Editor」を試した / 【屋形船開催】IoT縛りの勉強会! IoTLT vol.126 @東京湾
you
PRO
0
140
Other Decks in Technology
See All in Technology
OAuthからOIDCへ ― 認可の仕組みが認証に拡張されるまで
yamatai1212
0
150
生成AI時代のセキュアコーディングとDevSecOps
yuriemori
0
150
Azureコストと向き合った、4年半のリアル / Four and a half years of dealing with Azure costs
aeonpeople
1
250
Building a cloud native business on open source
lizrice
0
150
WEBサービスを成り立たせるAWSサービス
takano0131
1
200
Digitization部 紹介資料
sansan33
PRO
1
5.6k
AWS UG Grantでグローバル20名に選出されてre:Inventに行く話と、マルチクラウドセキュリティの教科書を執筆した話 / The Story of Being Selected for the AWS UG Grant to Attending re:Invent, and Writing a Multi-Cloud Security Textbook
yuj1osm
1
110
Data Hubグループ 紹介資料
sansan33
PRO
0
2.2k
今この時代に技術とどう向き合うべきか
gree_tech
PRO
2
2.1k
OCIjp_Oracle AI World_Recap
shinpy
1
150
AI AgentをLangflowでサクッと作って、1日働かせてみた!
yano13
1
110
OSSで50の競合と戦うためにやったこと
yamadashy
3
890
Featured
See All Featured
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
Faster Mobile Websites
deanohume
310
31k
For a Future-Friendly Web
brad_frost
180
10k
Mobile First: as difficult as doing things right
swwweet
225
10k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.7k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
Producing Creativity
orderedlist
PRO
347
40k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
359
30k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
140
34k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.7k
Code Reviewing Like a Champion
maltzj
526
40k
Building an army of robots
kneath
306
46k
Transcript
2021年2月24日 (水) xTech ゆるっとLT: VUI Fukuoka and AR_Fukuoka @オンライン 豊田
陽介 ( @youtoy ) スマートスピーカー(AIアシスタント) 以外のVoice関連の話をしてみる
豊田陽介(@youtoy) 自己紹介 普段は、某通信会社の研究所勤務 話題のものをたくさん 購入している気がする IT系イベント主催・登壇・運営、多数参加 子ども向けの活動いろいろ(IT系以外も) プライベートでの活動 ガジェット好き その他
主催テーマ: ビジュアルプログラミング、IoT、 ロボットトイ、メカトロなど
VUI関連の活動など スマートスピーカー Advent Calendar 2020 で書いた記事 ⇒ IFTTT で Alexa・Google
Assistant を利用して IFTTT Pro の新機能 (クエリー・フィルター)との組み合わせも試す - Qiita ヒーローズ・リーグ(旧 Mashup Awards)のVUI部門 ⇒ オーガナイザー(2018〜2020) 今週の土曜 「VoiceLunchJP#07」 ⇒ ハンズオンっぽい感じの内容の ファシリテーター
VUI関連で作ったものの一部 ビジュアルプログラミングで Alexaスキル + toio 連携 Alexaスキル + ラズパイ +
micro:bit連携 Alexa Gadgets Toolkit の Custom Interfaces Espalexa Alexaスキル + M5StickC & micro:bit連携 Voiceflow Node.js・Python・ MakeCode C・MakeCode Node.js・V oiceflow
スマートスピーカー・ AIアシスタントの話を 出していたものの
それらが絡まない話
今日の話題 声(や音全般)+ 機械学習 1 2 ビジュアルプログラミング+ スマホの音声系機能
Teachable Machine (by Google) 1つ目のトピック
声(や音全般)+ 機械学習 Googleさん提供の「Teachable Machine」 ⇒ ブラウザ上で学習ができて推論のお試しも
声より音色がメインの 事例ですが...
Teachable Machine(音)を使った事例 https://www.youtube.com/watch?v=Ve6TyzzmXck
音のインタフェースは...
展示で年齢によらず楽しんでもらえた! 2020年10月開催の Maker Faire Tokyo 2020 にて 中高生以上の学生さん や大人の方にも!
音を対象にしたTeachable Machine 音を学習させる操作を する部分 機械学習モデルの 作成操作をする部分 音の識別を試せる 部分(モデルが できた後)
音の学習は、 サイト上でボタン押下 ⇒ マイクでの録音 という流れ
Web上で音を識別する部分を試す 作成された機械学習モデルの推論をそのままサイト上でお試し
モデルデータを独自のプログラムで動かす •Teachable Machine の FAQ より https://teachablemachine.withgoogle.com/faq 手軽なのは JavaScriptベース のもの
⇒ p5.js + p5.js の Web エディタが一番手軽かも?
手軽なお試し(p5.js Web Editorで試す) 機械学習モデルの クラウドへのアップ オンラインエディタで実行 (ソースコードの変更などもOK) モデルの URL は
書き換えを!
クラウドアップ時のURLへアクセスすると Web上でのお試しや、モデルデータのダウンロードが可能 ⇒ 学習させるデータの追加はできなそうだけど...
プロジェクトのファイルの保存/アップ 左上のメニューから、プロジェクトのダウンロード・アップが
注意点というかコツ などに関わる部分
Teachable Machineの利用での注意点 •Teachable Machine の FAQ「希望どおりに動作しないのはなぜですか?」より https://teachablemachine.withgoogle.com/faq
音の学習・モデル利用の話の一部は記事に
ビジュアルプログラミング でスマホアプリ+VUI 2つ目のトピック
デモ動画:声の機械学習利用+音声合成 https://www.youtube.com/watch?v=Ywu-fy5S16M Androidアプリ
ブロックベースのプログラミング UI を作る画面
Webサイト上での機械学習もできる 学習 推論 ⇒ 機械学習のモデルはダウンロードして Androidアプリへ
細かな話はQiitaの記事(前後編)に モデルのデータを作る部分 Androidアプリ開発の部分
将来的な話として...
Alexa連携用の機能が検討されてるっぽい App Inventor の AIプロジェクトの概要に関するプレゼンより ⇒ https://www.youtube.com/watch?v=mwE0gBH5ai0
終わり!