Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
たぶん世界初…?Google Assistant搭載〇〇〇を作ってみた
Search
田中みそ
June 26, 2018
Programming
3
1.8k
たぶん世界初…?Google Assistant搭載〇〇〇を作ってみた
「スマートスピーカーを遊びたおす会」で発表したスライドです。
■デモ動画
https://youtu.be/nQVJRvZ0TEE
田中みそ
June 26, 2018
Tweet
Share
More Decks by 田中みそ
See All by 田中みそ
M5ATOMでNintendo Switchを自動化してみた
miso
0
12
ngrokを使ったLINE Bot開発を超絶楽ちんにする「linegrok」のご紹介
miso
0
100
opnizのご紹介
miso
0
570
ルービックキューブスクランブラーが欲しかったので作ってみた
miso
0
370
MineCraftのレッドストーンを現実世界まで拡張してみた
miso
0
67
TypeScriptでIoT開発できるらしいDeviceScriptのご紹介
miso
0
380
ngrokを使ったLINE Bot開発を超快適にする「linegrok」のご紹介
miso
0
330
ひとりopniz Meetup vol.1「opnizとは(迫真)」
miso
0
340
M5Unified版opnizがリリースされてほとんどのM5Stackデバイスで使えるようになった🎉
miso
0
440
Other Decks in Programming
See All in Programming
Goのmultiple errorsについて (2024年4月版)
syumai
1
480
サイコロで理解する統計的仮説検定の考え方
tatamiya
4
890
Designing for tomorrow's programming workflows
honnibal
PRO
2
120
#phpcon_odawara オープン・クローズドなテストフィクスチャを求めて / open closed test fixtures
77web
3
230
StoreKit2によるiOSのアプリ内課金のリニューアル
kangnux
0
110
データアナリストが行うDatabricksを活用したETLの自動化事例
shinoa
0
260
TYPO3 v13 – The road to LTS: What's new and new APIs
luisasofie_xoxo
0
190
Code Reviews
bkuhlmann
4
890
ゆるい個人開発のススメ
kuroppe1819
10
980
try!Swift Tokyo 2024 参加報告 LT
akidon0000
1
220
"config" ってなんだ? / What is "config"?
okashoi
0
240
Ruby Pattern Matching
bkuhlmann
0
920
Featured
See All Featured
Music & Morning Musume
bryan
41
5.6k
A Tale of Four Properties
chriscoyier
151
22k
What’s in a name? Adding method to the madness
productmarketing
PRO
16
2.6k
The Pragmatic Product Professional
lauravandoore
25
5.8k
The Power of CSS Pseudo Elements
geoffreycrofte
60
5k
Become a Pro
speakerdeck
PRO
11
4.5k
Building Your Own Lightsaber
phodgson
99
5.7k
Build your cross-platform service in a week with App Engine
jlugia
225
17k
VelocityConf: Rendering Performance Case Studies
addyosmani
320
23k
The Cost Of JavaScript in 2023
addyosmani
16
3.8k
Agile that works and the tools we love
rasmusluckow
325
20k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
Transcript
たぶん世界初…? Google Assistant搭載 〇〇〇を作ってみた 田中 みそ (田中 大樹)
自己紹介 田中 みそ (田中 大樹) Qiita: miso_develop Twitter: miso_develop Facebook:
田中みそ GitHub: miso-develop
自己紹介 田中 みそ (田中 大樹) Qiita: miso_develop Twitter: miso_develop Facebook:
田中みそ GitHub: miso-develop
リリースしたアプリ/スキル クロマチックチューナー(Google Assistant/Alexa) 指定の音の正弦波を流す楽器のチューニングアプリ 相対音感クイズ(Google Assistant/Alexa)
Cの次に鳴るコードが何のコードか当てるクイズアプリ マルバツゲーム(Alexa) まんまマルバツゲームのスキル ギタースケール辞典(Alexa) 知りたいギタースケールをキーと一緒に話しかけると スケール音を教えてくれるスキル
None
Google Homeでつくるスマートホーム
None
もっと自分に合ったスマートスピーカーが あるんじゃないか…?
Google Assistant搭載 バナナパンツ
つくりかた(ハードウェア)
つくりかた(ハードウェア) バナナパンツ … 1,382円 Raspberry Pi Zero W
… 1,296円 スピーカー(Speaker pHAT) … 1,566円 マイク(USB) … 145円 モバイルバッテリー … 1,399円 SDカード … 618円 ケーブル、コネクタ … 約1,000円 合計 … 約7,406円 いるもの
Raspberry Pi Zero W Speaker pHAT モバイルバッテリー micro SD USBマイク
USB L字変換コネクタ USBケーブル USB延長ケーブル
None
None
None
None
完 成
つくりかた(ソフトウェア)
つくりかた(ソフトウェア) Google Assistant SDK Google Assistant Library
Google Assistant Service ラズパイZeroは Library非対応 ServiceはgRPCが使えれば どの言語でもOK (主要言語は大体対応) Serviceはウェイクワード が使えない…!
つくりかた(ソフトウェア) Snowboy 好きなウェイクワードを登録して使えるサービス 様々なプログラミング言語に対応
つくりかた(ソフトウェア) Snowboyでウェイクワードを検出 「OK バナナ」 ↓ Google Assistantをマイクオープン
それぞれNode.jsパッケージを使用して実装 snowboy https://github.com/kitt-ai/snowboy google-assistant https://github.com/endoplasmic/google-assistant
つくりかた(ソフトウェア) Snowboy Webページからオリジナルウェイクワードを登録し、 定義ファイルをDLして参照 感度やマイク音量を変数でいじれるので調整 ウェイクワード検知でGoogle
Assistantを マイクオープンさせる
Google Assistant SDK GCPコンソールでGoogle Assistant SDKを 有効化し、認証ファイルをDLして参照
初回起動時に接続アカウント指定 Google Assistantの音声検知イベントを拾って ローカルコマンドを実行 つくりかた(ソフトウェア)
つくりかた(ソフトウェア) ハマりどこ 突然マイクが死ぬ 録音デバイスの優先順位定義configを作成 突然Speaker pHATのLEDが死ぬ
↑の定義configを削除すると直る マイクは何故か再び死ぬことはなかった google-assistantが、ラズパイZeroじゃ スペックが低いっぽくて動かない Issueでも上がっててプルリクまで投げられてるけど マージされてない修正を適用したらとりあえずいけた
性能評価
性能評価 マイク Snowboyは感度調節できるけど認識がイマイチ… タイピング音に良く反応する Google Assistantの認識は本家と遜色ない
スピーカー 音量はわりと出る バナナパンツとしては十分 音質は見た目通りな感じ 音楽聴くには微妙だけど、音声のやりとりには十分
性能評価
性能評価 動作(速度、安定性) 反応はそこそこ遅い 所詮バナナ 応答の音声再生が不安定
改善の余地はありそうだけど反応速度と トレードオフっぽいかも
Google Assistant性能 天気とかは普通に聞ける ピカチュウトークは利用できない 「使用中のアカウントではピカチュウを利用できません」
バナナパンツとしては妥当 自作アプリや個人リリースのアプリは普通に使える IFTTT連携も問題なし 性能評価
性能評価 消費電力(稼働時間) 待機時: 約0.61Wh(約120mAh) 音楽再生時: 約1.02Wh(約200mAh)
ピーク時: 約1.53Wh(約300mAh)
性能評価 消費電力(稼働時間) 待機時: 約0.61Wh(約120mAh) 音楽再生時: 約1.02Wh(約200mAh)
ピーク時: 約1.53Wh(約300mAh) 今回使用したモバイルバッテリーの容量は6700mA 待機状態を単純計算で56時間稼働 実際はロスが発生し一般的なモバイルバッテリーのロス率は4割ほどらしい となると33.6時間ほど 丸一日は持ちそう 一ヶ月ノンストップ稼働した場合の電気代は20円~25円ほど
課題 音声出力動作の安定化 音声データの通信、復元部をいじってみる LEDをカラフルにチカチカさせたい Speaker pHATはカッコイイけどGPIO全部埋まっちゃう
Speaker pHATをやめてスピーカー部を自分で実装 マイク感度を改善 USBマイクじゃなくてGPIO実装 小型化 ついでに電源もGPIO給電にすればもっと小型化できそう
さいごに ウェアラブル音声アシストって案外いいですね 1部屋1台 → 1人1台 場所にとらわれない
今あるもの ヘッドフォン 音楽聴く時以外も着けてるのはきつい 首掛けスピーカー いい感じっぽいけど、常に着けてる感はなさそう スマートウォッチ やっぱこれが本命
おわり ご清聴ありがとうございました