Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スマートスピーカー×obnizでVUI IoTを加速しよう!
Search
田中みそ
September 07, 2018
Technology
3
1.6k
スマートスピーカー×obnizでVUI IoTを加速しよう!
2018/9/7に行われたスマートスピーカーを遊びたおす会 vol.3での登壇資料です。
obnizを使用したスマートスピーカースキルに関する内容になります。
田中みそ
September 07, 2018
Tweet
Share
More Decks by 田中みそ
See All by 田中みそ
ngrokを使ったLINE Bot開発を超絶楽ちんにする「linegrok」のご紹介
miso
0
93
opnizのご紹介
miso
0
570
ルービックキューブスクランブラーが欲しかったので作ってみた
miso
0
370
MineCraftのレッドストーンを現実世界まで拡張してみた
miso
0
67
TypeScriptでIoT開発できるらしいDeviceScriptのご紹介
miso
0
380
ngrokを使ったLINE Bot開発を超快適にする「linegrok」のご紹介
miso
0
330
ひとりopniz Meetup vol.1「opnizとは(迫真)」
miso
0
340
M5Unified版opnizがリリースされてほとんどのM5Stackデバイスで使えるようになった🎉
miso
0
430
MineCraftのレッドストーンを現実世界まで拡張してみた
miso
0
230
Other Decks in Technology
See All in Technology
[2024年3月版] Databricksのシステムアーキテクチャ
databricksjapan
8
1.9k
入社後初めてのタスクでk8sアップグレードした話.pdf
kkato1
1
380
SREとその組織類型
tatsuo48
8
1.5k
キャラクター制御のためのプロンプト術 for LINE Bot
uezo
0
520
「手動オペレーションに定評がある」と言われた私が心がけていること / phpcon_odawara2024
blue_goheimochi
2
320
普段有償でサポート業務をしているCSAが技術知見を無料で公開する理由
07jp27
1
640
GraphQL 成熟度モデルの紹介と、プロダクトに当てはめた事例 / GraphQL maturity model
mh4gf
4
130
Tebiki株式会社 エンジニア採用資料
tebiki
0
4.1k
Discord とビルダー&チャットボットの使い方 / How to use Discord and Builder & Chatbots
ks91
PRO
0
130
Algyan イベント振り返り
linyixian
0
190
AIQ株式会社 エンジニア向け会社紹介資料
aiqlab
0
370
Oracle Cloud Infrastructure:2024年4月度サービス・アップデート
oracle4engineer
PRO
1
110
Featured
See All Featured
We Have a Design System, Now What?
morganepeng
42
6.7k
Build The Right Thing And Hit Your Dates
maggiecrowley
23
2k
The Invisible Customer
myddelton
114
12k
Large-scale JavaScript Application Architecture
addyosmani
503
110k
Reflections from 52 weeks, 52 projects
jeffersonlam
344
19k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
321
20k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
76
41k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
24
2.3k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
20
1.6k
Thoughts on Productivity
jonyablonski
57
3.8k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
243
20k
Building Better People: How to give real-time feedback that sticks.
wjessup
354
18k
Transcript
スマートスピーカー×obnizで VUI IoTを加速しよう! 田中 みそ (田中 大樹)
自己紹介 田中 みそ (田中 大樹) Qiita: miso_develop Twitter: miso_develop Facebook:
田中みそ Google Home購入を機にITに目覚めた 初心者非エンジニア。 好きな食べ物はRaspberry Piとバナナ。 Facebook
自己紹介 田中 みそ (田中 大樹) Qiita: miso_develop Twitter: miso_develop Facebook:
田中みそ Google Home購入を機にITに目覚めた 初心者非エンジニア。 好きな食べ物はRaspberry Piとバナナ。 Facebook
None
None
None
DEMO
Clova Extensions Kit システム構成図
ESP32
ESP32 簡単に言えばWi-Fi付きArduino Google Homeに話しかけてお湯はりボタンを プッシュしたり ハンドスピナーを回したり
つまりは…?
None
M5Stackとかとの違い 最大の違いはプログラムの置き場所 Cっぽい低レイヤー言語で書いた プログラムをマイコンに書き込む マイコンにプログラムを書き込めない(!?) クラウドでプログラムを動かす!! (Node.jsで書ける!!!)
None
None
None
ユーザーの利用フロー
ユーザーの利用フロー ①obnizをポチる(パーツも一緒に)
ユーザーの利用フロー ②パーツをつなげる
ユーザーの利用フロー ③Wi-Fiにつなげる(obniz単体で可能)
ユーザーの利用フロー ④スキルにobniz IDを伝える 1234-5678
ユーザーの利用フロー これだけ。たったの4ステップ…!! ①買う ②組み立てる ③繋げる ④認証する
ユーザーの利用フロー ネックになるのはパーツの接続ぐらい パーツのセット売り、購入先リンクをまとめる 基盤にはんだ付けしといてobnizに挿すだけにする obnizごとオリジナルのケースに詰めて販売
それ以外のフローはスマートスピーカーの セットアップと変わらない
マネタイズの可能性 スキル開発なかなかお金にならない>< Alexaはリワードプログラムあるけど… Tシャツはそろそろ一週間ローテいける スマートスピーカー対応ハードウェアは…?
赤外線学習リモコンは年度末ぐらいまで ほぼ売り切れ状態だった
スキル開発での知見
obniz IDの登録フロー obnizは8桁の数字で構成されるIDを持つ これさえあればobnizがどこにあろうと オンライン状態であれば操作可能
obniz IDの登録フロー スキルの初回起動時に音声で登録を行う 8桁を1度に発話してもらう? 4桁を2回に分けて発話してもらう?
obniz IDの登録フロー 4桁を2回に分けて発話してもらう! ID登録は基本的に初回のみ 利便性より確実性を重視 8桁数字はユーザーも発話に詰まる恐れあり
スマートスピーカー自体も聞き間違えが発生 しやすくなる
obniz IDの登録フロー スロット Clovaの場合 ビルトインスロット「Clova.NUMBER」 数字を単体読みすると認識しない
サンプル発話で4つに分けても認識がイマイチ… 「2018」→「にせんじゅうはち」と読めば認識可能… 単発数字発話用のスロットを作成することで解決!
半角、全角、漢数字、 ひらがなを一通り拾う
一桁づつスロット名 を割り振る 作ったスロットを指定
obniz IDの登録フロー Alexaの場合 「AMAZON.FOUR_DIGIT_NUMBER」 というビルトインスロットがある…!
obniz IDの登録フロー Google Assistantの場合 英語なら「@sys.number-sequence」がある… 「@sys.flight-number」無理やり使えるかも?
obniz IDの登録フロー 各スマートスピーカーで対応している GUIからもID登録可能にしておく Clova: LINE Bot
Alexa: Echo Spotの画面 Google Assistant: スマホ版Google Assistant アカウントリンクを使う IDの変更、消去の手段も用意しておく
obniz IDの登録フロー obniz IDがわかればどこからでも操作できる 悪い人にバレると危険☠!!!! アクセストークンがあるけどこれを有効化すると…
IDはDB格納時に暗号化、利用時は複合しよう スキル申請時にプライバシーポリシーへの 記載が必要?
タイムアウトの壁 センサーからのデータ取得に時間がかかる ケースがある 基本的にはほとんどのセンサーは一瞬で値を 返してくれるはず 今回ハッカソンスキルで使った心拍センサーは 値取得に6~7秒かかる…
さすがにストレス というかClovaがタイムアウト…
タイムアウトの壁 対策 スキル起動インテントのLambdaから 心拍取得用の裏Lambdaをキック ユーザーが次のインテントを呼び出すまでの 間に心拍数をDBに格納する
基本的に3秒以内のレスポンスを目指す
ここが 長い…→ 「心の音へようこそ…」 センサーから心拍数取得 「心に響く曲教えて」 「現在の心拍数は…」 「心の音を開いて」
ここが 長い…→ 「心の音へようこそ…」 センサーから心拍数取得 「心に響く曲教えて」 「現在の心拍数は…」 「心の音を開いて」 タイムアウト!!!!
「心の音を開いて」 「心の音へようこそ…」 裏Lambdaキック! ← センサーから 心拍数取得…! (Lambda自体の タイムアウト長め) DBから心拍数取得 DBに心拍数格納!
「心に響く曲教えて」 「現在の心拍数は…」 ここが 長い…→
タイムアウトの壁 対策(時間稼ぎ) setTimeoutでwaitする 長くても500msecぐらい 応答メッセージを沢山しゃべる
SSMLで発話スピードを遅くする 起動時にオープニングSEを入れる
タイムアウトの壁 UXの悪化とトレードオフ 起動時SEはスキルのタイプによる SSML: 個人的にはユーザーが発話スピードを 自由に設定できるような実装が理想
複数のインテントに少しづつ色んな アプローチをすることでUXの悪化を軽減!
スマートスピーカーはIoTデバイス obnizはその機能を拡張する可能性を秘めている…! 何よりスキル開発の楽しさが格段にアップ!! 興味がでてきた方は まずは公式ページをチェック(https://obniz.io/)
サンプルやドキュメントがすごく充実! ぜひハンズオンにも参加してみて! コマンドひとつも打たず、ローカルファイルすら作らない 不思議なハンズオン…! さいごに
ハッカソン、めちゃくちゃ楽しい!!! LINE BOOT AWARDS終わっても 毎月開催してください…!!! さいごに
None
おわり ご清聴ありがとうございました