Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スマートスピーカー×obnizでVUI IoTを加速しよう!
Search
田中みそ
September 07, 2018
Technology
3
1.7k
スマートスピーカー×obnizでVUI IoTを加速しよう!
2018/9/7に行われたスマートスピーカーを遊びたおす会 vol.3での登壇資料です。
obnizを使用したスマートスピーカースキルに関する内容になります。
田中みそ
September 07, 2018
Tweet
Share
More Decks by 田中みそ
See All by 田中みそ
LINE x IoT 入門ハンズオン
miso
0
180
M5ATOMでNintendo Switchを自動化してみた
miso
0
420
ngrokを使ったLINE Bot開発を超絶楽ちんにする「linegrok」のご紹介
miso
0
410
opnizのご紹介
miso
0
810
ルービックキューブスクランブラーが欲しかったので作ってみた
miso
0
760
MineCraftのレッドストーンを現実世界まで拡張してみた
miso
0
160
TypeScriptでIoT開発できるらしいDeviceScriptのご紹介
miso
0
610
ngrokを使ったLINE Bot開発を超快適にする「linegrok」のご紹介
miso
0
460
ひとりopniz Meetup vol.1「opnizとは(迫真)」
miso
0
500
Other Decks in Technology
See All in Technology
生成AI活用の組織格差を解消する 〜ビジネス職のCursor導入が開発効率に与えた好循環〜 / Closing the Organizational Gap in AI Adoption
upamune
6
5k
Core Audio tapを使ったリアルタイム音声処理のお話
yuta0306
0
180
OPENLOGI Company Profile for engineer
hr01
1
33k
Should Our Project Join the CNCF? (Japanese Recap)
whywaita
PRO
0
320
品質と速度の両立:生成AI時代の品質保証アプローチ
odasho
1
190
B2C&B2B&社内向けサービスを抱える開発組織におけるサービス価値を最大化するイニシアチブ管理
belongadmin
1
5.6k
Lambda Web Adapterについて自分なりに理解してみた
smt7174
6
160
なぜ私はいま、ここにいるのか? #もがく中堅デザイナー #プロダクトデザイナー
bengo4com
0
1.3k
AI導入の理想と現実~コストと浸透〜
oprstchn
0
180
mrubyと micro-ROSが繋ぐロボットの世界
kishima
3
410
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
3
950
ビズリーチが挑む メトリクスを活用した技術的負債の解消 / dev-productivity-con2025
visional_engineering_and_design
3
6.1k
Featured
See All Featured
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Thoughts on Productivity
jonyablonski
69
4.7k
Why Our Code Smells
bkeepers
PRO
337
57k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
4 Signs Your Business is Dying
shpigford
184
22k
Bash Introduction
62gerente
614
210k
A Tale of Four Properties
chriscoyier
160
23k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Transcript
スマートスピーカー×obnizで VUI IoTを加速しよう! 田中 みそ (田中 大樹)
自己紹介 田中 みそ (田中 大樹) Qiita: miso_develop Twitter: miso_develop Facebook:
田中みそ Google Home購入を機にITに目覚めた 初心者非エンジニア。 好きな食べ物はRaspberry Piとバナナ。 Facebook
自己紹介 田中 みそ (田中 大樹) Qiita: miso_develop Twitter: miso_develop Facebook:
田中みそ Google Home購入を機にITに目覚めた 初心者非エンジニア。 好きな食べ物はRaspberry Piとバナナ。 Facebook
None
None
None
DEMO
Clova Extensions Kit システム構成図
ESP32
ESP32 簡単に言えばWi-Fi付きArduino Google Homeに話しかけてお湯はりボタンを プッシュしたり ハンドスピナーを回したり
つまりは…?
None
M5Stackとかとの違い 最大の違いはプログラムの置き場所 Cっぽい低レイヤー言語で書いた プログラムをマイコンに書き込む マイコンにプログラムを書き込めない(!?) クラウドでプログラムを動かす!! (Node.jsで書ける!!!)
None
None
None
ユーザーの利用フロー
ユーザーの利用フロー ①obnizをポチる(パーツも一緒に)
ユーザーの利用フロー ②パーツをつなげる
ユーザーの利用フロー ③Wi-Fiにつなげる(obniz単体で可能)
ユーザーの利用フロー ④スキルにobniz IDを伝える 1234-5678
ユーザーの利用フロー これだけ。たったの4ステップ…!! ①買う ②組み立てる ③繋げる ④認証する
ユーザーの利用フロー ネックになるのはパーツの接続ぐらい パーツのセット売り、購入先リンクをまとめる 基盤にはんだ付けしといてobnizに挿すだけにする obnizごとオリジナルのケースに詰めて販売
それ以外のフローはスマートスピーカーの セットアップと変わらない
マネタイズの可能性 スキル開発なかなかお金にならない>< Alexaはリワードプログラムあるけど… Tシャツはそろそろ一週間ローテいける スマートスピーカー対応ハードウェアは…?
赤外線学習リモコンは年度末ぐらいまで ほぼ売り切れ状態だった
スキル開発での知見
obniz IDの登録フロー obnizは8桁の数字で構成されるIDを持つ これさえあればobnizがどこにあろうと オンライン状態であれば操作可能
obniz IDの登録フロー スキルの初回起動時に音声で登録を行う 8桁を1度に発話してもらう? 4桁を2回に分けて発話してもらう?
obniz IDの登録フロー 4桁を2回に分けて発話してもらう! ID登録は基本的に初回のみ 利便性より確実性を重視 8桁数字はユーザーも発話に詰まる恐れあり
スマートスピーカー自体も聞き間違えが発生 しやすくなる
obniz IDの登録フロー スロット Clovaの場合 ビルトインスロット「Clova.NUMBER」 数字を単体読みすると認識しない
サンプル発話で4つに分けても認識がイマイチ… 「2018」→「にせんじゅうはち」と読めば認識可能… 単発数字発話用のスロットを作成することで解決!
半角、全角、漢数字、 ひらがなを一通り拾う
一桁づつスロット名 を割り振る 作ったスロットを指定
obniz IDの登録フロー Alexaの場合 「AMAZON.FOUR_DIGIT_NUMBER」 というビルトインスロットがある…!
obniz IDの登録フロー Google Assistantの場合 英語なら「@sys.number-sequence」がある… 「@sys.flight-number」無理やり使えるかも?
obniz IDの登録フロー 各スマートスピーカーで対応している GUIからもID登録可能にしておく Clova: LINE Bot
Alexa: Echo Spotの画面 Google Assistant: スマホ版Google Assistant アカウントリンクを使う IDの変更、消去の手段も用意しておく
obniz IDの登録フロー obniz IDがわかればどこからでも操作できる 悪い人にバレると危険☠!!!! アクセストークンがあるけどこれを有効化すると…
IDはDB格納時に暗号化、利用時は複合しよう スキル申請時にプライバシーポリシーへの 記載が必要?
タイムアウトの壁 センサーからのデータ取得に時間がかかる ケースがある 基本的にはほとんどのセンサーは一瞬で値を 返してくれるはず 今回ハッカソンスキルで使った心拍センサーは 値取得に6~7秒かかる…
さすがにストレス というかClovaがタイムアウト…
タイムアウトの壁 対策 スキル起動インテントのLambdaから 心拍取得用の裏Lambdaをキック ユーザーが次のインテントを呼び出すまでの 間に心拍数をDBに格納する
基本的に3秒以内のレスポンスを目指す
ここが 長い…→ 「心の音へようこそ…」 センサーから心拍数取得 「心に響く曲教えて」 「現在の心拍数は…」 「心の音を開いて」
ここが 長い…→ 「心の音へようこそ…」 センサーから心拍数取得 「心に響く曲教えて」 「現在の心拍数は…」 「心の音を開いて」 タイムアウト!!!!
「心の音を開いて」 「心の音へようこそ…」 裏Lambdaキック! ← センサーから 心拍数取得…! (Lambda自体の タイムアウト長め) DBから心拍数取得 DBに心拍数格納!
「心に響く曲教えて」 「現在の心拍数は…」 ここが 長い…→
タイムアウトの壁 対策(時間稼ぎ) setTimeoutでwaitする 長くても500msecぐらい 応答メッセージを沢山しゃべる
SSMLで発話スピードを遅くする 起動時にオープニングSEを入れる
タイムアウトの壁 UXの悪化とトレードオフ 起動時SEはスキルのタイプによる SSML: 個人的にはユーザーが発話スピードを 自由に設定できるような実装が理想
複数のインテントに少しづつ色んな アプローチをすることでUXの悪化を軽減!
スマートスピーカーはIoTデバイス obnizはその機能を拡張する可能性を秘めている…! 何よりスキル開発の楽しさが格段にアップ!! 興味がでてきた方は まずは公式ページをチェック(https://obniz.io/)
サンプルやドキュメントがすごく充実! ぜひハンズオンにも参加してみて! コマンドひとつも打たず、ローカルファイルすら作らない 不思議なハンズオン…! さいごに
ハッカソン、めちゃくちゃ楽しい!!! LINE BOOT AWARDS終わっても 毎月開催してください…!!! さいごに
None
おわり ご清聴ありがとうございました