Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スマートスピーカー×obnizでVUI IoTを加速しよう!
Search
田中みそ
September 07, 2018
Technology
3
1.6k
スマートスピーカー×obnizでVUI IoTを加速しよう!
2018/9/7に行われたスマートスピーカーを遊びたおす会 vol.3での登壇資料です。
obnizを使用したスマートスピーカースキルに関する内容になります。
田中みそ
September 07, 2018
Tweet
Share
More Decks by 田中みそ
See All by 田中みそ
LINE x IoT 入門ハンズオン
miso
0
150
M5ATOMでNintendo Switchを自動化してみた
miso
0
350
ngrokを使ったLINE Bot開発を超絶楽ちんにする「linegrok」のご紹介
miso
0
350
opnizのご紹介
miso
0
750
ルービックキューブスクランブラーが欲しかったので作ってみた
miso
0
660
MineCraftのレッドストーンを現実世界まで拡張してみた
miso
0
130
TypeScriptでIoT開発できるらしいDeviceScriptのご紹介
miso
0
560
ngrokを使ったLINE Bot開発を超快適にする「linegrok」のご紹介
miso
0
430
ひとりopniz Meetup vol.1「opnizとは(迫真)」
miso
0
470
Other Decks in Technology
See All in Technology
ディスプレイ広告(Yahoo!広告・LINE広告)におけるバックエンド開発
lycorptech_jp
PRO
0
470
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
19k
Two Blades, One Journey: Engineering While Managing
ohbarye
4
2.2k
大規模アジャイルフレームワークから学ぶエンジニアマネジメントの本質
staka121
PRO
3
1.3k
AWSを活用したIoTにおけるセキュリティ対策のご紹介
kwskyk
0
410
Visualize, Visualize, Visualize and rclone
tomoaki0705
9
83k
エンジニア主導の企画立案を可能にする組織とは?
recruitengineers
PRO
1
250
ウォンテッドリーのデータパイプラインを支える ETL のための analytics, rds-exporter / analytics, rds-exporter for ETL to support Wantedly's data pipeline
unblee
0
140
DevinでAI AWSエンジニア製造計画 序章 〜CDKを添えて〜/devin-load-to-aws-engineer
tomoki10
0
180
エンジニアリング価値を黒字化する バリューベース戦略を用いた 技術戦略策定の道のり
kzkmaeda
7
3k
AWSアカウントのセキュリティ自動化、どこまで進める? 最適な設計と実践ポイント
yuobayashi
7
850
Apache Iceberg Case Study in LY Corporation
lycorptech_jp
PRO
0
350
Featured
See All Featured
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
12
1k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2.1k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
Faster Mobile Websites
deanohume
306
31k
Writing Fast Ruby
sferik
628
61k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
114
50k
A Philosophy of Restraint
colly
203
16k
Docker and Python
trallard
44
3.3k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.2k
Visualization
eitanlees
146
15k
Transcript
スマートスピーカー×obnizで VUI IoTを加速しよう! 田中 みそ (田中 大樹)
自己紹介 田中 みそ (田中 大樹) Qiita: miso_develop Twitter: miso_develop Facebook:
田中みそ Google Home購入を機にITに目覚めた 初心者非エンジニア。 好きな食べ物はRaspberry Piとバナナ。 Facebook
自己紹介 田中 みそ (田中 大樹) Qiita: miso_develop Twitter: miso_develop Facebook:
田中みそ Google Home購入を機にITに目覚めた 初心者非エンジニア。 好きな食べ物はRaspberry Piとバナナ。 Facebook
None
None
None
DEMO
Clova Extensions Kit システム構成図
ESP32
ESP32 簡単に言えばWi-Fi付きArduino Google Homeに話しかけてお湯はりボタンを プッシュしたり ハンドスピナーを回したり
つまりは…?
None
M5Stackとかとの違い 最大の違いはプログラムの置き場所 Cっぽい低レイヤー言語で書いた プログラムをマイコンに書き込む マイコンにプログラムを書き込めない(!?) クラウドでプログラムを動かす!! (Node.jsで書ける!!!)
None
None
None
ユーザーの利用フロー
ユーザーの利用フロー ①obnizをポチる(パーツも一緒に)
ユーザーの利用フロー ②パーツをつなげる
ユーザーの利用フロー ③Wi-Fiにつなげる(obniz単体で可能)
ユーザーの利用フロー ④スキルにobniz IDを伝える 1234-5678
ユーザーの利用フロー これだけ。たったの4ステップ…!! ①買う ②組み立てる ③繋げる ④認証する
ユーザーの利用フロー ネックになるのはパーツの接続ぐらい パーツのセット売り、購入先リンクをまとめる 基盤にはんだ付けしといてobnizに挿すだけにする obnizごとオリジナルのケースに詰めて販売
それ以外のフローはスマートスピーカーの セットアップと変わらない
マネタイズの可能性 スキル開発なかなかお金にならない>< Alexaはリワードプログラムあるけど… Tシャツはそろそろ一週間ローテいける スマートスピーカー対応ハードウェアは…?
赤外線学習リモコンは年度末ぐらいまで ほぼ売り切れ状態だった
スキル開発での知見
obniz IDの登録フロー obnizは8桁の数字で構成されるIDを持つ これさえあればobnizがどこにあろうと オンライン状態であれば操作可能
obniz IDの登録フロー スキルの初回起動時に音声で登録を行う 8桁を1度に発話してもらう? 4桁を2回に分けて発話してもらう?
obniz IDの登録フロー 4桁を2回に分けて発話してもらう! ID登録は基本的に初回のみ 利便性より確実性を重視 8桁数字はユーザーも発話に詰まる恐れあり
スマートスピーカー自体も聞き間違えが発生 しやすくなる
obniz IDの登録フロー スロット Clovaの場合 ビルトインスロット「Clova.NUMBER」 数字を単体読みすると認識しない
サンプル発話で4つに分けても認識がイマイチ… 「2018」→「にせんじゅうはち」と読めば認識可能… 単発数字発話用のスロットを作成することで解決!
半角、全角、漢数字、 ひらがなを一通り拾う
一桁づつスロット名 を割り振る 作ったスロットを指定
obniz IDの登録フロー Alexaの場合 「AMAZON.FOUR_DIGIT_NUMBER」 というビルトインスロットがある…!
obniz IDの登録フロー Google Assistantの場合 英語なら「@sys.number-sequence」がある… 「@sys.flight-number」無理やり使えるかも?
obniz IDの登録フロー 各スマートスピーカーで対応している GUIからもID登録可能にしておく Clova: LINE Bot
Alexa: Echo Spotの画面 Google Assistant: スマホ版Google Assistant アカウントリンクを使う IDの変更、消去の手段も用意しておく
obniz IDの登録フロー obniz IDがわかればどこからでも操作できる 悪い人にバレると危険☠!!!! アクセストークンがあるけどこれを有効化すると…
IDはDB格納時に暗号化、利用時は複合しよう スキル申請時にプライバシーポリシーへの 記載が必要?
タイムアウトの壁 センサーからのデータ取得に時間がかかる ケースがある 基本的にはほとんどのセンサーは一瞬で値を 返してくれるはず 今回ハッカソンスキルで使った心拍センサーは 値取得に6~7秒かかる…
さすがにストレス というかClovaがタイムアウト…
タイムアウトの壁 対策 スキル起動インテントのLambdaから 心拍取得用の裏Lambdaをキック ユーザーが次のインテントを呼び出すまでの 間に心拍数をDBに格納する
基本的に3秒以内のレスポンスを目指す
ここが 長い…→ 「心の音へようこそ…」 センサーから心拍数取得 「心に響く曲教えて」 「現在の心拍数は…」 「心の音を開いて」
ここが 長い…→ 「心の音へようこそ…」 センサーから心拍数取得 「心に響く曲教えて」 「現在の心拍数は…」 「心の音を開いて」 タイムアウト!!!!
「心の音を開いて」 「心の音へようこそ…」 裏Lambdaキック! ← センサーから 心拍数取得…! (Lambda自体の タイムアウト長め) DBから心拍数取得 DBに心拍数格納!
「心に響く曲教えて」 「現在の心拍数は…」 ここが 長い…→
タイムアウトの壁 対策(時間稼ぎ) setTimeoutでwaitする 長くても500msecぐらい 応答メッセージを沢山しゃべる
SSMLで発話スピードを遅くする 起動時にオープニングSEを入れる
タイムアウトの壁 UXの悪化とトレードオフ 起動時SEはスキルのタイプによる SSML: 個人的にはユーザーが発話スピードを 自由に設定できるような実装が理想
複数のインテントに少しづつ色んな アプローチをすることでUXの悪化を軽減!
スマートスピーカーはIoTデバイス obnizはその機能を拡張する可能性を秘めている…! 何よりスキル開発の楽しさが格段にアップ!! 興味がでてきた方は まずは公式ページをチェック(https://obniz.io/)
サンプルやドキュメントがすごく充実! ぜひハンズオンにも参加してみて! コマンドひとつも打たず、ローカルファイルすら作らない 不思議なハンズオン…! さいごに
ハッカソン、めちゃくちゃ楽しい!!! LINE BOOT AWARDS終わっても 毎月開催してください…!!! さいごに
None
おわり ご清聴ありがとうございました