Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スマートスピーカー×obnizでVUI IoTを加速しよう!
Search
田中みそ
September 07, 2018
Technology
3
1.6k
スマートスピーカー×obnizでVUI IoTを加速しよう!
2018/9/7に行われたスマートスピーカーを遊びたおす会 vol.3での登壇資料です。
obnizを使用したスマートスピーカースキルに関する内容になります。
田中みそ
September 07, 2018
Tweet
Share
More Decks by 田中みそ
See All by 田中みそ
LINE x IoT 入門ハンズオン
miso
0
150
M5ATOMでNintendo Switchを自動化してみた
miso
0
350
ngrokを使ったLINE Bot開発を超絶楽ちんにする「linegrok」のご紹介
miso
0
350
opnizのご紹介
miso
0
750
ルービックキューブスクランブラーが欲しかったので作ってみた
miso
0
660
MineCraftのレッドストーンを現実世界まで拡張してみた
miso
0
130
TypeScriptでIoT開発できるらしいDeviceScriptのご紹介
miso
0
560
ngrokを使ったLINE Bot開発を超快適にする「linegrok」のご紹介
miso
0
430
ひとりopniz Meetup vol.1「opnizとは(迫真)」
miso
0
470
Other Decks in Technology
See All in Technology
AWS Well-Architected Frameworkで学ぶAmazon ECSのセキュリティ対策
umekou
2
140
【内製開発Summit 2025】イオンスマートテクノロジーの内製化組織の作り方/In-house-development-summit-AST
aeonpeople
2
610
AIエージェント入門
minorun365
PRO
31
17k
生成AI×財務経理:PoCで挑むSlack AI Bot開発と現場巻き込みのリアル
pohdccoe
1
630
【詳説】コンテンツ配信 システムの複数機能 基盤への拡張
hatena
0
230
【Findy】「正しく」失敗できる チームの作り方 〜リアルな事例から紐解く失敗を恐れない組織とは〜 / A team that can fail correctly by findy
i35_267
5
860
Goで作って学ぶWebSocket
ryuichi1208
3
2.7k
OSS構成管理ツールCMDBuildを使ったAWSリソース管理の自動化
satorufunai
0
640
遷移の高速化 ヤフートップの試行錯誤
narirou
6
1.1k
NFV基盤のOpenStack更新 ~9世代バージョンアップへの挑戦~
vtj
0
350
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
18k
Snowflakeの開発・運用コストをApache Icebergで効率化しよう!~機能と活用例のご紹介~
sagara
1
430
Featured
See All Featured
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.4k
Bootstrapping a Software Product
garrettdimon
PRO
306
110k
Site-Speed That Sticks
csswizardry
4
400
Code Review Best Practice
trishagee
67
18k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
BBQ
matthewcrist
87
9.5k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
100
18k
Unsuck your backbone
ammeep
669
57k
Navigating Team Friction
lara
183
15k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.3k
A designer walks into a library…
pauljervisheath
205
24k
Done Done
chrislema
182
16k
Transcript
スマートスピーカー×obnizで VUI IoTを加速しよう! 田中 みそ (田中 大樹)
自己紹介 田中 みそ (田中 大樹) Qiita: miso_develop Twitter: miso_develop Facebook:
田中みそ Google Home購入を機にITに目覚めた 初心者非エンジニア。 好きな食べ物はRaspberry Piとバナナ。 Facebook
自己紹介 田中 みそ (田中 大樹) Qiita: miso_develop Twitter: miso_develop Facebook:
田中みそ Google Home購入を機にITに目覚めた 初心者非エンジニア。 好きな食べ物はRaspberry Piとバナナ。 Facebook
None
None
None
DEMO
Clova Extensions Kit システム構成図
ESP32
ESP32 簡単に言えばWi-Fi付きArduino Google Homeに話しかけてお湯はりボタンを プッシュしたり ハンドスピナーを回したり
つまりは…?
None
M5Stackとかとの違い 最大の違いはプログラムの置き場所 Cっぽい低レイヤー言語で書いた プログラムをマイコンに書き込む マイコンにプログラムを書き込めない(!?) クラウドでプログラムを動かす!! (Node.jsで書ける!!!)
None
None
None
ユーザーの利用フロー
ユーザーの利用フロー ①obnizをポチる(パーツも一緒に)
ユーザーの利用フロー ②パーツをつなげる
ユーザーの利用フロー ③Wi-Fiにつなげる(obniz単体で可能)
ユーザーの利用フロー ④スキルにobniz IDを伝える 1234-5678
ユーザーの利用フロー これだけ。たったの4ステップ…!! ①買う ②組み立てる ③繋げる ④認証する
ユーザーの利用フロー ネックになるのはパーツの接続ぐらい パーツのセット売り、購入先リンクをまとめる 基盤にはんだ付けしといてobnizに挿すだけにする obnizごとオリジナルのケースに詰めて販売
それ以外のフローはスマートスピーカーの セットアップと変わらない
マネタイズの可能性 スキル開発なかなかお金にならない>< Alexaはリワードプログラムあるけど… Tシャツはそろそろ一週間ローテいける スマートスピーカー対応ハードウェアは…?
赤外線学習リモコンは年度末ぐらいまで ほぼ売り切れ状態だった
スキル開発での知見
obniz IDの登録フロー obnizは8桁の数字で構成されるIDを持つ これさえあればobnizがどこにあろうと オンライン状態であれば操作可能
obniz IDの登録フロー スキルの初回起動時に音声で登録を行う 8桁を1度に発話してもらう? 4桁を2回に分けて発話してもらう?
obniz IDの登録フロー 4桁を2回に分けて発話してもらう! ID登録は基本的に初回のみ 利便性より確実性を重視 8桁数字はユーザーも発話に詰まる恐れあり
スマートスピーカー自体も聞き間違えが発生 しやすくなる
obniz IDの登録フロー スロット Clovaの場合 ビルトインスロット「Clova.NUMBER」 数字を単体読みすると認識しない
サンプル発話で4つに分けても認識がイマイチ… 「2018」→「にせんじゅうはち」と読めば認識可能… 単発数字発話用のスロットを作成することで解決!
半角、全角、漢数字、 ひらがなを一通り拾う
一桁づつスロット名 を割り振る 作ったスロットを指定
obniz IDの登録フロー Alexaの場合 「AMAZON.FOUR_DIGIT_NUMBER」 というビルトインスロットがある…!
obniz IDの登録フロー Google Assistantの場合 英語なら「@sys.number-sequence」がある… 「@sys.flight-number」無理やり使えるかも?
obniz IDの登録フロー 各スマートスピーカーで対応している GUIからもID登録可能にしておく Clova: LINE Bot
Alexa: Echo Spotの画面 Google Assistant: スマホ版Google Assistant アカウントリンクを使う IDの変更、消去の手段も用意しておく
obniz IDの登録フロー obniz IDがわかればどこからでも操作できる 悪い人にバレると危険☠!!!! アクセストークンがあるけどこれを有効化すると…
IDはDB格納時に暗号化、利用時は複合しよう スキル申請時にプライバシーポリシーへの 記載が必要?
タイムアウトの壁 センサーからのデータ取得に時間がかかる ケースがある 基本的にはほとんどのセンサーは一瞬で値を 返してくれるはず 今回ハッカソンスキルで使った心拍センサーは 値取得に6~7秒かかる…
さすがにストレス というかClovaがタイムアウト…
タイムアウトの壁 対策 スキル起動インテントのLambdaから 心拍取得用の裏Lambdaをキック ユーザーが次のインテントを呼び出すまでの 間に心拍数をDBに格納する
基本的に3秒以内のレスポンスを目指す
ここが 長い…→ 「心の音へようこそ…」 センサーから心拍数取得 「心に響く曲教えて」 「現在の心拍数は…」 「心の音を開いて」
ここが 長い…→ 「心の音へようこそ…」 センサーから心拍数取得 「心に響く曲教えて」 「現在の心拍数は…」 「心の音を開いて」 タイムアウト!!!!
「心の音を開いて」 「心の音へようこそ…」 裏Lambdaキック! ← センサーから 心拍数取得…! (Lambda自体の タイムアウト長め) DBから心拍数取得 DBに心拍数格納!
「心に響く曲教えて」 「現在の心拍数は…」 ここが 長い…→
タイムアウトの壁 対策(時間稼ぎ) setTimeoutでwaitする 長くても500msecぐらい 応答メッセージを沢山しゃべる
SSMLで発話スピードを遅くする 起動時にオープニングSEを入れる
タイムアウトの壁 UXの悪化とトレードオフ 起動時SEはスキルのタイプによる SSML: 個人的にはユーザーが発話スピードを 自由に設定できるような実装が理想
複数のインテントに少しづつ色んな アプローチをすることでUXの悪化を軽減!
スマートスピーカーはIoTデバイス obnizはその機能を拡張する可能性を秘めている…! 何よりスキル開発の楽しさが格段にアップ!! 興味がでてきた方は まずは公式ページをチェック(https://obniz.io/)
サンプルやドキュメントがすごく充実! ぜひハンズオンにも参加してみて! コマンドひとつも打たず、ローカルファイルすら作らない 不思議なハンズオン…! さいごに
ハッカソン、めちゃくちゃ楽しい!!! LINE BOOT AWARDS終わっても 毎月開催してください…!!! さいごに
None
おわり ご清聴ありがとうございました