スマートスピーカー×obnizでVUI IoTを加速しよう！

2018/9/7に行われたスマートスピーカーを遊びたおす会 vol.3での登壇資料です。
obnizを使用したスマートスピーカースキルに関する内容になります。

Transcript

1. スマートスピーカー×obnizで VUI IoTを加速しよう！ 田中 みそ （田中 大樹）
2. 自己紹介 田中 みそ (田中 大樹) Qiita: miso_develop Twitter: miso_develop Facebook: 田中みそ Google Home購入を機にITに目覚めた 初心者非エンジニア。 好きな食べ物はRaspberry Piとバナナ。 Facebook
3. 自己紹介 田中 みそ (田中 大樹) Qiita: miso_develop Twitter: miso_develop Facebook: 田中みそ Google Home購入を機にITに目覚めた 初心者非エンジニア。 好きな食べ物はRaspberry Piとバナナ。 Facebook
7. DEMO
8. Clova Extensions Kit システム構成図
9. ESP32
10. ESP32 簡単に言えばWi-Fi付きArduino  Google Homeに話しかけてお湯はりボタンを プッシュしたり  ハンドスピナーを回したり
11. つまりは…？
13. M5Stackとかとの違い 最大の違いはプログラムの置き場所 Cっぽい低レイヤー言語で書いた プログラムをマイコンに書き込む マイコンにプログラムを書き込めない(!?) クラウドでプログラムを動かす！！ （Node.jsで書ける！！！）
17. ユーザーの利用フロー
18. ユーザーの利用フロー ①obnizをポチる（パーツも一緒に）
19. ユーザーの利用フロー ②パーツをつなげる
20. ユーザーの利用フロー ③Wi-Fiにつなげる(obniz単体で可能)
21. ユーザーの利用フロー ④スキルにobniz IDを伝える 1234-5678
22. ユーザーの利用フロー これだけ。たったの4ステップ…！！ ①買う ②組み立てる ③繋げる ④認証する
23. ユーザーの利用フロー  ネックになるのはパーツの接続ぐらい  パーツのセット売り、購入先リンクをまとめる  基盤にはんだ付けしといてobnizに挿すだけにする  obnizごとオリジナルのケースに詰めて販売  それ以外のフローはスマートスピーカーの セットアップと変わらない
24. マネタイズの可能性  スキル開発なかなかお金にならない＞＜  Alexaはリワードプログラムあるけど…  Tシャツはそろそろ一週間ローテいける  スマートスピーカー対応ハードウェアは…？  赤外線学習リモコンは年度末ぐらいまで ほぼ売り切れ状態だった
25. スキル開発での知見
26. obniz IDの登録フロー  obnizは8桁の数字で構成されるIDを持つ  これさえあればobnizがどこにあろうと オンライン状態であれば操作可能
27. obniz IDの登録フロー  スキルの初回起動時に音声で登録を行う  8桁を1度に発話してもらう？  4桁を2回に分けて発話してもらう？
28. obniz IDの登録フロー  4桁を2回に分けて発話してもらう！  ID登録は基本的に初回のみ  利便性より確実性を重視  8桁数字はユーザーも発話に詰まる恐れあり  スマートスピーカー自体も聞き間違えが発生 しやすくなる
29. obniz IDの登録フロー  スロット  Clovaの場合  ビルトインスロット「Clova.NUMBER」  数字を単体読みすると認識しない  サンプル発話で4つに分けても認識がイマイチ…  「2018」→「にせんじゅうはち」と読めば認識可能…  単発数字発話用のスロットを作成することで解決！
30. 半角、全角、漢数字、 ひらがなを一通り拾う
31. 一桁づつスロット名 を割り振る 作ったスロットを指定
32. obniz IDの登録フロー  Alexaの場合  「AMAZON.FOUR_DIGIT_NUMBER」 というビルトインスロットがある…！
33. obniz IDの登録フロー  Google Assistantの場合  英語なら「@sys.number-sequence」がある…  「@sys.flight-number」無理やり使えるかも？
34. obniz IDの登録フロー  各スマートスピーカーで対応している GUIからもID登録可能にしておく  Clova: LINE Bot  Alexa: Echo Spotの画面  Google Assistant: スマホ版Google Assistant  アカウントリンクを使う  IDの変更、消去の手段も用意しておく
35. obniz IDの登録フロー  obniz IDがわかればどこからでも操作できる  悪い人にバレると危険☠！！！！  アクセストークンがあるけどこれを有効化すると…  IDはDB格納時に暗号化、利用時は複合しよう  スキル申請時にプライバシーポリシーへの 記載が必要？
36. タイムアウトの壁  センサーからのデータ取得に時間がかかる ケースがある  基本的にはほとんどのセンサーは一瞬で値を 返してくれるはず  今回ハッカソンスキルで使った心拍センサーは 値取得に6～7秒かかる…  さすがにストレス  というかClovaがタイムアウト…
37. タイムアウトの壁  対策  スキル起動インテントのLambdaから 心拍取得用の裏Lambdaをキック  ユーザーが次のインテントを呼び出すまでの 間に心拍数をDBに格納する  基本的に3秒以内のレスポンスを目指す
38. ここが 長い…→ 「心の音へようこそ…」 センサーから心拍数取得 「心に響く曲教えて」 「現在の心拍数は…」 「心の音を開いて」
39. ここが 長い…→ 「心の音へようこそ…」 センサーから心拍数取得 「心に響く曲教えて」 「現在の心拍数は…」 「心の音を開いて」 タイムアウト！！！！
40. 「心の音を開いて」 「心の音へようこそ…」 裏Lambdaキック！ ← センサーから 心拍数取得…！ (Lambda自体の タイムアウト長め) DBから心拍数取得 DBに心拍数格納！ 「心に響く曲教えて」 「現在の心拍数は…」 ここが 長い…→
41. タイムアウトの壁  対策（時間稼ぎ）  setTimeoutでwaitする  長くても500msecぐらい  応答メッセージを沢山しゃべる  SSMLで発話スピードを遅くする  起動時にオープニングSEを入れる
42. タイムアウトの壁  UXの悪化とトレードオフ  起動時SEはスキルのタイプによる  SSML: 個人的にはユーザーが発話スピードを 自由に設定できるような実装が理想  複数のインテントに少しづつ色んな アプローチをすることでUXの悪化を軽減！
43.  スマートスピーカーはIoTデバイス  obnizはその機能を拡張する可能性を秘めている…！  何よりスキル開発の楽しさが格段にアップ！！  興味がでてきた方は  まずは公式ページをチェック（https://obniz.io/）  サンプルやドキュメントがすごく充実！  ぜひハンズオンにも参加してみて！  コマンドひとつも打たず、ローカルファイルすら作らない 不思議なハンズオン…！ さいごに
44.  ハッカソン、めちゃくちゃ楽しい！！！  LINE BOOT AWARDS終わっても 毎月開催してください…！！！ さいごに
46. おわり ご清聴ありがとうございました