Smart Speaker & IoT @東北TECH道場 八戸道場

Transcript

1. Google Homer
   Smart Speaker や IoT
   なんかについて話すよ
   

   View Slide

2. VUI : Voice User Interface ( Smart Speaker )
   アプリ 「うんこカウンター」 Evangelist
   VUI LT vol.2 @Google Japan本社
   

   View Slide

3. IoT : Internet of Things
   ミニ四駆チキンレース 決勝戦
   IoT LT vol.51 @ ORACLE Japan本社
   

   View Slide

4. RPA : Robotic Process Automation
   Work Robot 個人戦 ファイナリスト
   RPA DIGITAL WORLD TOKYO 2019 @ 東京国際フォーラム
   

   View Slide

5. 本日の内容
   1 Google Home Tips ( 使い方 )
   ① アプリショートカット
   ② 会話が弾むコンテキスト機能
   2 IoT 体験 ( HTML/JavaScript )
   ① 音声で4足歩行ロボット操縦
   ② 加速度センサーでラジコンカー操縦
   

   View Slide

6. 1 Google Home Tips
   ① アプリ起動ショートカット
   ② 会話が弾むコンテキスト機能
   

   View Slide

7. 1 Google Home
   ① アプリ起動ショートカット
   

   View Slide

8. OK Google
   うんこカウンター
   につないで
   説明 うんこうんこ
   2点です
   Google Homeアプリの会話の流れ
   終了
   ショートカット
   

   View Slide

9. うんこ漏れそう、今すぐうんこしたい !!
   ①
   O K G o o g l e
   うんこカウンターを使ってうんこうんこ
   ②
   O K G o o g l e
   うんこうんこ or 終了
   

   View Slide

10. 一般のアプリでも可能、常用アプリ使い倒そう
    OK Google [起動名]を使って[コマンド]
    OK Google [コマンド] or 終了
    【 いきなりうんこ 】
    【 どこでもうんこ 】
    

    View Slide

11. 1 Google Home
    ② 会話が弾むコンテキスト機能
    

    View Slide

12. コンテキスト ≒ 文脈
    【人間の会話】
    彼が山田です
    ・
    彼は何歳
    山田は二十歳です
    【Google Home】
    その曲
    彼の
    そこの
    

    View Slide

13. 八戸市の市長は? → 小林眞
    彼は何歳? → 69歳
    そこの人口は? → 23万人
    会話が弾むコンテキスト機能
    みろく横丁って? → 屋台村
    そこの営業時間は? → 16時～4時
    そこのホテルは → ホテルリバティヒル
    月曜から夜ふかしの曲 → スラローム
    その曲をかけて → 音楽再生
    

    View Slide

14. 2 IoT 体験 ( HTML/JavaScript )
    ① 音声で4足歩行ロボット操縦
    ② 加速度センサーでラジコンカー操縦
    

    View Slide

15. 2 IoT 体験 ( HTML/JavaScript )
    ① 音声で4足歩行ロボット操縦
    

    View Slide

16. JavaScript標準機能で音声認識
    const speech = new webkitSpeechRecognition();
    speech.lang = 'ja-JP’;
    speech.start();
    speech.onresult = async function (e) {
    speech.stop();
    if (e.results[0].isFinal) {
    var
    autotext = e.results[0][0].transcript;
    // autotextを使った何かの処理
    }
    }
    speech.onend = () => { speech.start() };
    

    View Slide

17. (応用例)音声で4足歩行ロボット操縦
    

    View Slide

18. 2 IoT 体験 ( HTML/JavaScript )
    ② 加速度センサーでラジコンカー操縦
    

    View Slide

19. Sufariはモーションアクセスを有効に
    

    View Slide

20. window.addEventListener("devicemotion", function (event1) {
    var X= event1.accelerationIncludingGravity.x;
    var Y= event1.accelerationIncludingGravity.y;
    var Z= event1.accelerationIncludingGravity.z;
    // 以下XYZを使った何かの処理
    }, true);
    JavaScript標準機能で加速度センサー
    

    View Slide

21. (応用例)加速度センサーでラジコンカー操縦
    

    View Slide

22. HTML
    JavaScript
    5V1A出力
    モーター直接駆動
    クラウド CPUボード
    Internet経由で機器を操作した仕組み
    画面操作
    音声
    加速度センサー
    ( オブナイズ )
    

    View Slide

23. <br/>var obniz = new Obniz("OBNIZ_ID_HERE");<br/>obniz.onconnect = async function () {<br/>var led = obniz.wired("LED", {anode:0, cathode:1});<br/>led.on();<br/>}<br/>
    obniz LチカのJavaScriptコード例
    

    View Slide

24. まとめ
    ■ Google Home Tips
    ■ 簡単IoT
    ・ JavaScript標準機能でセンサー値取得可
    ・ obniz お勧めIoT CPUボード
    OK Google [起動名]を使って[コマンド]
    OK Google [コマンド] or 終了
    OK Google その曲/彼の/そこの XXX
    

    View Slide

25. Google Homer
    @google_homer_ グーグル ホーマー
    @Google_Homer
    

    View Slide

26. Appendix
    

    View Slide

27. RPAツール
    Skill開発ツール IoT CPUボード
    AlexaでPowerPointを起動した仕組み
    

    View Slide

28. Google Home Amazon Alexa LINE Clova
    アプリ
    ルーティン
    IFTTT
    スキル
    VoiceFlow
    Blueprints
    定型アクション
    IFTTT
    スキル
    マイコマンド
    IFTTT
    スマートスピーカーの技術的な攻め所
    

    View Slide

29. メカナムホイール回転方向による移動特性
    

    View Slide