Googleアシスタントについて

6df173103ec653407d075aadd39afe5d?s=47 1coin
December 07, 2019

 Googleアシスタントについて

VoiceUI Nagoya #1 - connpass - https://voiceui-nagoya.connpass.com/event/151291/

6df173103ec653407d075aadd39afe5d?s=128

1coin

December 07, 2019
Tweet

Transcript

  1. @1coin178 VoiceUI Nagoya #1 Googleアシスタント について

  2. 発表の流れ 1. Googleアシスタント最新情報 2. できること 3. アプリの作り方

  3. My Profile 一円 真治 - Shinji Ichien Twitter: @1coin178 Yahoo

    Japan Corporation FE Enginner 発売中
  4. Googleアシスタント とは • 2016年のGoogle I/Oで発表
 • 2016年のGoogle I/Oで発表 • Google社のAIアシスタント

    • 多様なデバイスで利用可能 スマホ、スピーカー、車、TV、時 計、イヤホン • 単独で結構賢い
  5. Googleアシスタントはあらゆる場所に https://www.youtube.com/watch?v=dpNrq_wiqGs&t=2055s

  6. 最新情報 from Google I/O 2019

  7. これまでのDuplex Googleアシスタントが 人間に変わって、レストラン予約の電 話を代行 Android, iOSに拡大し改善 ※USのみ https://www.youtube.com/watch?v=ogfYd705cRs

  8. Duplex on the Web 電話代行タスクから
 Web上のタスクまで拡張 
 できること
 • レンタカー予約


    • 映画のチケット予約
 ユーザは複数の画面遷移、
 form入力の手間が省ける

  9. 次世代アシスタント への進化 Googleアシスタントのモデルを 
 100GB -> 0.5GBまで縮小
 モバイルデバイスに
 インストールが可能に
 オフライン

    + 高速応答を実現 
 ストレスフリーな連続会話 
 
 日常のタスクを簡素化する 
 アシスタントへ
 Pixel4, 次期Pixel Buds, Nest mini, Nest Wifiに搭載(?)

  10. できること

  11. できること (一部) • 通知 • ルーティーン • SSML(音声合成マークアップ) • Rich

    Response
  12. App Actions Google アシスタントから Androidアプリをディープリンクで起動 アプリの複数の操作タスクを 音声コマンドでショートカット - ex)「Hey Google,

    start my run in Nike Run Club」 アプリ起動 + ランニング開始
  13. App Actions Google アシスタントから Androidアプリをディープリンクで起動 アプリの複数の操作タスクを 音声コマンドでショートカット - ex)「Hey Google,

    start my run in Nike Run Club」 アプリ起動 + ランニング開始
  14. App Actions Developer Previewで4つのカテゴリで利用可能 https://youtu.be/vQALSeGy9aY

  15. Interactive Canvas 会話型アクションと没入型のWebコンテンツとのインタラクションが可能 既存のRich Responseと異なり、フルスクリーンのWebビュー表示 Game カテゴリのみ審査通過

  16. Interactive Canvas: デモ1

  17. Interactive Canvas: デモ2

  18. アプリの作り方

  19. アプリの呼び出し方 • アプリ名:「アクション」 ◦ Alexa・Clova はスキル • 呼び出し方: ◦ 「Ok,

    Google. <アクション名>につないで」 • インストールが不要。呼び出すだけ。 • Explicit/Implicit Invocation
  20. アクションのストア: Assistant directory

  21. 標準開発環境 Actions on Google • Googleアシスタントを 機能拡張する開発者向けの プラットフォーム • アプリの設定管理,シミュレータ

    などの機能がある。 リリース管理も。 • Webツール Dialogflow • 自然言語対話 プラットフォーム • アプリの会話フローの構築や会 話文からフレーズの抽出、会話 分析が可能 • Webツール • FirebaseのFaaS • アプリのバックエンド処理を担う • 他のFirebase機能との • 連携に強み • Node.jsが実行可能 プログラミング不要 プログラミング不要
  22. 標準開発環境の全体像

  23. 標準開発環境の全体像 (プロジェクトの作成)

  24. 標準開発環境の全体像 (バックエンド開発)

  25. 標準開発環境の全体像 (動作確認・テスト)

  26. 開発を効率化するSDKの活用

  27. AoG Client Libraryについて • Dialogflowからのリクエストを扱いやすく • Intentに対応するバックエンドでの処理の実装を簡単に • Actions on

    Googleの機能利用をサポート • GUI • 位置情報取得 • ログイン etc.. • 利用可能言語 言語 主なバックエンド実行環境
  28. None
  29. AoG Client Library for Node.js の使い方【1/3】 • npmでインストール ◦ npm

    install actions-on-google --save ◦ npm install firebase-functions --save const { dialogflow } = require('actions-on-google') const functions = require('firebase-functions') const app = dialogflow() exports.endpoint = functions.https.onRequest(app) app.intent('Default Welcome Intent', conv => { conv.ask('アプリが起動しました。何か話してください ') }) app.intent('Good Bye', conv => { conv.close('会話を終了します。さようなら ') })
  30. • npmでインストール ◦ npm install actions-on-google --save ◦ npm install

    firebase-functions --save • 会話に対する処理のハンドルに DialogflowApp クラスを利用。 const { dialogflow } = require('actions-on-google') const functions = require('firebase-functions') const app = dialogflow() exports.endpoint = functions.https.onRequest(app) app.intent('Default Welcome Intent', conv => { conv.ask('アプリが起動しました。何か話してください ') }) app.intent('Good Bye', conv => { conv.close('会話を終了します。さようなら ') }) AoG Client Library for Node.js の使い方【2/3】
  31. • npmでインストール ◦ npm install actions-on-google --save ◦ npm install

    firebase-functions --save • 会話に対する処理のハンドルに DialogflowApp クラスを利用。 • DialogflowからのIntentに対する処理を定義 app.intent(‘Intent名’), conv => { // 会話に対する処理 }) 応答メソッド 説明 conv.ask 応答 + 返答待ち conv.close 応答 + アプリ終了 const { dialogflow } = require('actions-on-google') const functions = require('firebase-functions') const app = dialogflow() exports.endpoint = functions.https.onRequest(app) app.intent('Default Welcome Intent', conv => { conv.ask('アプリが起動しました。何か話してください ') }) app.intent('Good Bye', conv => { conv.close('会話を終了します。さようなら ') }) AoG Client Library for Node.js の使い方【3/3】
  32. E2Eテスト

  33. まとめ 
 
 これまでの感想
 • Googleアシスタントの可能性は広がっている 
 • 日本未対応が多い...
 •

    マネタイズやインセンティブが弱い...
 • ユーザを引きつける1つの入口となりうる
 • 2AppのApp Actions, Interactive canvasは要注目
 

  34. Thanks!

  35. Appendix

  36. 参考記事 • Google Developers Japan: I/O 2019 の Actions on

    Google: ウェブ、モバイル、スマートホーム デベロッパー 向けの新ツール - https://developers-jp.googleblog.com/2019/05/io-2019-actions-on-google.html 
 • Bringing you the next-generation Google Assistant - https://www.blog.google/products/assistant/next-generation-google-assistant-io/ 
 

  37. Google I/O 2019 session • Google Developers Blog: Check out

    the Google Assistant talks at I/O 2019 - https://developers.googleblog.com/2019/04/check-out-google-assistant-talks-at-io.html 
 • Assistant at Google I/O 2019 - YouTube - https://www.youtube.com/playlist?list=PLOU2XLYxmsIK5JcIMUhrPH7T0lHBrKbER 

  38. 機能ごとのドキュメント・サンプルコード • App Actions
 ◦ Extend your Android app 


    ▪ https://developers.google.com/actions/app/ 
 ◦ actions-on-google/appactions-fitness-kotlin 
 ▪ https://github.com/actions-on-google/appactions-fitness-kotlin 
 ◦ Implement built-in intents for App Actions 
 ▪ https://developers.google.com/actions/appactions/bii-integrations 
 • How-to 
 ◦ Build a How-to Action with markup | Actions on Google Web Content | Google Developers - https://developers.google.com/actions/content-actions/how-to 
 ◦ HowTo - schema.org - https://schema.org/HowTo 
 • How-to Video template 
 ◦ Create a How-to Video Action using templates | Actions on Google Templates | Google Developers - https://developers.google.com/actions/templates/how-to 
 • FAQs
 ◦ Build an FAQ Action with markup | Actions on Google Web Content | Google Developers - https://developers.google.com/actions/content-actions/faq 
 • Mini-Apps
 ◦ 米Google、検索と Google Assistant でインタラクティブなライブコンテンツを提供する Mini-apps を発表 #io19 #io19jp ::SEM R (#SEMR) - http://www.sem-r.com/news-2019/20190513030247.html 

  39. 機能ごとのドキュメント・サンプルコード • Interactive canvas 
 ◦ https://developers.google.com/actions/web/ 
 ◦ Build

    Interactive Games for the Google Assistant (Google I/O'19) - YouTube - https://www.youtube.com/watch?v=J8lsvvJ21Ok&list=PLOU2XLYxmsILVTiOlMJdo7RQS55jYhsMi&in dex=55&t=0s
 ◦ https://github.com/actions-on-google/dialogflow-interactive-canvas-nodejs