Googleアシスタントについて

VoiceUI Nagoya #1 - connpass - https://voiceui-nagoya.connpass.com/event/151291/

Transcript

1. @1coin178 VoiceUI Nagoya #1 Googleアシスタント について
2. 発表の流れ 1. Googleアシスタント最新情報 2. できること 3. アプリの作り方
3. My Profile 一円 真治 - Shinji Ichien Twitter: @1coin178 Yahoo Japan Corporation FE Enginner 発売中
4. Googleアシスタント とは • 2016年のGoogle I/Oで発表
 • 2016年のGoogle I/Oで発表 • Google社のAIアシスタント • 多様なデバイスで利用可能 スマホ、スピーカー、車、TV、時 計、イヤホン • 単独で結構賢い
5. Googleアシスタントはあらゆる場所に https://www.youtube.com/watch?v=dpNrq_wiqGs&t=2055s
6. 最新情報 from Google I/O 2019
7. これまでのDuplex Googleアシスタントが 人間に変わって、レストラン予約の電 話を代行 Android, iOSに拡大し改善 ※USのみ https://www.youtube.com/watch?v=ogfYd705cRs
8. Duplex on the Web 電話代行タスクから
 Web上のタスクまで拡張 
 できること
 • レンタカー予約
 • 映画のチケット予約
 ユーザは複数の画面遷移、
 form入力の手間が省ける

9. 次世代アシスタント への進化 Googleアシスタントのモデルを 
 100GB -> 0.5GBまで縮小
 モバイルデバイスに
 インストールが可能に
 オフライン + 高速応答を実現 
 ストレスフリーな連続会話 
 
 日常のタスクを簡素化する 
 アシスタントへ
 Pixel4, 次期Pixel Buds, Nest mini, Nest Wifiに搭載(？)

10. できること
11. できること (一部) • 通知 • ルーティーン • SSML(音声合成マークアップ) • Rich Response
12. App Actions Google アシスタントから Androidアプリをディープリンクで起動 アプリの複数の操作タスクを 音声コマンドでショートカット - ex)「Hey Google, start my run in Nike Run Club」 アプリ起動 + ランニング開始
13. App Actions Google アシスタントから Androidアプリをディープリンクで起動 アプリの複数の操作タスクを 音声コマンドでショートカット - ex)「Hey Google, start my run in Nike Run Club」 アプリ起動 + ランニング開始
14. App Actions Developer Previewで4つのカテゴリで利用可能 https://youtu.be/vQALSeGy9aY
15. Interactive Canvas 会話型アクションと没入型のWebコンテンツとのインタラクションが可能 既存のRich Responseと異なり、フルスクリーンのWebビュー表示 Game カテゴリのみ審査通過
16. Interactive Canvas: デモ1
17. Interactive Canvas: デモ2
18. アプリの作り方
19. アプリの呼び出し方 • アプリ名：「アクション」 ◦ Alexa・Clova はスキル • 呼び出し方： ◦ 「Ok, Google. <アクション名>につないで」 • インストールが不要。呼び出すだけ。 • Explicit/Implicit Invocation
20. アクションのストア: Assistant directory
21. 標準開発環境 Actions on Google • Googleアシスタントを 機能拡張する開発者向けの プラットフォーム • アプリの設定管理,シミュレータ などの機能がある。 リリース管理も。 • Webツール Dialogflow • 自然言語対話 プラットフォーム • アプリの会話フローの構築や会 話文からフレーズの抽出、会話 分析が可能 • Webツール • FirebaseのFaaS • アプリのバックエンド処理を担う • 他のFirebase機能との • 連携に強み • Node.jsが実行可能 プログラミング不要 プログラミング不要
22. 標準開発環境の全体像
23. 標準開発環境の全体像 (プロジェクトの作成)
24. 標準開発環境の全体像 (バックエンド開発)
25. 標準開発環境の全体像 (動作確認・テスト)
26. 開発を効率化するSDKの活用
27. AoG Client Libraryについて • Dialogflowからのリクエストを扱いやすく • Intentに対応するバックエンドでの処理の実装を簡単に • Actions on Googleの機能利用をサポート • GUI • 位置情報取得 • ログイン etc.. • 利用可能言語 言語 主なバックエンド実行環境
29. AoG Client Library for Node.js の使い方【1/3】 • npmでインストール ◦ npm install actions-on-google --save ◦ npm install firebase-functions --save const { dialogflow } = require('actions-on-google') const functions = require('firebase-functions') const app = dialogflow() exports.endpoint = functions.https.onRequest(app) app.intent('Default Welcome Intent', conv => { conv.ask('アプリが起動しました。何か話してください ') }) app.intent('Good Bye', conv => { conv.close('会話を終了します。さようなら ') })
30. • npmでインストール ◦ npm install actions-on-google --save ◦ npm install firebase-functions --save • 会話に対する処理のハンドルに DialogflowApp クラスを利用。 const { dialogflow } = require('actions-on-google') const functions = require('firebase-functions') const app = dialogflow() exports.endpoint = functions.https.onRequest(app) app.intent('Default Welcome Intent', conv => { conv.ask('アプリが起動しました。何か話してください ') }) app.intent('Good Bye', conv => { conv.close('会話を終了します。さようなら ') }) AoG Client Library for Node.js の使い方【2/3】
31. • npmでインストール ◦ npm install actions-on-google --save ◦ npm install firebase-functions --save • 会話に対する処理のハンドルに DialogflowApp クラスを利用。 • DialogflowからのIntentに対する処理を定義 app.intent(‘Intent名’), conv => { // 会話に対する処理 }) 応答メソッド 説明 conv.ask 応答 + 返答待ち conv.close 応答 + アプリ終了 const { dialogflow } = require('actions-on-google') const functions = require('firebase-functions') const app = dialogflow() exports.endpoint = functions.https.onRequest(app) app.intent('Default Welcome Intent', conv => { conv.ask('アプリが起動しました。何か話してください ') }) app.intent('Good Bye', conv => { conv.close('会話を終了します。さようなら ') }) AoG Client Library for Node.js の使い方【3/3】
32. E2Eテスト
33. まとめ 
 
 これまでの感想
 • Googleアシスタントの可能性は広がっている 
 • 日本未対応が多い...
 • マネタイズやインセンティブが弱い...
 • ユーザを引きつける1つの入口となりうる
 • 2AppのApp Actions, Interactive canvasは要注目
 

34. Thanks!
35. Appendix
36. 参考記事 • Google Developers Japan: I/O 2019 の Actions on Google: ウェブ、モバイル、スマートホーム デベロッパー 向けの新ツール - https://developers-jp.googleblog.com/2019/05/io-2019-actions-on-google.html 
 • Bringing you the next-generation Google Assistant - https://www.blog.google/products/assistant/next-generation-google-assistant-io/ 
 

37. Google I/O 2019 session • Google Developers Blog: Check out the Google Assistant talks at I/O 2019 - https://developers.googleblog.com/2019/04/check-out-google-assistant-talks-at-io.html 
 • Assistant at Google I/O 2019 - YouTube - https://www.youtube.com/playlist?list=PLOU2XLYxmsIK5JcIMUhrPH7T0lHBrKbER 

38. 機能ごとのドキュメント・サンプルコード • App Actions
 ◦ Extend your Android app 
 ▪ https://developers.google.com/actions/app/ 
 ◦ actions-on-google/appactions-fitness-kotlin 
 ▪ https://github.com/actions-on-google/appactions-fitness-kotlin 
 ◦ Implement built-in intents for App Actions 
 ▪ https://developers.google.com/actions/appactions/bii-integrations 
 • How-to 
 ◦ Build a How-to Action with markup | Actions on Google Web Content | Google Developers - https://developers.google.com/actions/content-actions/how-to 
 ◦ HowTo - schema.org - https://schema.org/HowTo 
 • How-to Video template 
 ◦ Create a How-to Video Action using templates | Actions on Google Templates | Google Developers - https://developers.google.com/actions/templates/how-to 
 • FAQs
 ◦ Build an FAQ Action with markup | Actions on Google Web Content | Google Developers - https://developers.google.com/actions/content-actions/faq 
 • Mini-Apps
 ◦ 米Google、検索と Google Assistant でインタラクティブなライブコンテンツを提供する Mini-apps を発表 #io19 #io19jp ::SEM R (#SEMR) - http://www.sem-r.com/news-2019/20190513030247.html 

39. 機能ごとのドキュメント・サンプルコード • Interactive canvas 
 ◦ https://developers.google.com/actions/web/ 
 ◦ Build Interactive Games for the Google Assistant (Google I/O'19) - YouTube - https://www.youtube.com/watch?v=J8lsvvJ21Ok&list=PLOU2XLYxmsILVTiOlMJdo7RQS55jYhsMi&in dex=55&t=0s
 ◦ https://github.com/actions-on-google/dialogflow-interactive-canvas-nodejs