Slide 1

Slide 1 text

@1coin178 VoiceUI Nagoya #1 Googleアシスタント について

Slide 2

Slide 2 text

発表の流れ 1. Googleアシスタント最新情報 2. できること 3. アプリの作り方

Slide 3

Slide 3 text

My Profile 一円 真治 - Shinji Ichien Twitter: @1coin178 Yahoo Japan Corporation FE Enginner 発売中

Slide 4

Slide 4 text

Googleアシスタント とは ● 2016年のGoogle I/Oで発表
 ● 2016年のGoogle I/Oで発表 ● Google社のAIアシスタント ● 多様なデバイスで利用可能 スマホ、スピーカー、車、TV、時 計、イヤホン ● 単独で結構賢い

Slide 5

Slide 5 text

Googleアシスタントはあらゆる場所に https://www.youtube.com/watch?v=dpNrq_wiqGs&t=2055s

Slide 6

Slide 6 text

最新情報 from Google I/O 2019

Slide 7

Slide 7 text

これまでのDuplex Googleアシスタントが 人間に変わって、レストラン予約の電 話を代行 Android, iOSに拡大し改善 ※USのみ https://www.youtube.com/watch?v=ogfYd705cRs

Slide 8

Slide 8 text

Duplex on the Web 電話代行タスクから
 Web上のタスクまで拡張 
 できること
 ● レンタカー予約
 ● 映画のチケット予約
 ユーザは複数の画面遷移、
 form入力の手間が省ける


Slide 9

Slide 9 text

次世代アシスタント への進化 Googleアシスタントのモデルを 
 100GB -> 0.5GBまで縮小
 モバイルデバイスに
 インストールが可能に
 オフライン + 高速応答を実現 
 ストレスフリーな連続会話 
 
 日常のタスクを簡素化する 
 アシスタントへ
 Pixel4, 次期Pixel Buds, Nest mini, Nest Wifiに搭載(?)


Slide 10

Slide 10 text

できること

Slide 11

Slide 11 text

できること (一部) ● 通知 ● ルーティーン ● SSML(音声合成マークアップ) ● Rich Response

Slide 12

Slide 12 text

App Actions Google アシスタントから Androidアプリをディープリンクで起動 アプリの複数の操作タスクを 音声コマンドでショートカット - ex)「Hey Google, start my run in Nike Run Club」 アプリ起動 + ランニング開始

Slide 13

Slide 13 text

App Actions Google アシスタントから Androidアプリをディープリンクで起動 アプリの複数の操作タスクを 音声コマンドでショートカット - ex)「Hey Google, start my run in Nike Run Club」 アプリ起動 + ランニング開始

Slide 14

Slide 14 text

App Actions Developer Previewで4つのカテゴリで利用可能 https://youtu.be/vQALSeGy9aY

Slide 15

Slide 15 text

Interactive Canvas 会話型アクションと没入型のWebコンテンツとのインタラクションが可能 既存のRich Responseと異なり、フルスクリーンのWebビュー表示 Game カテゴリのみ審査通過

Slide 16

Slide 16 text

Interactive Canvas: デモ1

Slide 17

Slide 17 text

Interactive Canvas: デモ2

Slide 18

Slide 18 text

アプリの作り方

Slide 19

Slide 19 text

アプリの呼び出し方 ● アプリ名:「アクション」 ○ Alexa・Clova はスキル ● 呼び出し方: ○ 「Ok, Google. <アクション名>につないで」 ● インストールが不要。呼び出すだけ。 ● Explicit/Implicit Invocation

Slide 20

Slide 20 text

アクションのストア: Assistant directory

Slide 21

Slide 21 text

標準開発環境 Actions on Google • Googleアシスタントを 機能拡張する開発者向けの プラットフォーム • アプリの設定管理,シミュレータ などの機能がある。 リリース管理も。 • Webツール Dialogflow • 自然言語対話 プラットフォーム • アプリの会話フローの構築や会 話文からフレーズの抽出、会話 分析が可能 • Webツール • FirebaseのFaaS • アプリのバックエンド処理を担う • 他のFirebase機能との • 連携に強み • Node.jsが実行可能 プログラミング不要 プログラミング不要

Slide 22

Slide 22 text

標準開発環境の全体像

Slide 23

Slide 23 text

標準開発環境の全体像 (プロジェクトの作成)

Slide 24

Slide 24 text

標準開発環境の全体像 (バックエンド開発)

Slide 25

Slide 25 text

標準開発環境の全体像 (動作確認・テスト)

Slide 26

Slide 26 text

開発を効率化するSDKの活用

Slide 27

Slide 27 text

AoG Client Libraryについて • Dialogflowからのリクエストを扱いやすく • Intentに対応するバックエンドでの処理の実装を簡単に • Actions on Googleの機能利用をサポート • GUI • 位置情報取得 • ログイン etc.. • 利用可能言語 言語 主なバックエンド実行環境

Slide 28

Slide 28 text

No content

Slide 29

Slide 29 text

AoG Client Library for Node.js の使い方【1/3】 ● npmでインストール ○ npm install actions-on-google --save ○ npm install firebase-functions --save const { dialogflow } = require('actions-on-google') const functions = require('firebase-functions') const app = dialogflow() exports.endpoint = functions.https.onRequest(app) app.intent('Default Welcome Intent', conv => { conv.ask('アプリが起動しました。何か話してください ') }) app.intent('Good Bye', conv => { conv.close('会話を終了します。さようなら ') })

Slide 30

Slide 30 text

● npmでインストール ○ npm install actions-on-google --save ○ npm install firebase-functions --save ● 会話に対する処理のハンドルに DialogflowApp クラスを利用。 const { dialogflow } = require('actions-on-google') const functions = require('firebase-functions') const app = dialogflow() exports.endpoint = functions.https.onRequest(app) app.intent('Default Welcome Intent', conv => { conv.ask('アプリが起動しました。何か話してください ') }) app.intent('Good Bye', conv => { conv.close('会話を終了します。さようなら ') }) AoG Client Library for Node.js の使い方【2/3】

Slide 31

Slide 31 text

● npmでインストール ○ npm install actions-on-google --save ○ npm install firebase-functions --save ● 会話に対する処理のハンドルに DialogflowApp クラスを利用。 ● DialogflowからのIntentに対する処理を定義 app.intent(‘Intent名’), conv => { // 会話に対する処理 }) 応答メソッド 説明 conv.ask 応答 + 返答待ち conv.close 応答 + アプリ終了 const { dialogflow } = require('actions-on-google') const functions = require('firebase-functions') const app = dialogflow() exports.endpoint = functions.https.onRequest(app) app.intent('Default Welcome Intent', conv => { conv.ask('アプリが起動しました。何か話してください ') }) app.intent('Good Bye', conv => { conv.close('会話を終了します。さようなら ') }) AoG Client Library for Node.js の使い方【3/3】

Slide 32

Slide 32 text

E2Eテスト

Slide 33

Slide 33 text

まとめ 
 
 これまでの感想
 ● Googleアシスタントの可能性は広がっている 
 ● 日本未対応が多い...
 ● マネタイズやインセンティブが弱い...
 ● ユーザを引きつける1つの入口となりうる
 ● 2AppのApp Actions, Interactive canvasは要注目
 


Slide 34

Slide 34 text

Thanks!

Slide 35

Slide 35 text

Appendix

Slide 36

Slide 36 text

参考記事 ● Google Developers Japan: I/O 2019 の Actions on Google: ウェブ、モバイル、スマートホーム デベロッパー 向けの新ツール - https://developers-jp.googleblog.com/2019/05/io-2019-actions-on-google.html 
 ● Bringing you the next-generation Google Assistant - https://www.blog.google/products/assistant/next-generation-google-assistant-io/ 
 


Slide 37

Slide 37 text

Google I/O 2019 session ● Google Developers Blog: Check out the Google Assistant talks at I/O 2019 - https://developers.googleblog.com/2019/04/check-out-google-assistant-talks-at-io.html 
 ● Assistant at Google I/O 2019 - YouTube - https://www.youtube.com/playlist?list=PLOU2XLYxmsIK5JcIMUhrPH7T0lHBrKbER 


Slide 38

Slide 38 text

機能ごとのドキュメント・サンプルコード ● App Actions
 ○ Extend your Android app 
 ■ https://developers.google.com/actions/app/ 
 ○ actions-on-google/appactions-fitness-kotlin 
 ■ https://github.com/actions-on-google/appactions-fitness-kotlin 
 ○ Implement built-in intents for App Actions 
 ■ https://developers.google.com/actions/appactions/bii-integrations 
 ● How-to 
 ○ Build a How-to Action with markup | Actions on Google Web Content | Google Developers - https://developers.google.com/actions/content-actions/how-to 
 ○ HowTo - schema.org - https://schema.org/HowTo 
 ● How-to Video template 
 ○ Create a How-to Video Action using templates | Actions on Google Templates | Google Developers - https://developers.google.com/actions/templates/how-to 
 ● FAQs
 ○ Build an FAQ Action with markup | Actions on Google Web Content | Google Developers - https://developers.google.com/actions/content-actions/faq 
 ● Mini-Apps
 ○ 米Google、検索と Google Assistant でインタラクティブなライブコンテンツを提供する Mini-apps を発表 #io19 #io19jp ::SEM R (#SEMR) - http://www.sem-r.com/news-2019/20190513030247.html 


Slide 39

Slide 39 text

機能ごとのドキュメント・サンプルコード ● Interactive canvas 
 ○ https://developers.google.com/actions/web/ 
 ○ Build Interactive Games for the Google Assistant (Google I/O'19) - YouTube - https://www.youtube.com/watch?v=J8lsvvJ21Ok&list=PLOU2XLYxmsILVTiOlMJdo7RQS55jYhsMi&in dex=55&t=0s
 ○ https://github.com/actions-on-google/dialogflow-interactive-canvas-nodejs