2019/05/26 ABC2019 - spring - 一円 真治 (@1coin178) oogleアシスタント最新情報と
 他プラットフォームへ 拡張


発表 
 流れ
 
 1. 自己紹介
 
 2. oogle / 2019 eynote verview
 or oogle アシスタント
 
 3. プラットフォームごと アシスタントへ 拡張
 
 a. ontent wner
 b. ndroid developer 
 c. ction, eb developer
 d. o 
 
 4. 現地で おもしろ話


y rofile
 chien hinji [一円 真治]
 witter: 1coin178
 ahoo apan orporation
 ndroid pp, ackend, eb
 rom 名古屋 
 
 発売中

今年 
 oogle / テーマ


https://www.youtube.com/watch?v=lyRPyRKHO8M

https://www.youtube.com/watch?v=lyRPyRKHO8M あらゆる人 生活を
 サポート、役に立つも を


Duplex on the Web


 これまで uplex
 oogleアシスタントが
 人間に変わって、レストラン予約 電 話を代行
 ndroid, i に拡大し改善 
 ※ み
 https://www.youtube.com/watch?v=ogfYd705cRs

uplex on the eb
 電話代行タスクから
 eb上 タスクまで拡張 
 できること
 ● レンタカー予約
 ● 映画 チケット予約
 ユーザ 複数 画面遷移、
 form入力 手間が省ける


次世代 oogleアシスタント
 発表


次世代アシスタント
 へ 進化
 oogleアシスタント モデルを
 100 - 0.5 まで縮小
 モバイルデバイスに
 インストールが可能に
 オフライン + 高 応答を実現
 ストレスフリーな連続会話
 
 文字通り、日常 タスクを簡素化する アシスタントに！
 次期 ixelに搭載予定


ssistant
 in the ar
 車内利用に即した
 oice-forwardなダッシュボード
 ndroid utoが統合された
 イメージ
 パーソナライズされた情報を掲示
 「 et’s drive」で
 ダッシュボードが表示
 今年 夏から ndroidで
 
 


icks for you 
 ● ユーザ パーソナル情報を考慮したレコメンド、情報掲示
 https://www.blog.google/products/assistant/next-generation-google-assistant-io/

oogle ext ub/ ax
 oogle ome ubがリブランディング
 ext ub 日本発売予定、対応言語も増える
 https://www.youtube.com/watch?v=lyRPyRKHO8M

サードパーティが検索結果内にインタラクティブコンテンツをおける
 https://www.youtube.com/watch?v=0Hyt7gjHYO4 ini-apps -from session-


ini-apps -from session-
 https://www.youtube.com/watch?v=0Hyt7gjHYO4, https://developers.google.com/search/docs/guides/mini-apps

eynoteまとめ 
 
 or 　　 
 ● 文字通り、
 生活 アシスタントに堅実に進化
 ● eyword
 ● オンデバイス
 ○ プライバシー配慮
 ○ リアルタイム
 ● パーソナライズ 


プラットフォームごと 
 oogleアシスタントへ 拡張


oogleアシスタント あらゆる場所に
 https://www.youtube.com/watch?v=dpNrq_wiqGs&t=2055s

あなたがもし〜なら
 Content Owener Android Developer Web・VUI Developer IoT・Device Devloper Content Action App Actions Interactive canvas Smart Home SDK

あなたがもし〜なら
 Content Owener Android Developer Web・VUI Developer IoT・Device Devloper Content Action App Actions Interactive canvas Smart Home SDK

https://www.youtube.com/watch?v=dpNrq_wiqGs ontent ction 種類 ~これまで~ 


例: ecipe ontent ction 対応方法
 https://www.youtube.com/watch?v=GR1j2ADyGvA&list=PLOU2XLYxmsIK5JcIMUhrPH7T0lHBrKbER&index=9

ontent ction 種類 ~ ew~ 
 https://www.youtube.com/watch?v=dpNrq_wiqGs

https://www.youtube.com/watch?v=dpNrq_wiqGs, https://developers.google.com/actions/content-actions/how-to ow-to uides
 ステップバイステップでノウハウを紹介するコンテンツが作れる 
 同様に schema.org/ ow oを元に構 化データを追加する
 eveloper review
 ○ 英語圏・モバイルデバイス み
 New! ①

ow-to uides マークアップ例
 詳細 こちら New! ①

ow-to ideo emplate
 前述 ow-to outube動画版
 マークアップ不要
 spreadsheetで各ステップを記入 
 
 eveloper review 
 - 英語圏、 ndroid version 8.23+
 o onsoleにテンプレがある
 - 特定 oogle roupに入る必要有
 New! ②

ow-to ideo emplate 作り方
 
 
 New! ② 1 2 3

https://www.youtube.com/watch?v=dpNrq_wiqGs s
 よくある質問 ebページ内容を一発即答でコンテンツとして表示 
 同様に schema.org/ age を元に構 化データを追加する
 eveloper review - 英語圏、 ndroid モバイルフォン み
 New! ③

ontent wner
 まとめ
 ● 新 ontent ction
 ○ ow-to
 ○ ow-to ideo emplate
 ○ 
 
 ● アシスタント、 oogle検索で
 一発即答 回答モジュールが出せる
 　 
 ● - 、schema.org
 定義で構 化
 
 ● outube + pread heet
 だけでも作れる 
 - ow-to ideo emplate


あなたがもし〜なら
 Content Owener Android Developer Web・VUI Developer IoT・Device Devloper Content Action App Actions Interactive canvas Smart Home SDK

pp ctions と 
 oogle アシスタントから
 ndroidアプリをディープリンクで起動
 アプリ 複数 操作タスクを
 音声コマンドでショートカット 
 - ex)「 ey oogle, start my run in ike un lub」
 アプリ起動 + ランニング開始
 
 


pp ctions と 
 eveloper reviewで4つ カテゴリで利用可能
 
 
 
 https://youtu.be/vQALSeGy9aY

pp ctions 仕組み
 https://developers.google.com/actions/appactions/overview

pp ctions 仕組み
 Built-in Intentと ? ・Google アシスタントに組み込まれているIntent定義 ・actions.intent.xxx 形式 https://developers.google.com/actions/appactions/overview

pp ctions 仕組み
 Google アシスタント Intent × Android Custom Intent マッピング https://developers.google.com/actions/appactions/overview

pp ctions 仕組み
 アプリをディープリンク起動 アプリ 一部をSlicesでGoogleアシスタント UIに提供 https://developers.google.com/actions/appactions/overview

pp ctions
 実装
 meta-data で
 actions.xml 参照を追加
 Edit: AndroidManifest.xml

intent ameとintent arameter アシス タント uilt- n ntent( )から得られ る。 
 取得できるparameter値 
 種類によって異なる。 
 docsを確認しよう。
 Edit: res/xml/actions.xml ... pp ctions
 実装 -action定義-


Implement built-in intents for App Actions | App Actions | Google Developers - https://developers.google.com/actions/appactions/bii-integrations#fitness_-_exercise

parameter-mappingで 
 アシスタント 世界から 
 ndroid 世界 値に 
 intent arameter 
 url arameter 
 ndroid pp/ ustom ink 
 url emplate( 6570 3.2.8) に
 変数としてセット
 Edit: res/xml/actions.xml ... pp ctions
 実装 -action定義-


actions.xml: url arameterで 
 定義した名前を eyに
 飛んできた ntentから値を取得 
 以降、 ndroid側 処理を 
 気にすれ 
 Edit: XXXActivity.kt override fun onCreate(savedInstanceState: Bundle?) { ... val exerciseType = intent?.data.getQueryParameter("exerciseType").orEmpty() … } pp ctions
 実装 -intent処理-


テストツール: pp ctions est ool ( ndroid tudio lugin) 
 テスト用に
 ndroid tudio luginが提供
 アプリ リリース管理している oogle アカウントでログイン


デモ

No content

nline nventory


アプリに遷移させるより、
 oogleアシスタント側で
 結果を見せたい 


lices 


https://youtu.be/vQALSeGy9aY

pp ctions eep inkと lice 使い分け例
 画面で見たい情報とで体験を切り分ける
 https://youtu.be/vQALSeGy9aY

ndroid eveloper 
 まとめ
 ● pp ctions 
 アシスタントからアプリを eep inkで起動できる
 ● 去年発表 
 pp ctionsが試せる状態に
 ● シーンや伝えたい情報に
 合わせて licesと使い分ける


あなたがもし〜なら
 Content Owener Android Developer Web・VUI Developer IoT・Device Devloper Content Action App Actions Interactive canvas Smart Home SDK

nteractive anvas
 会話型アクションと没入型 ebコンテンツと インタラクションが可能
 既存 ich esponseと異なり、フルスクリーン ebビュー表示
 現在、 eveloper review for ame


仕組み
 ImmersiveResponse https://developers.google.com/actions/interactivecanvas/

ebアプリへ 接続


eb pp 作り方
 htmlでライブラリ読み込む


eb pp 作り方
 assistant anvas にcallback を登録
 callback state値で分岐


interactive canvasお試し
 https://github.com/actions-on-google/dialogflow-interactive-canvas-nodejs 
 


あなたがもし〜なら
 Content Owener Android Developer Web・VUI Developer IoT・Device Devloper Content Action App Actions Interactive canvas Smart Home SDK

ocal ome 
 クラウドを介さないことで、デバイス制御 度を高 化
 eveloper review is oming soon.


現地で 体験


ctions on oogle evelopers eet and reet
 ssistant ev elチームや世界中 開発者と 交流イベント
 ちゃんと公式 スケジュールに ってる
 


毎年ある oogle / アクション ~ 借り物競走ゲーム~


まとめ


まとめ
 1. oogle / 2019 eynote verview
 for oogle アシスタント 
 
 a. uplex on the eb
 b. オンデバイス 次世代 oogleアシスタント 
 c. ssistant in the ar
 d. est ub/ ax
 e. ini- pps
 
 2. プラットフォームごと 
 oogleアシスタントへ 拡張
 
 a. ontent wner
 i. ow-to/ ideo emplate, 
 b. ndroid
 i. pp ctions
 c. ction・ eb
 i. nteractive canvas
 d. o ・ evice 
 i. ocal ome 


hanks! 


ppendix 


参考記事
 ● oogle evelopers apan: / 2019 ctions on oogle: ウェブ、モバイル、スマートホーム デベロッパー 向け 新ツール - https://developers-jp.googleblog.com/2019/05/io-2019-actions-on-google.html 
 ● ringing you the next-generation oogle ssistant - https://www.blog.google/products/assistant/next-generation-google-assistant-io/ 
 


oogle / 2019 session 
 ● oogle evelopers log: heck out the oogle ssistant talks at / 2019 - https://developers.googleblog.com/2019/04/check-out-google-assistant-talks-at-io.html 
 ● ssistant at oogle / 2019 - ou ube - https://www.youtube.com/playlist list 2 xms 5 c hr 7 0l r b 


機能ごと ドキュメント・サンプルコード
 ● pp ctions
 ○ xtend your ndroid app 
 ■ https://developers.google.com/actions/app/ 
 ○ actions-on-google/appactions-fitness-kotlin 
 ■ https://github.com/actions-on-google/appactions-fitness-kotlin 
 ○ mplement built-in intents for pp ctions 
 ■ https://developers.google.com/actions/appactions/bii-integrations 
 ● ow-to 
 ○ uild a ow-to ction with markup | ctions on oogle eb ontent | oogle evelopers - https://developers.google.com/actions/content-actions/how-to 
 ○ ow o - schema.org - https://schema.org/ ow o 
 ● ow-to ideo template 
 ○ reate a ow-to ideo ction using templates | ctions on oogle emplates | oogle evelopers - https://developers.google.com/actions/templates/how-to 
 ● s
 ○ uild an ction with markup | ctions on oogle eb ontent | oogle evelopers - https://developers.google.com/actions/content-actions/faq 
 ● ini- pps
 ○ 米 oogle、検索と oogle ssistant でインタラクティブなライブコンテンツを提供する ini-apps を発表 #io19 #io19jp :: (# ) - http://www.sem-r.com/news-2019/20190513030247.html 
 ○ oogle is testing ini-apps in earch and oogle ssistant | enture eat - https://venturebeat.com/2019/05/08/googles-mini-apps-are-app-like-experiences-for-search-and-google-assistant/ 


機能ごと ドキュメント・サンプルコード
 ● nteractive canvas 
 ○ https://developers.google.com/actions/web/ 
 ○ uild nteractive ames for the oogle ssistant ( oogle / '19) - ou ube - https://www.youtube.com/watch v 8lsvv 21 k&list 2 xms i l do7 55j hs i&in dex 55&t 0s
 ○ https://github.com/actions-on-google/dialogflow-interactive-canvas-nodejs