Googleアシスタント最新情報(2019)と他プラットフォームへの拡張

エンジニアがお届けする春のIT祭り！ - ABC2019s - - connpass - https://japan-android-group.connpass.com/event/125928/

ABC 2019 Spring | エンジニアがお届けする春のIT祭り！ - https://abc.android-group.jp/2019s/

Transcript

1. 2019/05/26 ABC2019 - spring - 一円 真治 (@1coin178) oogleアシスタント最新情報と
 他プラットフォームへ 拡張

2. 発表 
 流れ
 
 1. 自己紹介
 
 2. oogle / 2019 eynote verview
 or oogle アシスタント
 
 3. プラットフォームごと アシスタントへ 拡張
 
 a. ontent wner
 b. ndroid developer 
 c. ction, eb developer
 d. o 
 
 4. 現地で おもしろ話

3. y rofile
 chien hinji [一円 真治]
 witter: 1coin178
 ahoo apan orporation
 ndroid pp, ackend, eb
 rom 名古屋 
 
 発売中
4. 今年 
 oogle / テーマ

5. https://www.youtube.com/watch?v=lyRPyRKHO8M
6. https://www.youtube.com/watch?v=lyRPyRKHO8M あらゆる人 生活を
 サポート、役に立つも を

7. Duplex on the Web
8. 
 これまで uplex
 oogleアシスタントが
 人間に変わって、レストラン予約 電 話を代行
 ndroid, i に拡大し改善 
 ※ み
 https://www.youtube.com/watch?v=ogfYd705cRs
9. uplex on the eb
 電話代行タスクから
 eb上 タスクまで拡張 
 できること
 • レンタカー予約
 • 映画 チケット予約
 ユーザ 複数 画面遷移、
 form入力 手間が省ける

10. 次世代 oogleアシスタント
 発表

11. 次世代アシスタント
 へ 進化
 oogleアシスタント モデルを
 100 - 0.5 まで縮小
 モバイルデバイスに
 インストールが可能に
 オフライン + 高 応答を実現
 ストレスフリーな連続会話
 
 文字通り、日常 タスクを簡素化する アシスタントに！
 次期 ixelに搭載予定

12. ssistant
 in the ar
 車内利用に即した
 oice-forwardなダッシュボード
 ndroid utoが統合された
 イメージ
 パーソナライズされた情報を掲示
 「 et’s drive」で
 ダッシュボードが表示
 今年 夏から ndroidで
 
 

13. icks for you 
 • ユーザ パーソナル情報を考慮したレコメンド、情報掲示
 https://www.blog.google/products/assistant/next-generation-google-assistant-io/
14. oogle ext ub/ ax
 oogle ome ubがリブランディング
 ext ub 日本発売予定、対応言語も増える
 https://www.youtube.com/watch?v=lyRPyRKHO8M
15. サードパーティが検索結果内にインタラクティブコンテンツをおける
 https://www.youtube.com/watch?v=0Hyt7gjHYO4 ini-apps -from session-

16. ini-apps -from session-
 https://www.youtube.com/watch?v=0Hyt7gjHYO4, https://developers.google.com/search/docs/guides/mini-apps
17. eynoteまとめ 
 
 or 　　 
 • 文字通り、
 生活 アシスタントに堅実に進化
 • eyword
 • オンデバイス
 ◦ プライバシー配慮
 ◦ リアルタイム
 • パーソナライズ 

18. プラットフォームごと 
 oogleアシスタントへ 拡張

19. oogleアシスタント あらゆる場所に
 https://www.youtube.com/watch?v=dpNrq_wiqGs&t=2055s
20. あなたがもし〜なら
 Content Owener Android Developer Web・VUI Developer IoT・Device Devloper Content Action App Actions Interactive canvas Smart Home SDK
21. あなたがもし〜なら
 Content Owener Android Developer Web・VUI Developer IoT・Device Devloper Content Action App Actions Interactive canvas Smart Home SDK
22. https://www.youtube.com/watch?v=dpNrq_wiqGs ontent ction 種類 ~これまで~ 

23. 例: ecipe ontent ction 対応方法
 https://www.youtube.com/watch?v=GR1j2ADyGvA&list=PLOU2XLYxmsIK5JcIMUhrPH7T0lHBrKbER&index=9
24. ontent ction 種類 ~ ew~ 
 https://www.youtube.com/watch?v=dpNrq_wiqGs
25. https://www.youtube.com/watch?v=dpNrq_wiqGs, https://developers.google.com/actions/content-actions/how-to ow-to uides
 ステップバイステップでノウハウを紹介するコンテンツが作れる 
 同様に schema.org/ ow oを元に構 化データを追加する
 eveloper review
 ◦ 英語圏・モバイルデバイス み
 New! ①
26. ow-to uides マークアップ例
 詳細 こちら New! ①
27. ow-to ideo emplate
 前述 ow-to outube動画版
 マークアップ不要
 spreadsheetで各ステップを記入 
 
 eveloper review 
 - 英語圏、 ndroid version 8.23+
 o onsoleにテンプレがある
 - 特定 oogle roupに入る必要有
 New! ②
28. ow-to ideo emplate 作り方
 
 
 New! ② 1 2 3
29. https://www.youtube.com/watch?v=dpNrq_wiqGs s
 よくある質問 ebページ内容を一発即答でコンテンツとして表示 
 同様に schema.org/ age を元に構 化データを追加する
 eveloper review - 英語圏、 ndroid モバイルフォン み
 New! ③
30. ontent wner
 まとめ
 • 新 ontent ction
 ◦ ow-to
 ◦ ow-to ideo emplate
 ◦ 
 
 • アシスタント、 oogle検索で
 一発即答 回答モジュールが出せる
 　 
 • - 、schema.org
 定義で構 化
 
 • outube + pread heet
 だけでも作れる 
 - ow-to ideo emplate

31. あなたがもし〜なら
 Content Owener Android Developer Web・VUI Developer IoT・Device Devloper Content Action App Actions Interactive canvas Smart Home SDK
32. pp ctions と 
 oogle アシスタントから
 ndroidアプリをディープリンクで起動
 アプリ 複数 操作タスクを
 音声コマンドでショートカット 
 - ex)「 ey oogle, start my run in ike un lub」
 アプリ起動 + ランニング開始
 
 

33. pp ctions と 
 eveloper reviewで4つ カテゴリで利用可能
 
 
 
 https://youtu.be/vQALSeGy9aY
34. pp ctions 仕組み
 https://developers.google.com/actions/appactions/overview
35. pp ctions 仕組み
 Built-in Intentと ? ・Google アシスタントに組み込まれているIntent定義 ・actions.intent.xxx 形式 https://developers.google.com/actions/appactions/overview
36. pp ctions 仕組み
 Google アシスタント Intent × Android Custom Intent マッピング https://developers.google.com/actions/appactions/overview
37. pp ctions 仕組み
 アプリをディープリンク起動 アプリ 一部をSlicesでGoogleアシスタント UIに提供 https://developers.google.com/actions/appactions/overview
38. pp ctions
 実装
 meta-data で
 actions.xml 参照を追加
 Edit: AndroidManifest.xml <manifest xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android.com/tools" package="com.neone.android.fitactions"> <application <meta-data android:name="com.google.android.actions" android:resource="@xml/actions" /> </application> </manifest>
39. intent ameとintent arameter アシス タント uilt- n ntent( )から得られ る。 
 取得できるparameter値 
 種類によって異なる。 
 docsを確認しよう。
 Edit: res/xml/actions.xml <?xml version="1.0" encoding="utf-8"?> <actions> <action intentName="actions.intent.START_EXERCISE"> <fulfillment urlTemplate="https://fit-actions.firebaseapp.com/start{?exerciseType}"> <parameter-mapping intentParameter="exercise.name" urlParameter="exerciseType" /> </fulfillment> <fulfillment>...</fulfillment> </action> pp ctions
 実装 -action定義-

40. Implement built-in intents for App Actions | App Actions | Google Developers - https://developers.google.com/actions/appactions/bii-integrations#fitness_-_exercise
41. parameter-mappingで 
 アシスタント 世界から 
 ndroid 世界 値に 
 intent arameter 
 url arameter 
 ndroid pp/ ustom ink 
 url emplate( 6570 3.2.8) に
 変数としてセット
 Edit: res/xml/actions.xml <?xml version="1.0" encoding="utf-8"?> <actions> <action intentName="actions.intent.START_EXERCISE"> <fulfillment urlTemplate="https://fit-actions.firebaseapp.com/start{?exerciseType}"> <parameter-mapping intentParameter="exercise.name" urlParameter="exerciseType" /> </fulfillment> <fulfillment>...</fulfillment> </action> pp ctions
 実装 -action定義-

42. actions.xml: url arameterで 
 定義した名前を eyに
 飛んできた ntentから値を取得 
 以降、 ndroid側 処理を 
 気にすれ 
 Edit: XXXActivity.kt override fun onCreate(savedInstanceState: Bundle?) { ... val exerciseType = intent?.data.getQueryParameter("exerciseType").orEmpty() … } pp ctions
 実装 -intent処理-

43. テストツール: pp ctions est ool ( ndroid tudio lugin) 
 テスト用に
 ndroid tudio luginが提供
 アプリ リリース管理している oogle アカウントでログイン

44. デモ
46. nline nventory

47. アプリに遷移させるより、
 oogleアシスタント側で
 結果を見せたい 

48. lices 

49. https://youtu.be/vQALSeGy9aY
50. pp ctions eep inkと lice 使い分け例
 画面で見たい情報とで体験を切り分ける
 https://youtu.be/vQALSeGy9aY
51. ndroid eveloper 
 まとめ
 • pp ctions 
 アシスタントからアプリを eep inkで起動できる
 • 去年発表 
 pp ctionsが試せる状態に
 • シーンや伝えたい情報に
 合わせて licesと使い分ける

52. あなたがもし〜なら
 Content Owener Android Developer Web・VUI Developer IoT・Device Devloper Content Action App Actions Interactive canvas Smart Home SDK
53. nteractive anvas
 会話型アクションと没入型 ebコンテンツと インタラクションが可能
 既存 ich esponseと異なり、フルスクリーン ebビュー表示
 現在、 eveloper review for ame

54. 仕組み
 ImmersiveResponse https://developers.google.com/actions/interactivecanvas/
55. ebアプリへ 接続

56. eb pp 作り方
 htmlでライブラリ読み込む

57. eb pp 作り方
 assistant anvas にcallback を登録
 callback state値で分岐

58. interactive canvasお試し
 https://github.com/actions-on-google/dialogflow-interactive-canvas-nodejs 
 

59. あなたがもし〜なら
 Content Owener Android Developer Web・VUI Developer IoT・Device Devloper Content Action App Actions Interactive canvas Smart Home SDK
60. ocal ome 
 クラウドを介さないことで、デバイス制御 度を高 化
 eveloper review is oming soon.

61. 現地で 体験

62. ctions on oogle evelopers eet and reet
 ssistant ev elチームや世界中 開発者と 交流イベント
 ちゃんと公式 スケジュールに ってる
 

63. 毎年ある oogle / アクション ~ 借り物競走ゲーム~

64. まとめ

65. まとめ
 1. oogle / 2019 eynote verview
 for oogle アシスタント 
 
 a. uplex on the eb
 b. オンデバイス 次世代 oogleアシスタント 
 c. ssistant in the ar
 d. est ub/ ax
 e. ini- pps
 
 2. プラットフォームごと 
 oogleアシスタントへ 拡張
 
 a. ontent wner
 i. ow-to/ ideo emplate, 
 b. ndroid
 i. pp ctions
 c. ction・ eb
 i. nteractive canvas
 d. o ・ evice 
 i. ocal ome 

66. hanks! 

67. ppendix 

68. 参考記事
 • oogle evelopers apan: / 2019 ctions on oogle: ウェブ、モバイル、スマートホーム デベロッパー 向け 新ツール - https://developers-jp.googleblog.com/2019/05/io-2019-actions-on-google.html 
 • ringing you the next-generation oogle ssistant - https://www.blog.google/products/assistant/next-generation-google-assistant-io/ 
 

69. oogle / 2019 session 
 • oogle evelopers log: heck out the oogle ssistant talks at / 2019 - https://developers.googleblog.com/2019/04/check-out-google-assistant-talks-at-io.html 
 • ssistant at oogle / 2019 - ou ube - https://www.youtube.com/playlist list 2 xms 5 c hr 7 0l r b 

70. 機能ごと ドキュメント・サンプルコード
 • pp ctions
 ◦ xtend your ndroid app 
 ▪ https://developers.google.com/actions/app/ 
 ◦ actions-on-google/appactions-fitness-kotlin 
 ▪ https://github.com/actions-on-google/appactions-fitness-kotlin 
 ◦ mplement built-in intents for pp ctions 
 ▪ https://developers.google.com/actions/appactions/bii-integrations 
 • ow-to 
 ◦ uild a ow-to ction with markup | ctions on oogle eb ontent | oogle evelopers - https://developers.google.com/actions/content-actions/how-to 
 ◦ ow o - schema.org - https://schema.org/ ow o 
 • ow-to ideo template 
 ◦ reate a ow-to ideo ction using templates | ctions on oogle emplates | oogle evelopers - https://developers.google.com/actions/templates/how-to 
 • s
 ◦ uild an ction with markup | ctions on oogle eb ontent | oogle evelopers - https://developers.google.com/actions/content-actions/faq 
 • ini- pps
 ◦ 米 oogle、検索と oogle ssistant でインタラクティブなライブコンテンツを提供する ini-apps を発表 #io19 #io19jp :: (# ) - http://www.sem-r.com/news-2019/20190513030247.html 
 ◦ oogle is testing ini-apps in earch and oogle ssistant | enture eat - https://venturebeat.com/2019/05/08/googles-mini-apps-are-app-like-experiences-for-search-and-google-assistant/ 

71. 機能ごと ドキュメント・サンプルコード
 • nteractive canvas 
 ◦ https://developers.google.com/actions/web/ 
 ◦ uild nteractive ames for the oogle ssistant ( oogle / '19) - ou ube - https://www.youtube.com/watch v 8lsvv 21 k&list 2 xms i l do7 55j hs i&in dex 55&t 0s
 ◦ https://github.com/actions-on-google/dialogflow-interactive-canvas-nodejs