$30 off During Our Annual Pro Sale. View Details »

Googleアシスタント最新情報(2019)と他プラットフォームへの拡張

1coin
May 26, 2019

 Googleアシスタント最新情報(2019)と他プラットフォームへの拡張

エンジニアがお届けする春のIT祭り! - ABC2019s - - connpass - https://japan-android-group.connpass.com/event/125928/

ABC 2019 Spring | エンジニアがお届けする春のIT祭り! - https://abc.android-group.jp/2019s/

1coin

May 26, 2019
Tweet

More Decks by 1coin

Other Decks in Technology

Transcript

  1. 2019/05/26 ABC2019 - spring - 一円 真治 (@1coin178) oogleアシスタント最新情報と
 他プラットフォームへ

    拡張

  2. 発表 
 流れ
 
 1. 自己紹介
 
 2. oogle /

    2019 eynote verview
 or oogle アシスタント
 
 3. プラットフォームごと アシスタントへ 拡張
 
 a. ontent wner
 b. ndroid developer 
 c. ction, eb developer
 d. o 
 
 4. 現地で おもしろ話

  3. y rofile
 chien hinji [一円 真治]
 witter: 1coin178
 ahoo apan

    orporation
 ndroid pp, ackend, eb
 rom 名古屋 
 
 発売中
  4. 今年 
 oogle / テーマ


  5. https://www.youtube.com/watch?v=lyRPyRKHO8M

  6. https://www.youtube.com/watch?v=lyRPyRKHO8M あらゆる人 生活を
 サポート、役に立つも を


  7. Duplex on the Web

  8. 
 これまで uplex
 oogleアシスタントが
 人間に変わって、レストラン予約 電 話を代行
 ndroid, i に拡大し改善

    
 ※ み
 https://www.youtube.com/watch?v=ogfYd705cRs
  9. uplex on the eb
 電話代行タスクから
 eb上 タスクまで拡張 
 できること
 •

    レンタカー予約
 • 映画 チケット予約
 ユーザ 複数 画面遷移、
 form入力 手間が省ける

  10. 次世代 oogleアシスタント
 発表


  11. 次世代アシスタント
 へ 進化
 oogleアシスタント モデルを
 100 - 0.5 まで縮小
 モバイルデバイスに


    インストールが可能に
 オフライン + 高 応答を実現
 ストレスフリーな連続会話
 
 文字通り、日常 タスクを簡素化する アシスタントに!
 次期 ixelに搭載予定

  12. ssistant
 in the ar
 車内利用に即した
 oice-forwardなダッシュボード
 ndroid utoが統合された
 イメージ
 パーソナライズされた情報を掲示


    「 et’s drive」で
 ダッシュボードが表示
 今年 夏から ndroidで
 
 

  13. icks for you 
 • ユーザ パーソナル情報を考慮したレコメンド、情報掲示
 https://www.blog.google/products/assistant/next-generation-google-assistant-io/

  14. oogle ext ub/ ax
 oogle ome ubがリブランディング
 ext ub 日本発売予定、対応言語も増える


    https://www.youtube.com/watch?v=lyRPyRKHO8M
  15. サードパーティが検索結果内にインタラクティブコンテンツをおける
 https://www.youtube.com/watch?v=0Hyt7gjHYO4 ini-apps -from session-


  16. ini-apps -from session-
 https://www.youtube.com/watch?v=0Hyt7gjHYO4, https://developers.google.com/search/docs/guides/mini-apps

  17. eynoteまとめ 
 
 or    
 • 文字通り、
 生活 アシスタントに堅実に進化


    • eyword
 • オンデバイス
 ◦ プライバシー配慮
 ◦ リアルタイム
 • パーソナライズ 

  18. プラットフォームごと 
 oogleアシスタントへ 拡張


  19. oogleアシスタント あらゆる場所に
 https://www.youtube.com/watch?v=dpNrq_wiqGs&t=2055s

  20. あなたがもし〜なら
 Content Owener Android Developer Web・VUI Developer IoT・Device Devloper Content

    Action App Actions Interactive canvas Smart Home SDK
  21. あなたがもし〜なら
 Content Owener Android Developer Web・VUI Developer IoT・Device Devloper Content

    Action App Actions Interactive canvas Smart Home SDK
  22. https://www.youtube.com/watch?v=dpNrq_wiqGs ontent ction 種類 ~これまで~ 


  23. 例: ecipe ontent ction 対応方法
 https://www.youtube.com/watch?v=GR1j2ADyGvA&list=PLOU2XLYxmsIK5JcIMUhrPH7T0lHBrKbER&index=9

  24. ontent ction 種類 ~ ew~ 
 https://www.youtube.com/watch?v=dpNrq_wiqGs

  25. https://www.youtube.com/watch?v=dpNrq_wiqGs, https://developers.google.com/actions/content-actions/how-to ow-to uides
 ステップバイステップでノウハウを紹介するコンテンツが作れる 
 同様に schema.org/ ow oを元に構

    化データを追加する
 eveloper review
 ◦ 英語圏・モバイルデバイス み
 New! ①
  26. ow-to uides マークアップ例
 詳細 こちら New! ①

  27. ow-to ideo emplate
 前述 ow-to outube動画版
 マークアップ不要
 spreadsheetで各ステップを記入 
 


    eveloper review 
 - 英語圏、 ndroid version 8.23+
 o onsoleにテンプレがある
 - 特定 oogle roupに入る必要有
 New! ②
  28. ow-to ideo emplate 作り方
 
 
 New! ② 1 2

    3
  29. https://www.youtube.com/watch?v=dpNrq_wiqGs s
 よくある質問 ebページ内容を一発即答でコンテンツとして表示 
 同様に schema.org/ age を元に構 化データを追加する


    eveloper review - 英語圏、 ndroid モバイルフォン み
 New! ③
  30. ontent wner
 まとめ
 • 新 ontent ction
 ◦ ow-to
 ◦

    ow-to ideo emplate
 ◦ 
 
 • アシスタント、 oogle検索で
 一発即答 回答モジュールが出せる
   
 • - 、schema.org
 定義で構 化
 
 • outube + pread heet
 だけでも作れる 
 - ow-to ideo emplate

  31. あなたがもし〜なら
 Content Owener Android Developer Web・VUI Developer IoT・Device Devloper Content

    Action App Actions Interactive canvas Smart Home SDK
  32. pp ctions と 
 oogle アシスタントから
 ndroidアプリをディープリンクで起動
 アプリ 複数 操作タスクを


    音声コマンドでショートカット 
 - ex)「 ey oogle, start my run in ike un lub」
 アプリ起動 + ランニング開始
 
 

  33. pp ctions と 
 eveloper reviewで4つ カテゴリで利用可能
 
 
 


    https://youtu.be/vQALSeGy9aY
  34. pp ctions 仕組み
 https://developers.google.com/actions/appactions/overview

  35. pp ctions 仕組み
 Built-in Intentと ? ・Google アシスタントに組み込まれているIntent定義 ・actions.intent.xxx 形式

    https://developers.google.com/actions/appactions/overview
  36. pp ctions 仕組み
 Google アシスタント Intent × Android Custom Intent

    マッピング https://developers.google.com/actions/appactions/overview
  37. pp ctions 仕組み
 アプリをディープリンク起動 アプリ 一部をSlicesでGoogleアシスタント UIに提供 https://developers.google.com/actions/appactions/overview

  38. pp ctions
 実装
 meta-data で
 actions.xml 参照を追加
 Edit: AndroidManifest.xml <manifest

    xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android.com/tools" package="com.neone.android.fitactions"> <application <meta-data android:name="com.google.android.actions" android:resource="@xml/actions" /> </application> </manifest>
  39. intent ameとintent arameter アシス タント uilt- n ntent( )から得られ る。

    
 取得できるparameter値 
 種類によって異なる。 
 docsを確認しよう。
 Edit: res/xml/actions.xml <?xml version="1.0" encoding="utf-8"?> <actions> <action intentName="actions.intent.START_EXERCISE"> <fulfillment urlTemplate="https://fit-actions.firebaseapp.com/start{?exerciseType}"> <parameter-mapping intentParameter="exercise.name" urlParameter="exerciseType" /> </fulfillment> <fulfillment>...</fulfillment> </action> pp ctions
 実装 -action定義-

  40. Implement built-in intents for App Actions | App Actions |

    Google Developers - https://developers.google.com/actions/appactions/bii-integrations#fitness_-_exercise
  41. parameter-mappingで 
 アシスタント 世界から 
 ndroid 世界 値に 
 intent

    arameter 
 url arameter 
 ndroid pp/ ustom ink 
 url emplate( 6570 3.2.8) に
 変数としてセット
 Edit: res/xml/actions.xml <?xml version="1.0" encoding="utf-8"?> <actions> <action intentName="actions.intent.START_EXERCISE"> <fulfillment urlTemplate="https://fit-actions.firebaseapp.com/start{?exerciseType}"> <parameter-mapping intentParameter="exercise.name" urlParameter="exerciseType" /> </fulfillment> <fulfillment>...</fulfillment> </action> pp ctions
 実装 -action定義-

  42. actions.xml: url arameterで 
 定義した名前を eyに
 飛んできた ntentから値を取得 
 以降、

    ndroid側 処理を 
 気にすれ 
 Edit: XXXActivity.kt override fun onCreate(savedInstanceState: Bundle?) { ... val exerciseType = intent?.data.getQueryParameter("exerciseType").orEmpty() … } pp ctions
 実装 -intent処理-

  43. テストツール: pp ctions est ool ( ndroid tudio lugin) 


    テスト用に
 ndroid tudio luginが提供
 アプリ リリース管理している oogle アカウントでログイン

  44. デモ

  45. None
  46. nline nventory


  47. アプリに遷移させるより、
 oogleアシスタント側で
 結果を見せたい 


  48. lices 


  49. https://youtu.be/vQALSeGy9aY

  50. pp ctions eep inkと lice 使い分け例
 画面で見たい情報とで体験を切り分ける
 https://youtu.be/vQALSeGy9aY

  51. ndroid eveloper 
 まとめ
 • pp ctions 
 アシスタントからアプリを eep

    inkで起動できる
 • 去年発表 
 pp ctionsが試せる状態に
 • シーンや伝えたい情報に
 合わせて licesと使い分ける

  52. あなたがもし〜なら
 Content Owener Android Developer Web・VUI Developer IoT・Device Devloper Content

    Action App Actions Interactive canvas Smart Home SDK
  53. nteractive anvas
 会話型アクションと没入型 ebコンテンツと インタラクションが可能
 既存 ich esponseと異なり、フルスクリーン ebビュー表示
 現在、

    eveloper review for ame

  54. 仕組み
 ImmersiveResponse https://developers.google.com/actions/interactivecanvas/

  55. ebアプリへ 接続


  56. eb pp 作り方
 htmlでライブラリ読み込む


  57. eb pp 作り方
 assistant anvas にcallback を登録
 callback state値で分岐


  58. interactive canvasお試し
 https://github.com/actions-on-google/dialogflow-interactive-canvas-nodejs 
 


  59. あなたがもし〜なら
 Content Owener Android Developer Web・VUI Developer IoT・Device Devloper Content

    Action App Actions Interactive canvas Smart Home SDK
  60. ocal ome 
 クラウドを介さないことで、デバイス制御 度を高 化
 eveloper review is oming

    soon.

  61. 現地で 体験


  62. ctions on oogle evelopers eet and reet
 ssistant ev elチームや世界中

    開発者と 交流イベント
 ちゃんと公式 スケジュールに ってる
 

  63. 毎年ある oogle / アクション ~ 借り物競走ゲーム~


  64. まとめ


  65. まとめ
 1. oogle / 2019 eynote verview
 for oogle アシスタント

    
 
 a. uplex on the eb
 b. オンデバイス 次世代 oogleアシスタント 
 c. ssistant in the ar
 d. est ub/ ax
 e. ini- pps
 
 2. プラットフォームごと 
 oogleアシスタントへ 拡張
 
 a. ontent wner
 i. ow-to/ ideo emplate, 
 b. ndroid
 i. pp ctions
 c. ction・ eb
 i. nteractive canvas
 d. o ・ evice 
 i. ocal ome 

  66. hanks! 


  67. ppendix 


  68. 参考記事
 • oogle evelopers apan: / 2019 ctions on oogle:

    ウェブ、モバイル、スマートホーム デベロッパー 向け 新ツール - https://developers-jp.googleblog.com/2019/05/io-2019-actions-on-google.html 
 • ringing you the next-generation oogle ssistant - https://www.blog.google/products/assistant/next-generation-google-assistant-io/ 
 

  69. oogle / 2019 session 
 • oogle evelopers log: heck

    out the oogle ssistant talks at / 2019 - https://developers.googleblog.com/2019/04/check-out-google-assistant-talks-at-io.html 
 • ssistant at oogle / 2019 - ou ube - https://www.youtube.com/playlist list 2 xms 5 c hr 7 0l r b 

  70. 機能ごと ドキュメント・サンプルコード
 • pp ctions
 ◦ xtend your ndroid app

    
 ▪ https://developers.google.com/actions/app/ 
 ◦ actions-on-google/appactions-fitness-kotlin 
 ▪ https://github.com/actions-on-google/appactions-fitness-kotlin 
 ◦ mplement built-in intents for pp ctions 
 ▪ https://developers.google.com/actions/appactions/bii-integrations 
 • ow-to 
 ◦ uild a ow-to ction with markup | ctions on oogle eb ontent | oogle evelopers - https://developers.google.com/actions/content-actions/how-to 
 ◦ ow o - schema.org - https://schema.org/ ow o 
 • ow-to ideo template 
 ◦ reate a ow-to ideo ction using templates | ctions on oogle emplates | oogle evelopers - https://developers.google.com/actions/templates/how-to 
 • s
 ◦ uild an ction with markup | ctions on oogle eb ontent | oogle evelopers - https://developers.google.com/actions/content-actions/faq 
 • ini- pps
 ◦ 米 oogle、検索と oogle ssistant でインタラクティブなライブコンテンツを提供する ini-apps を発表 #io19 #io19jp :: (# ) - http://www.sem-r.com/news-2019/20190513030247.html 
 ◦ oogle is testing ini-apps in earch and oogle ssistant | enture eat - https://venturebeat.com/2019/05/08/googles-mini-apps-are-app-like-experiences-for-search-and-google-assistant/ 

  71. 機能ごと ドキュメント・サンプルコード
 • nteractive canvas 
 ◦ https://developers.google.com/actions/web/ 
 ◦

    uild nteractive ames for the oogle ssistant ( oogle / '19) - ou ube - https://www.youtube.com/watch v 8lsvv 21 k&list 2 xms i l do7 55j hs i&in dex 55&t 0s
 ◦ https://github.com/actions-on-google/dialogflow-interactive-canvas-nodejs