Actions Builderによるアクションのビジュアルプログラミング

GDG DevFest 2020 でお話した内容の資料です。
デモンストレーションとセットですので、Youtubeの動画も合わせてご覧下さい。

Transcript

1. Actions Builderによる ビジュアルプログラミング
2. Daisuke Kobayashi Programmer Gurunavi 絵を描いたり ゲーム作ったり webサイト作ったり twitter.com/0rga 0rga.org
4. 1.Actions Builder について 2.Actions Builder の解説とデモ 3.Actions SDK について（軽く） お話する事
5. Actions Builderについて
6. 2020/6/17に Actions Builderが リリースされました
7. Actions Builderとは 概要 - Actions Builderとは、Actionsコンソールで直接開発、テ スト、およびデプロイができる、WebベースのIDE - グラフィカルインターフェイスを使用しており、会話の流れを 視覚化できる - 自然言語理解（NLU）トレーニングデータの管理
8. Devices Dialogflow Google Assistant Actions Before
9. Devices Actions Builder Google Assistant Actions After
10. 設計方針の大きな違い Dialogflow Actions Builder 会話の流れを 構築していく 会話の場面を作り 繋げていく
11. 新しい概念 Scenes の登場 会話の場面（Scenes）を繋げて、会話を流れを作る Scenes A Scenes B Scenes C Scenes D
12. Scenesのライフサイクルとループ処理 Scenes A On enter Conditions Slot filling Prompts Intent Transition Scenes B
13. Scenesのライフサイクルとループ処理 Scenes A Conditions Slot filling Prompts Intent Transition Scenes B - Scenesがアクティブ化されたときに1回だけ実行され るステップ - Webhookをトリガーするか、シーンの1回限りのセッ トアップを行うようにユーザーに促すことができる On enter
14. Scenesのライフサイクルとループ処理 Scenes A On enter Slot filling Prompts Intent Transition Scenes B Conditions - 次のステップに進める前に、パラメータが特定の値を 持っているかどうかに基づいて、ロジックを実行でき るステップ - ロジック次第では、別のシーンに移動したり、会話を 終了できたりする
15. Scenesのライフサイクルとループ処理 Scenes A On enter Prompts Intent Transition Scenes B Conditions - ユーザーの入力を収集するためのステップ - Slotを埋めようと、Scenesのライフサイクルが動く Slot filling
16. Scenesのライフサイクルとループ処理 Scenes A On enter Intent Transition Scenes B Conditions Slot filling - これまでのステップで集めたキューを元に、ユーザに 発話するステップ Prompts
17. Scenesのライフサイクルとループ処理 Scenes A On enter Slot filling Prompts Transition Conditions Intent - Scenesのループを終了するための遷移基準を、定義で きるステップ - 遷移しない場合、ループは Conditions に戻る Scenes B
18. Actions Builder の 解説とデモ
19. デモで作るもの 仕様 - じゃんけんが出来るアクション - アクション名は「じゃんけんマシーン」 - ユーザが止めるまで、じゃんけんは続く - じゃんけんマシーンがグーチョキパーの何を出すかはランダム
20. VUI 設計 こんにちは、じゃんけんマ シーンです。 じゃんけんをしますか？ じゃーんけーん はい グー 私はチョキ、あなたはグー。 あなたの勝ち！ もう一回じゃんけんしますか？ じゃーんけーん… はい OK Google じゃんけん マシーンにつないで ： ：
21. Scenes 設計 じゃんけんをす るかどうか尋ね るシーン じゃんけんをす るシーン もう一度、 じゃんけんをす るかどうか尋ね るシーン 「こんにちは、じゃんけん マシーンです」 会話終了 YES NO
22. 下準備1 プロジェクトの作成
23. 下準備2 アクション名の設定
24. こんにちは、じゃんけん マシーンです。 これを作る
25. Main invocation 概要 - ユーザーがアクションとの会話を開始するためのエントリーポ イント - ユーザーからの 「OK Google, 〇〇◦につないで」 と言うような invocation（呼び出し）に反応する部分
26. Main invocationの設定
27. こんにちは、じゃんけんマ シーンです。 じゃんけんをしますか？ これを作る
28. Scenesの作成
29. Scenesの設定
30. じゃんけんをしますか？ はい これを作る
31. Intents 概要 - アクションが理解できる、ユーザーの入力を定義できる - System intent と Custom intent がある - Training phrases - ユーザの入力の定義の例の事 - Assistant NLU（自然言語理解）エンジンは、 Training Phrasesを拡張して、 他の類似したフレーズを含めることができる
32. Custom Intentの作成
33. ScenesにCustom Intent handlingを設定
34. はい じゃーんけーん グー これを作る
35. Custom Intent handlingで別Scenesに
36. Types 概要 - ざっくり言うと、Intentsの複数版。 - ユーザ入力の同義語を定義し判別できる。
37. // Custom Intent のイメージ { yes: ['はい', 'OK', 'YES', 'もちろん', 'オッケー', ... ] } // Types のイメージ { meat : { beef: ['牛肉', 'ビーフ', 'ステーキ', ... ], pork: ['豚肉', 'ポーク', 'とんかつ', ... ], chicken: ['鶏肉', 'チキン', 'から揚げ', ... ], } }
38. Typesの作成
39. Typesの設定
40. Slot fillingの設定
41. Slot fillingの設定
42. Conditionの設定
43. グー 私はチョキ、 あなたはグー。 あなたの勝ち！ これを作る
44. Conditionの条件分岐の作成
45. 私はチョキ、 あなたはグー。 あなたの勝ち！ もう一回 じゃんけんしますか？ これを作る
46. Conditionから別Scenesに
47. Conditionから別Scenesに
48. Scenesの設定
49. ScenesにCustom Intent handlingを設定
50. 私はチョキ、 あなたはグー。 あなたの勝ち！ ラ ン ダ ム に し た い
51. Webhook Actions SDK Node.js Fulfillment Library
52. const { conversation } = require('@assistant/conversation'); const functions = require('firebase-functions'); const app = conversation({debug: true}); const jankenTypeName = { gu: 'グー', tyoki: 'チョキ', pa: 'パー' }; const judgeMap = { gu: { gu: 'あいこ！', tyoki: 'あなたの勝ち！', pa: 'あなたの負け！' }, tyoki: { gu: 'あなたの負け！', tyoki: 'あいこ！', pa: 'あなたの勝ち！' }, pa: { gu: 'あなたの勝ち！', tyoki: 'あなたの負け！', pa: 'あいこ！' } }; 新しいライブラリに
53. app.handle('janken', conv => { const actionChoice = ['gu', 'pa', 'tyoki'][Math.floor(Math.random() * 3)]; const message = judgeMap[conv.session.params.chosenJankenType][actionChoice]; conv.add(`私は${jankenTypeName[actionChoice]}、あなたは ${jankenTypeName[conv.session.params.chosenJankenType]}、${message}`); }); exports.ActionsOnGoogleFulfillment = functions.https.onRequest(app); intent から handle に ask から add に
54. Actions SDK について
55. Actions SDK ファイルとコマンドラインの利点 - 手元の環境で作業が可能 - ファイルのバージョン管理が可能 - gactions コマンドで pull / push が可能 - 独自のツールを適用可能
56. 今回作ったデモを pull してきたもの
57. // Custom Intentでつくった「yes.yaml」 trainingPhrases: - そうだよ - そうです - もちろん - それで - よろしく - おねがい - "YES" - OK - うん - はい
58. // Scenesでつくった「start.yaml」 intentEvents: - intent: "yes" transitionToScene: janken - handler: staticPrompt: candidates: - promptResponse: firstSimple: variants: - speech: では、さようなら intent: "no" transitionToScene: actions.scene.END_CONVERSATION onEnter: staticPrompt: candidates: - promptResponse: firstSimple: variants: - speech: じゃんけんをしますか？
59. 1.Actions Builderのグラフィカルインターフェ イスで、よりノンコーティングに。 2.Actions SDKで、より自由に。 まとめ
60. Thank you!