対話型アプリケーション入門

チャットボットの構築に必要となる機械学習以外の内容を解説した資料です。この資料は Money Forward 社内で開かれた MLOps についての勉強会のために作成しました。

## Reference

Cathy Pearl 著, 川本 大功 監訳, 高橋 信夫 訳 デザイニング・ボイスユーザーインターフェース O’Reilly Japan 2018年 https://www.oreilly.co.jp/books/9784873119618/

Transcript

1. 対話型アプリケーション入門 Asei Sugiyama
2. 要旨 対話型アプリケーションの 一般的な内容について共有 します Cathy Pearl 著, 川本 大功 監訳, 高橋 信夫 訳 デザイニング・ボイスユーザーイン ターフェース O’Reilly Japan 2018年 https://www.oreilly.co.jp/books/9784873119618/
3. TOC 1. 対話アプリケーション概要 <- 2. 対話アプリケーションに固有な課題 3. 対話アプリケーションの運用
4. 1. 対話アプリケーション概要 対話の分類 対話と自然言語処理 アーキテクチャ
5. 対話の分類: 目的志向 何らかの目的を達成するための対話 ユーザーが情報や資源を相手に渡すことで、 相手に何かを行ってもらう 業務や手続きはこれ 新型コロナ対策パーソナルサポート＠東京 https://www.metro.tokyo.lg.jp/tosei/koho/sns/line/index.html
6. 対話の分類: 非目的志向 目的の達成を意図しない対話 相手と情報や感情を交換する エンターテイメントや日々の交流はこれ エアフレンド https://airfriend.ai/ja/
7. 実際の対話 目的志向の対話でも、情報や感情の 交換が行われる フォームの入力とは異なりキャラク ター性を考える必要が出てくる David N. Blank-Edelman　編 山口 能迪　監訳 渡邉 了介　訳 SREの探求 O’Reilly Japan 2021年 https://www.oreilly.co.jp/books/9784873119618/
8. 対話と自然言語処理 自然言語処理タスクの定義 分類法 自然言語タスク
9. 自然言語処理タスクの定義 目的志向の対話を前提とする 目的志向の対話では、目的の達成に必要な情報の集合があり、それを対 話によりインタラクティブに伝えていく これは状態遷移機械と捉えられる: 1回の発話により、取得している情報 の状態が遷移する
10. 分類法 (1/2) 一問一答型 状態を持たず、1入力に対し て1回の出力を行う フローチャート型 状態遷移が定義され、入力 に対してそれぞれの状態に 応じた出力を行う Cathy Pearl 著, 川本 大功 監訳, 高橋 信夫 訳 デザイニング・ボイスユーザーイン ターフェース O’Reilly Japan 2018年 https://www.oreilly.co.jp/books/9784873119618/
11. 分類法 (2/2) オープンエンド型 事前定義された状態遷移を 持たず、入力に対して連続 的な対話を行う 学術的な研究の対象ではあ るものの、業務利用は困難 Sowmya Vajjala, Bodhisattwa Majumder, Anuj Gupta, Harshit Surana 著 中山 光樹 訳 実践 自然言語処理 O’Reilly Japan 2021年 https://www.oreilly.co.jp/books/9784873119618/
12. 自然言語タスク スロットの抽出: 対話を通じて取得したい 情報を、入力文から抽出する インテントの分類: 入力文を分類し、遷移 先の状態を決定する そして莫大な同義語・類義語の整備 Sowmya Vajjala, Bodhisattwa Majumder, Anuj Gupta, Harshit Surana 著 中山 光樹 訳 実践 自然言語処 理 O’Reilly Japan 2021年 https://www.oreilly.co.jp/books/9784873119618/
13. アーキテクチャ 対話アプリケーションの利点と欠点 アーキテクチャ 考慮すべき点
14. 対話アプリケーションの利点と 欠点 利点: ユーザーが慣れ親しんだインタ ーフェイスを利用できる 欠点: 目的に最適化されたインターフ ェイスと比較すると操作が煩雑にな る
15. アーキテクチャ UI: すでにあるアプリケーションやロボット API 受付: リクエストを受け付けて即座に返答する 返答: 適切なユーザーにメッセージを送付する バックエンド 他のシステムや機械学習システムに問い合わせ
16. 実例 LINE の社内ア プリの構築例 典型的な Web アプリケーシ ョンと同じ LINE社員を支えるLINE CAREの裏側（BOTを入れてみ た話） https://engineering.linecorp.com/ja/blog/inside-line- care/
17. 考慮すべき点 基本的には API は状態を持つべきでない一方、対話には状態があるため 状態の管理が必要 状態をAPI の入出力に含める 状態管理用のサービスを作る 状態を持つことを許容する
18. TOC 1. 対話アプリケーション概要 2. 対話アプリケーションに固有な課題 <- 3. 対話アプリケーションの運用
19. 2. 対話アプリケーションに固有な課題 発話の選択肢の多さ 対話の状態の選択肢の多さ キャラクター性
20. 発話の選択肢の多さ ユーザーの発話を列挙することは到底不可能 解決策: ユーザーに質問する 考慮事項: 最初の一言目 考慮事項: 話しかける or 話しかけられるのを待つ
21. ユーザーの発話を列挙することは到底不可能 入力フォームとは異なり、入力値のバリデーションが不可能か著しく困 難 目的と合致する発言だけではなく、目的と一致しない発言も入力に含ま れる
22. 解決策: ユーザーに質問す る 基本的にユーザーに会話を 先導させない 話しかけられたらいきなり 質問する Cathy Pearl 著, 川本 大功 監訳, 高橋 信夫 訳 デザイニング・ボイスユーザーイン ターフェース O’Reilly Japan 2018年 https://www.oreilly.co.jp/books/9784873119618/
23. 考慮事項: 最初の一言目 いきなり目的志向の会話を はじめると、ユーザーの体 験が悪い まずは信頼関係の構築から はじめる Cathy Pearl 著, 川本 大功 監訳, 高橋 信夫 訳 デザイニング・ボイスユーザーイン ターフェース O’Reilly Japan 2018年 https://www.oreilly.co.jp/books/9784873119618/
24. 考慮事項: 話しかける or 話しか けられるのを待つ 基本はこちらから話しかける ユーザーに話しかけられるのを待つ だけでは利用されないため、さまざ まなプロモーションが必要 話しかける場合はいつ話しかけるタ イミングについて、サービスの体験 と合わせた設計が必要 Cathy Pearl 著, 川本 大功 監訳, 高橋 信夫 訳 デザイニング・ボイスユーザーインターフェース O’Reilly Japan 2018年 https://www.oreilly.co.jp/books/9784873119618/
25. 対話の状態の選択肢の多さ 対話の状態を列挙することは不可能 解決策: エスカレーション先を用意し、なんでもやらない 考慮事項: 過去の入力を利用する
26. 対話の状態を列挙することは不可能 クローズドな質問に対して、ユーザーが質問に必ず答えられるのならば まだ可能 (選択肢を提示し、その中のどれか聞けば良い) ユーザーがあやふやな情報しか持っていないケースでは選択肢から選ぶ ことすらもできず、次の予測が困難 多様なユーザーの状態を列挙することは不可能
27. 解決策: エスカレーション先を用意し、 なんでもやらない 別の情報源に誘導する 別の窓口に誘導する バックグラウンドでエスカレーションし、人 間にスイッチする 新型コロナ対策パーソナルサポート＠東京 https://www.metro.tokyo.lg.jp/tosei/koho/sns/line/index.html
28. 考慮事項: 過去の入力を利用する Clippy は何度消しても現れた ユーザーが以前に入力したことを記録しておき、新たな問い合わせで利 用する Cathy Pearl 著, 川本 大功 監訳, 高橋 信夫 訳 デザイニング・ボイスユーザーインターフェース O’Reilly Japan 2018年 https://www.oreilly.co.jp/books/9784873119618/
29. キャラクター性 対話の設計には専門的なスキルが必要 解決策: 何度もレビューする & 実際の反応をもとに改善する 考慮事項: アイコン
30. 対話の設計には専門的なスキルが必要 普段我々は会話しているにもかかわらず、対話を書き始めると不自然な ものになる 手作りのアクセサリーを販売する場合に適したキャラクターと、家を販 売する場合に適したキャラクターは違う
31. 解決策: 何度もレビューす る & 実際の反応をもとに 改善する サポートしたい主な対話を 書き起こして読み合わせる 実際に使ってもらった反応 をもとに改善する Cathy Pearl 著, 川本 大功 監訳, 高橋 信夫 訳 デザイニング・ボイスユーザーイン ターフェース O’Reilly Japan 2018年 https://www.oreilly.co.jp/books/9784873119618/
32. 考慮事項: アイコン 見た目はとても重要 たとえ業務用アプリケーシ ョンであったとしても、数 字で現れる (複数事例あり) Cathy Pearl 著, 川本 大功 監訳, 高橋 信夫 訳 デザイニング・ボイスユーザーイン ターフェース O’Reilly Japan 2018年 https://www.oreilly.co.jp/books/9784873119618/
33. 3. 対話アプリケーションの運用 フィードバックの収集 フィードバックの例 運用
34. フィードバックの収集 さまざまなフィードバックを集めることは重要 ユーザーの入力に頼り切ってはいけない 業務で入力するようにお願いしても3割、通常は数％ 収集するデータの例 タスク完了率 離脱率 滞在時間 アンケート
35. 運用 離脱率の高い箇所を特定して改善 対話の調整 辞書の調整 冗談のように手間がかかる 変えてみたらなんか違うとか 「前のほうが良かった」ならまだしも「ずっとだめ」とか 「ずっとだめ」の根拠を聞いたら「最近使ってない」とか 「入力が面倒なのでボタンの選択式にしてくれ」という事実がわかった りする
36. まとめ 対話アプリケーションはフローチャートにしたがって状態遷移を行い、 情報をユーザーから収集するアプリケーション ユーザー主導の対話は複雑さが増してしまうため、ユーザーに質問を行 うのが良い 見た目は大事、とても大事 長時間の操作は対話アプリケーションでは煩雑になるため、専用のイン ターフェイスについても検討が必要