⼈間中⼼のAIプロダクト開発に向けて意識すること ユーザーのメンタルモデル @ottamm_190 2023 3/26

はじめに GoogleのPeople + AI Research チームがまとめたガイドブック (2021年5⽉18⽇更新版) https://pair.withgoogle.com/guidebook このスライドはガイドブックを訳し、⾃分の知⾒を⼀部加筆した。 技術中⼼から⼈間中⼼に考える視野を広げてくれるガイドブックでした。 2019年6⽉12⽇時点で⽻⼭ 祥樹（@storywriter）さんの⽇本語訳サイトも⼤変参考になりました。

メンタルモデル ユーザーの⾏動原理を先回りする

• メンタルモデルとは • プロダクトがどのように機能し、⾃分の⾏動がどのように影響するかについての⼈の理解 • ユーザーのメンタルモデルは、製品の機能と常に⼀致するとは限らない。 • メンタルモデルの不⼀致が起こると… • 満たされない期待、フラストレーション、誤⽤、および製品の放棄につながる。 メンタルモデルとは

➀ 既存のメンタルモデルの上に新たなメンタルモデルを構築させる ➁ 段階的にオンボーディングする ➂ 共学習の計画をおこなう ➃ 過度にAIを擬⼈化させない メンタルモデル

➀ 既存のメンタルモデルの上に新たなメンタルモデルを構築させる ➁ 段階的にオンボーディングする ➂ 共学習の計画をおこなう ➃ 過度にAIを擬⼈化させない メンタルモデル 従来のメンタルモデルを継承することでユーザーは快適に感じる ⾶躍したインターフェースはユーザーは不快に感じる

従来の製品が最初のメンタルモデルになる可能性が⾮常に⾼い。 既存のメンタルモデルを知る Power BI, TableauのBIツールが多い ダッシュボードに分析⾊が強くになると拒絶反応 ソート、検索、フィルターは︖ コンポーネントの追加は︖前のでいいや… IEEE VIS2022 “Dashboard Design Patterns” https://dashboarddesignpatterns.github.io/types.html

メンタルモデルを知る質問 ユーザーと AI 製品との関係の⽂脈を理解するには、以下のいくつかの質問をしてみる。 üユーザーは何をしようとしていますか üユーザーはどのようなメンタルモデルを引き継ぐことができますか ü初⼼者がタスクを達成するために現在使⽤している段階的なプロセスは何ですか üそのプロセスは、異なるユーザー間でどの程度均⼀ですか

➀ 既存のメンタルモデルの上に新たなメンタルモデルを構築させる ➁ 段階的にオンボーディングする ➂ 共学習の計画をおこなう ➃ 過度にAIを擬⼈化させない メンタルモデル オンボーディングとは ・新しいユーザーや顧客が製品やサービスを知るのを助けるプロセス 最初に重要な価値を説明し、使⽤するに連れて別機能を紹介する。

オンボーディングで失敗するとユーザーは離脱する。 • チャーン（解約率）につながる。 カスタマーライフサイクルのフローに乗っ取ると製品を触る前からオンボーディングは始まる。 段階的にオンボーディングする 認知 関⼼ 欲求 記憶 購買 導⼊ 問題解決 適応 熟達 追加購⼊ ⼝コミ 購買前 購買初期・育成⽀援 購買後期 オンボーディング 製品に適切な期待値を持ってもらう

ユーザー体験も購⼊前から始まる UXは製品を触る間の体験だけではない。 時間で分別したUXをカスタマーライフサイクルにマッピングする。 オンボーディングは瞬間的UXでなく、予期的UXから改善していくことになる。 予期的UX ⼝コミ・資料・セミナーの質 瞬間的UX UIの使い⼼地 エピソード的UX タスクの効率性・利便性 累積的UX AIの安定性・バグ対応の迅速性 認知 関⼼ 欲求 記憶 購買 導⼊ 問題解決 適応 熟達 追加購⼊ ⼝コミ 購買前 購買後期 「UXデザインの教科書」安藤昌也 丸善出版 購買初期・育成⽀援

期待と実情が異なるとユーザーは離脱する。 マーケティングと連携し、ユーザーの期待値をデザインする。 • ユーザーがはじめてプロダクトにふれるときに、できること、できないことを前もって伝える。 • プロダクトがどのように動くのか例を挙げて、プロダクトの価値を明確にする。 • 時間をかけて改善するにはフィードバックが必要になることを、⼈々に前もって知らせる。 • なぜフィードバックをし続けなければならないか、その価値に焦点を当てて、伝える。 製品に適切な期待値を設定するためのガイドライン

AIが具体的に体験の⼀部をどのように改善するのかに焦点を当てる 例１）品質保証ドキュメントで過去事例がすぐ⾒つかる 例２）朝から晩まで働く検査業務の⼈員が削減できる ダメな例 • この⽅法で業務の効率化がX%達成できる。X%は本当︖ • 最先端の⼿法で…XXXを⽤いる。顧客体験がどう変わるか不明 • 検索でほしいものが⼿に⼊る。具体性に⽋ける 技術ではなく利点を説明する

オンボーディングの⼿順を⾶ばす⼈もいる オンボーディングを短くし、ユーザーに正しく使ってもらう ユーザーへの配慮は怠らない 倍速再⽣の短い動画で操作⼿順も説明 業務に忙殺されている利⽤者

オンボーディングメッセージを複数のパターンをつくる [実践]オンボーディング設計 4ステップ これは「製品または機能」であり、 「主なメリット」によって役⽴ちます。 「AI の主な制限事項」はできません。 時間が経つにつれて、より質の⾼いものに変化します。 「AIを育てるユーザーアクション」によって、システムの改善を⽀援できます。 テンプレート

2. メッセージに以下の内容が含まれているか確認する。 ü説明は技術でなくユーザーにとってのメリットで書かれているか︖ ü製品をユーザーにとって、 （AIの習熟度に応じた）適切なレベルで紹介しているか︖ ü「AIを育てるユーザーアクション」の説明⽂は、AIを時間をかけてどう改善していくかについ て、具体的かつ明確に記述されているか︖ ü「AIを育てるユーザーアクション」のプロセスは、製品の中で簡単に試せるようになっている か︖ ü時間が経つにつれてシステムがどのように変化し、それがユーザーにどのような利益を もたらすかについて、具体的かつ明確に記述されているか︖ [実践]オンボーディング設計 4ステップ

3. オンボーディングメッセージに対するユーザーの反応の仮説を⽴てる。 ユーザーが次に何をするのか考えておく。 • 設定されたタスクが完了するのか • AIでできることのサンプルを⾒るか • 単純に試し始めるのか [実践]オンボーディング設計 4ステップ

4. ユーザーメンタルモデルをテストする。 [実践]オンボーディング設計 4ステップ ü 最初のオンボーディングメッセージをユーザーに⽰し、次のような質問をする。 • この製品は何か、あなた⾃⾝の⾔葉で説明してください。 • 製品がどのように機能するか、あなたの⾔葉で説明してください。 • ⾒たものをもとに、この製品を使うと、どんな感じになるのか説明してください。 • ⾒たところ、どの程度役に⽴つと思われますか。 • 次に、メッセージを読んで、あなたが「製品」に期待することがあれば、教えてください。 ü 次に、製品や機能のワイヤーフレームやデモ、プロトタイプがあれば、オンボーディング体験のコンセプ トを説明した後に、それをユーザーに⾒せてください。 ü 最後に、デザインコンセプトとAIプロトタイプの両⽅に触れた後、ユーザーにAI体験が期待したもの と⽐べてどうだったかを説明してもらいましょう。

➀ 既存のメンタルモデルの上に新たなメンタルモデルを構築させる ➁ 段階的にオンボーディングする ➂ 共学習の計画をおこなう ➃ 過度にAIを擬⼈化させない メンタルモデル AI を活⽤した製品は時間の経過とともに適応し、改善されるため、UXが変化する。 ユーザーはそれに備え、必要に応じてメンタルモデルを調整する必要がある。

「失敗を修正できるもの」というメンタルモデルを作らせる ⼈々が AI製品にフィードバックを与えると、モデルが調整される。 ユーザーのメンタルモデルも同様に時間とともに変化する。 共同学習の計画 Arxiv 2104.15135: Explanation-Based Human Debugging of NLP Models: A Survey

システムが期待に応えられなかったとき、ユーザーはがっかりする。 「AIシステムの失敗は教えれば次回から良くなる」というメンタルモデルを作らせる。 この関係ができるとユーザーは失敗を許容できるだけでなく、修正につながる。 失敗は修正できるもの AI AI

ユーザーにエラーが発⽣したことを伝える。 ⼿動でタスクを完了する⽅法を知らせる。 今回の失敗はどうするか AIは⾃信がなく、どのクラスか判定できません。 保存 クラスA クラスB クラスC クラスD クラスE テキストテキストテキストテキストテキストテキスト ⼿動選択

➀ 既存のメンタルモデルの上に新たなメンタルモデルを構築させる ➁ 段階的にオンボーディングする ➂ 共学習の計画をおこなう ➃ 過度にAIを擬⼈化させない メンタルモデル 親近感を湧かせるための擬⼈化はかえって不信感を与える ユーザーのメンタルモデルが、AIの結果は⼈間と同程度と勘違いされる

➃過度にAIを擬⼈化させない 会話型AIが「私」を使うと、メンタルモデルは⼈間並の出⼒を求める。 AI の限界と機能を明確に伝える。 意図しない欺瞞を回避。 私はお助けAIです。 あなたのお困りごとを助けます。 何かお⼿伝いしましょうか。

➀ 既存のメンタルモデルの上に新たなメンタルモデルを構築させる • PowerBI を使っても、既存基幹システムのUIに引っ張られ、なかなか抜本的な変更が難しい。 ➁ 段階的にオンボーディングする • AI界隈の評価指標は直感的に受け⼊れられず、最初は計算過程を可視化する⽅が良い。 • プロジェクト前から期待値を挙げられ、初回報告時に苦労した。 • マーケ資料には実際のプロダクトの動画を⼊れること期待をあげすぎない。 ➂ 共学習の計画をおこなう • 製造業では「AIは失敗するもの」が中々受け⼊れられないことが多い。 ➃ 過度にAIを擬⼈化させない • GPT4以降、⼈間の返答とAIの返答が区別できるように擬⼈化はさせない⽅がいいと思った。 個⼈的な学び