AIエージェントがもたらす新たな顧客体験

オンラインイベント「ChatGPT IN ACTION #2 大規模言語モデルがつくる新しい顧客体験」でのLT資料です。
https://rector.connpass.com/event/282064/

◯アーカイブ動画
https://www.youtube.com/watch?v=H9fgVmD8tsg

◯文字起こし（ログミー）
https://logmi.jp/tech/articles/328825

Transcript

1. 2023.05.30 株式会社グッドパッチ ⾼橋 椋⼀ AIエージェントがもたらす 新たな顧客体験 ChatGPT IN ACTION #2 ⼤規模⾔語モデルがつくる新しい顧客体験 Extra-LT枠
2. LLM Agent は めっちゃ楽しいので みんな作ろう🤗 今⽇お伝えしたいこと
3. 01 ⾃⼰紹介
4. 1. ⾃⼰紹介 認知⼼理学・⾃然⾔語処理 対話ロボットの研究開発 新規事業開発 Fintech/AI関連プロジェクトの統括 学部・修⼠ お前は誰なのか
5. 個⼈でやっていること 1. ⾃⼰紹介 データ分析エージェント ⼈間の記憶のしくみを模倣した エージェント向けフレームワーク 全⾃動でデータ分析レポートを 作ってくれるサービス（αテスト中） 発信など LLM / UXを中⼼に Noteなどに投稿してます！
6. 02 LLM Agentって？
7. 2. LLM Agent ユーザ LLM Agentって？ プログラムの実⾏ ファイルの 読み込み・書き込み WEBブラウジング 思考（LLM） し LLM Agent 【ゴール】 株価レポートを作成して
8. 2. LLM Agent ・⼈間が与えた⽬標をもとに 
  ⾃律的にタスクをプランニングする ・検索やファイル操作など 
  状況に応じて外部ツールを使う ・実⾏結果やエラーの内容をもとに 
  ⾃⾝で⾏動を修正する ※https://beta.nando.ai/ LLM Agentって？
9. 2. LLM Agent LLM Agentって？ コンセプトを⽰す論⽂はすでに1年ほど前から存在していたが…
10. Auto-GPT ※2023/05/29 15時現在 2. LLM Agent リリース1ヶ⽉半で… 136,000 の スター 28,200 の フォーク 1,755 の プルリクエスト ムーブメントの⽕付け役
11. 2. LLM Agent Auto-GPTを⽪切りに、1ヶ⽉間でプロダクトが爆発的なスピードで登場 OSS WEBサービス
12. 2. LLM Agent ※プロンプトを説明⽤に簡略化したものです。実際のプロンプトとは⼤幅に異なります。 ⾏動 Act タスク作成・管理 Task creation/prioritization 推論 Reasoning ループ 【プロンプト】  あなたの⽬的はAppleの株価レポートを作成することです。  ⽬的を達成するためのタスクリストを以下の形式で出⼒してください。   1. 最初のタスク   2. ⼆番⽬のタスク … 【プロンプト】 あなたのタスクはAppleの直近3年の株価を調査することです。 あなたは以下のツールが使えます。   [Google検索]インターネット上の情報を検索できる  [DB検索] データベースの検索ができる  [電卓] 数値計算ができる タスクを実⾏するためにあなたが何をすべきか、以下の形式で出⼒してください。  Thought: <タスク遂⾏のために考えたこと>   Action:<あなたがとるべきアクション>   Input:<アクションの⼊⼒値>   LLM Agentの仕組み（ざっくり） プログラムの実⾏ ファイルの 読込み・書込み WEBブラウジング
13. 2. LLM Agent ※プロンプトを説明⽤に簡略化したものです。実際のプロンプトとは⼤幅に異なります。 ⾏動 Act タスク作成・管理 Task creation/prioritization 推論 Reasoning ループ 【プロンプト】  あなたの⽬的はAppleの株価レポートを作成することです。  ⽬的を達成するためのタスクリストを以下の形式で出⼒してください。   1. 最初のタスク   2. ⼆番⽬のタスク … 【プロンプト】 あなたのタスクはAppleの直近3年の株価を調査することです。 あなたは以下のツールが使えます。   [Google検索]インターネット上の情報を検索できる  [DB検索] データベースの検索ができる  [電卓] 数値計算ができる タスクを実⾏するためにあなたが何をすべきか、以下の形式で出⼒してください。  Thought: <タスク遂⾏のために考えたこと>   Action:<あなたがとるべきアクション>   Input:<アクションの⼊⼒値>   タスク1. Appleの株価データを収集する タスク2. Appleの株価データを分析する タスク3. Appleの株価に関する相関因⼦を調査する LLM Agentの仕組み（ざっくり） プログラムの実⾏ ファイルの 読込み・書込み WEBブラウジング
14. 2. LLM Agent ※プロンプトを説明⽤に簡略化したものです。実際のプロンプトとは⼤幅に異なります。 ⾏動 Act タスク作成・管理 Task creation/prioritization 推論 Reasoning ループ 【プロンプト】  あなたの⽬的はAppleの株価レポートを作成することです。  ⽬的を達成するためのタスクリストを以下の形式で出⼒してください。   1. 最初のタスク   2. ⼆番⽬のタスク … 【プロンプト】 あなたのタスクはAppleの直近3年の株価を調査することです。 あなたは以下のツールが使えます。   [Google検索]インターネット上の情報を検索できる  [DB検索] データベースの検索ができる  [電卓] 数値計算ができる タスクを実⾏するためにあなたが何をすべきか、以下の形式で出⼒してください。  Thought: <タスク遂⾏のために考えたこと>   Action:<あなたがとるべきアクション>   Input:<アクションの⼊⼒値>   Thought：株価データを⼊⼿するためにまずは 
       信頼性の⾼いソースを⾒つける必要がある Action: Google検索 Input: 「Apple, 株価, 2020年以降」 LLM Agentの仕組み（ざっくり） プログラムの実⾏ ファイルの 読込み・書込み WEBブラウジング タスク1. Appleの株価データを収集する タスク2. Appleの株価データを分析する タスク3. Appleの株価に関する相関因⼦を調査する
15. 2. LLM Agent ※プロンプトを説明⽤に簡略化したものです。実際のプロンプトとは⼤幅に異なります。 ⾏動 Act タスク作成・管理 Task creation/prioritization 推論 Reasoning ループ 【プロンプト】  あなたの⽬的はAppleの株価レポートを作成することです。  ⽬的を達成するためのタスクリストを以下の形式で出⼒してください。   1. 最初のタスク   2. ⼆番⽬のタスク … 【プロンプト】 あなたのタスクはAppleの直近3年の株価を調査することです。 あなたは以下のツールが使えます。   [Google検索]インターネット上の情報を検索できる  [DB検索] データベースの検索ができる  [電卓] 数値計算ができる タスクを実⾏するためにあなたが何をすべきか、以下の形式で出⼒してください。  Thought: <タスク遂⾏のために考えたこと>   Action:<あなたがとるべきアクション>   Input:<アクションの⼊⼒値>   LLM Agentの仕組み（ざっくり） プログラムの実⾏ ファイルの 読込み・書込み WEBブラウジング 検索APIを使⽤ Thought：株価データを⼊⼿するためにまずは 
       信頼性の⾼いソースを⾒つける必要がある Action: Google検索 Input: 「Apple, 株価, 2020年以降」 タスク1. Appleの株価データを収集する タスク2. Appleの株価データを分析する タスク3. Appleの株価に関する相関因⼦を調査する
16. 03 データ分析エージェントを作ってみた
17. DEMO 3. 作ってみた：データ分析エージェント 全⾃動データ分析エージェント テスト環境 （https://analytics.penguins-lab.com/） ・LangChainとGPT-3.5-Turboで実装 ・CSV/XLSXデータをドラッグアンドドロップ ・データの内容をもとに、LLMが分析⼿順をプランニング ・データの前処理/分析/可視化を勝⼿に実施 ・放置しておくと数分で分析レポートの出来上がり
18. 3. 作ってみた：データ分析エージェント 仕組み データを 読み込み 基本統計量 を出す データの 外観を把握 分析プラン ⽴てる 分析⽤の コード組⽴ コード実⾏ エラー出たら コード修正 分析結果の レポート化 ×N回 レポートの ⽂章校正 分析結果の 解釈
19. 3. 作ってみた：データ分析エージェント 3. 作ってみた：データ分析エージェント Good LLMで推論を繰り返し続けるので コストが⾼い ⼀度推論ミスが発⽣すると 失敗が連鎖する（Snowball） “よしなにやってくれる”ので 利⽤ハードルが低い More LLMベースのレポート作成ツールは 多⾔語対応が容易
20. 04 エージェントが顧客体験を どう変えていくか？ ＼エージェントを作りながら考えました∕
21. ର࿩ LLM利⽤のハードルが 更に下がる エージェントが実⽤化した “⼀歩先” の未来で起きそうなこと 4. エージェントが顧客体験をどう変えていくか？ ର࿩ 「利⽤者」は ⼈間のみにあらず 02 01
22. ର࿩ LLM利⽤のハードルが 更に下がる エージェントが実⽤化した “⼀歩先” の未来で起きそうなこと 4. エージェントが顧客体験をどう変えていくか？ ର࿩ 「利⽤者」は ⼈間のみにあらず 02 01
23. 開発経緯 もともと、ChatGPTのような対話型データ分析ツールを開発していた 「〇〇の中央値を表にまとめて」 「□□と△の相関係数とp値を出して」 4. エージェントが顧客体験をどう変えていくか？
24. 開発経緯 もともと、ChatGPTのような対話型データ分析ツールを開発していた ↓ 「統計⽤語が分からないので、何を指⽰すればいいのか…」 「そもそもどんな分析をすべきかの判断が難しい」 など、ユーザテストではズタボロ 「〇〇の中央値を表にまとめて」 「□□と△の相関係数とp値を出して」 4. エージェントが顧客体験をどう変えていくか？
25. 仮説 チャット型 ドメインへの理解が 質問を⾏うユーザには求められる ドメイン知識のない初⼼者でも ⼿軽にそれっぽい結果を得られる エージェント型 4. エージェントが顧客体験をどう変えていくか？
26. 仮説 チャット型 ドメインへの理解が 質問を⾏うユーザには求められる ドメイン知識のない初⼼者でも それっぽい結果を得られる エージェント型 4. エージェントが顧客体験をどう変えていくか？ エージェントは LLMの利⽤ハードルを更に下げる 新たなユーザインターフェースになる？
27. Googleが2019年に発表した AIプロダクト向けのUXデザインガイド 「People + AI Guidebook」を ご存知でしょうか？ ちなみに… 4. エージェントが顧客体験をどう変えていくか？ IUUQTQBJSXJUIHPPHMFDPNHVJEFCPPLDIBQUFST
28. Automation vs Augmentation 4. エージェントが顧客体験をどう変えていくか？ 「People + AI Guidebook」によれば、AIアプリケーションには２つの⽅向性がある 拡張 Augument ユーザの能⼒や可能性を 維持して強化すること ⾃動化 Automate ユーザの関与なしに タスクを実⾏すること
29. 仮説 4. エージェントが顧客体験をどう変えていくか？ B2BのLLMプロダクトでは「誰の業務を/⾃動化 or 拡張するのか」がキモになる？ 拡張 ⾃動化 初⼼者向け 中級者向け 熟練者向け ★ チャット型分析ツール ★ ⾃動分析エージェント
30. ର࿩ LLM利⽤のハードルが 更に下がる エージェントが実⽤化した “⼀歩先” の未来で起きそうなこと 4. エージェントが顧客体験をどう変えていくか？ ର࿩ 「利⽤者」は ⼈間のみにあらず 02 01
31. AIが⼈のかわりにコンピュータを操作する未来は近い？ ⾃然⾔語で 指定したWebAPIを操作 ChatGPT Plugin Agent ファイル操作や プログラムの実⾏ Web Browsing ChatGPT/perplexityなど… WEBコンテンツを 抽出・要約 4. エージェントが顧客体験をどう変えていくか？
32. ର࿩ 4. エージェントが顧客体験をどう変えていくか？ ର࿩ 例）カラム名に単位が付与されていると分析が成功しやすくなる 例）カラム説明があると、結果の解釈で誤りが発⽣しづらくなる CSVデータ 例）セマンティックにマークアップされている⽅が要約しやすい 例）コンテンツが複数ページに跨がらない⽅が要約しやすい WEBサイト
33. ର࿩ 4. エージェントが顧客体験をどう変えていくか？ ର࿩ 例）カラム名に単位が付与されていると分析が成功しやすくなる 例）変数の説明があると、結果の解釈で誤りが発⽣しづらくなる CSVデータ 例）セマンティックにマークアップされている⽅が要約しやすい 例）コンテンツが複数ページに跨がらない⽅が要約しやすい WEBサイト アウトプットの品質に インプットの”AI可読性”が影響する 「サービス利⽤者としてのAI」にとって フレンドリーなつくりが求められるかも
34. ର࿩ LLM利⽤のハードルが 更に下がる エージェントが実⽤化した “⼀歩先” の未来で起きそうなこと 4. エージェントが顧客体験をどう変えていくか？ ର࿩ 「利⽤者」は ⼈間のみにあらず 02 01
35. LLM Agent は めっちゃ楽しいので みんな作ろう🤗 さいごに⾔いたいこと