Slide 1

Slide 1 text

2023.05.30 株式会社グッドパッチ ⾼橋 椋⼀ AIエージェントがもたらす 新たな顧客体験 ChatGPT IN ACTION #2 ⼤規模⾔語モデルがつくる新しい顧客体験 Extra-LT枠

Slide 2

Slide 2 text

LLM Agent は めっちゃ楽しいので みんな作ろう🤗 今⽇お伝えしたいこと

Slide 3

Slide 3 text

01 ⾃⼰紹介

Slide 4

Slide 4 text

1. ⾃⼰紹介 認知⼼理学・⾃然⾔語処理 対話ロボットの研究開発 新規事業開発 Fintech/AI関連プロジェクトの統括 学部・修⼠ お前は誰なのか

Slide 5

Slide 5 text

個⼈でやっていること 1. ⾃⼰紹介 データ分析エージェント ⼈間の記憶のしくみを模倣した エージェント向けフレームワーク 全⾃動でデータ分析レポートを 作ってくれるサービス(αテスト中) 発信など LLM / UXを中⼼に Noteなどに投稿してます!

Slide 6

Slide 6 text

02 LLM Agentって?

Slide 7

Slide 7 text

2. LLM Agent ユーザ LLM Agentって? プログラムの実⾏ ファイルの 読み込み・書き込み WEBブラウジング 思考(LLM) し LLM Agent 【ゴール】 株価レポートを作成して

Slide 8

Slide 8 text

2. LLM Agent ・⼈間が与えた⽬標をもとに 
  ⾃律的にタスクをプランニングする ・検索やファイル操作など 
  状況に応じて外部ツールを使う ・実⾏結果やエラーの内容をもとに 
  ⾃⾝で⾏動を修正する ※https://beta.nando.ai/ LLM Agentって?

Slide 9

Slide 9 text

2. LLM Agent LLM Agentって? コンセプトを⽰す論⽂はすでに1年ほど前から存在していたが…

Slide 10

Slide 10 text

Auto-GPT ※2023/05/29 15時現在 2. LLM Agent リリース1ヶ⽉半で… 136,000 の スター 28,200 の フォーク 1,755 の プルリクエスト ムーブメントの⽕付け役

Slide 11

Slide 11 text

2. LLM Agent Auto-GPTを⽪切りに、1ヶ⽉間でプロダクトが爆発的なスピードで登場 OSS WEBサービス

Slide 12

Slide 12 text

2. LLM Agent ※プロンプトを説明⽤に簡略化したものです。実際のプロンプトとは⼤幅に異なります。 ⾏動 Act タスク作成・管理 Task creation/prioritization 推論 Reasoning ループ 【プロンプト】  あなたの⽬的はAppleの株価レポートを作成することです。  ⽬的を達成するためのタスクリストを以下の形式で出⼒してください。   1. 最初のタスク   2. ⼆番⽬のタスク … 【プロンプト】 あなたのタスクはAppleの直近3年の株価を調査することです。 あなたは以下のツールが使えます。   [Google検索]インターネット上の情報を検索できる  [DB検索] データベースの検索ができる  [電卓] 数値計算ができる タスクを実⾏するためにあなたが何をすべきか、以下の形式で出⼒してください。  Thought: <タスク遂⾏のために考えたこと>   Action:<あなたがとるべきアクション>   Input:<アクションの⼊⼒値>   LLM Agentの仕組み(ざっくり) プログラムの実⾏ ファイルの 読込み・書込み WEBブラウジング

Slide 13

Slide 13 text

2. LLM Agent ※プロンプトを説明⽤に簡略化したものです。実際のプロンプトとは⼤幅に異なります。 ⾏動 Act タスク作成・管理 Task creation/prioritization 推論 Reasoning ループ 【プロンプト】  あなたの⽬的はAppleの株価レポートを作成することです。  ⽬的を達成するためのタスクリストを以下の形式で出⼒してください。   1. 最初のタスク   2. ⼆番⽬のタスク … 【プロンプト】 あなたのタスクはAppleの直近3年の株価を調査することです。 あなたは以下のツールが使えます。   [Google検索]インターネット上の情報を検索できる  [DB検索] データベースの検索ができる  [電卓] 数値計算ができる タスクを実⾏するためにあなたが何をすべきか、以下の形式で出⼒してください。  Thought: <タスク遂⾏のために考えたこと>   Action:<あなたがとるべきアクション>   Input:<アクションの⼊⼒値>   タスク1. Appleの株価データを収集する タスク2. Appleの株価データを分析する タスク3. Appleの株価に関する相関因⼦を調査する LLM Agentの仕組み(ざっくり) プログラムの実⾏ ファイルの 読込み・書込み WEBブラウジング

Slide 14

Slide 14 text

2. LLM Agent ※プロンプトを説明⽤に簡略化したものです。実際のプロンプトとは⼤幅に異なります。 ⾏動 Act タスク作成・管理 Task creation/prioritization 推論 Reasoning ループ 【プロンプト】  あなたの⽬的はAppleの株価レポートを作成することです。  ⽬的を達成するためのタスクリストを以下の形式で出⼒してください。   1. 最初のタスク   2. ⼆番⽬のタスク … 【プロンプト】 あなたのタスクはAppleの直近3年の株価を調査することです。 あなたは以下のツールが使えます。   [Google検索]インターネット上の情報を検索できる  [DB検索] データベースの検索ができる  [電卓] 数値計算ができる タスクを実⾏するためにあなたが何をすべきか、以下の形式で出⼒してください。  Thought: <タスク遂⾏のために考えたこと>   Action:<あなたがとるべきアクション>   Input:<アクションの⼊⼒値>   Thought:株価データを⼊⼿するためにまずは 
       信頼性の⾼いソースを⾒つける必要がある Action: Google検索 Input: 「Apple, 株価, 2020年以降」 LLM Agentの仕組み(ざっくり) プログラムの実⾏ ファイルの 読込み・書込み WEBブラウジング タスク1. Appleの株価データを収集する タスク2. Appleの株価データを分析する タスク3. Appleの株価に関する相関因⼦を調査する

Slide 15

Slide 15 text

2. LLM Agent ※プロンプトを説明⽤に簡略化したものです。実際のプロンプトとは⼤幅に異なります。 ⾏動 Act タスク作成・管理 Task creation/prioritization 推論 Reasoning ループ 【プロンプト】  あなたの⽬的はAppleの株価レポートを作成することです。  ⽬的を達成するためのタスクリストを以下の形式で出⼒してください。   1. 最初のタスク   2. ⼆番⽬のタスク … 【プロンプト】 あなたのタスクはAppleの直近3年の株価を調査することです。 あなたは以下のツールが使えます。   [Google検索]インターネット上の情報を検索できる  [DB検索] データベースの検索ができる  [電卓] 数値計算ができる タスクを実⾏するためにあなたが何をすべきか、以下の形式で出⼒してください。  Thought: <タスク遂⾏のために考えたこと>   Action:<あなたがとるべきアクション>   Input:<アクションの⼊⼒値>   LLM Agentの仕組み(ざっくり) プログラムの実⾏ ファイルの 読込み・書込み WEBブラウジング 検索APIを使⽤ Thought:株価データを⼊⼿するためにまずは 
       信頼性の⾼いソースを⾒つける必要がある Action: Google検索 Input: 「Apple, 株価, 2020年以降」 タスク1. Appleの株価データを収集する タスク2. Appleの株価データを分析する タスク3. Appleの株価に関する相関因⼦を調査する

Slide 16

Slide 16 text

03 データ分析エージェントを作ってみた

Slide 17

Slide 17 text

DEMO 3. 作ってみた:データ分析エージェント 全⾃動データ分析エージェント テスト環境 (https://analytics.penguins-lab.com/) ・LangChainとGPT-3.5-Turboで実装 ・CSV/XLSXデータをドラッグアンドドロップ ・データの内容をもとに、LLMが分析⼿順をプランニング ・データの前処理/分析/可視化を勝⼿に実施 ・放置しておくと数分で分析レポートの出来上がり

Slide 18

Slide 18 text

3. 作ってみた:データ分析エージェント 仕組み データを 読み込み 基本統計量 を出す データの 外観を把握 分析プラン ⽴てる 分析⽤の コード組⽴ コード実⾏ エラー出たら コード修正 分析結果の レポート化 ×N回 レポートの ⽂章校正 分析結果の 解釈

Slide 19

Slide 19 text

3. 作ってみた:データ分析エージェント 3. 作ってみた:データ分析エージェント Good LLMで推論を繰り返し続けるので コストが⾼い ⼀度推論ミスが発⽣すると 失敗が連鎖する(Snowball) “よしなにやってくれる”ので 利⽤ハードルが低い More LLMベースのレポート作成ツールは 多⾔語対応が容易

Slide 20

Slide 20 text

04 エージェントが顧客体験を どう変えていくか? \エージェントを作りながら考えました∕

Slide 21

Slide 21 text

ର࿩ LLM利⽤のハードルが 更に下がる エージェントが実⽤化した “⼀歩先” の未来で起きそうなこと 4. エージェントが顧客体験をどう変えていくか? ର࿩ 「利⽤者」は ⼈間のみにあらず 02 01

Slide 22

Slide 22 text

ର࿩ LLM利⽤のハードルが 更に下がる エージェントが実⽤化した “⼀歩先” の未来で起きそうなこと 4. エージェントが顧客体験をどう変えていくか? ର࿩ 「利⽤者」は ⼈間のみにあらず 02 01

Slide 23

Slide 23 text

開発経緯 もともと、ChatGPTのような対話型データ分析ツールを開発していた 「〇〇の中央値を表にまとめて」 「□□と△の相関係数とp値を出して」 4. エージェントが顧客体験をどう変えていくか?

Slide 24

Slide 24 text

開発経緯 もともと、ChatGPTのような対話型データ分析ツールを開発していた ↓ 「統計⽤語が分からないので、何を指⽰すればいいのか…」 「そもそもどんな分析をすべきかの判断が難しい」 など、ユーザテストではズタボロ 「〇〇の中央値を表にまとめて」 「□□と△の相関係数とp値を出して」 4. エージェントが顧客体験をどう変えていくか?

Slide 25

Slide 25 text

仮説 チャット型 ドメインへの理解が 質問を⾏うユーザには求められる ドメイン知識のない初⼼者でも ⼿軽にそれっぽい結果を得られる エージェント型 4. エージェントが顧客体験をどう変えていくか?

Slide 26

Slide 26 text

仮説 チャット型 ドメインへの理解が 質問を⾏うユーザには求められる ドメイン知識のない初⼼者でも それっぽい結果を得られる エージェント型 4. エージェントが顧客体験をどう変えていくか? エージェントは LLMの利⽤ハードルを更に下げる 新たなユーザインターフェースになる?

Slide 27

Slide 27 text

Googleが2019年に発表した AIプロダクト向けのUXデザインガイド 「People + AI Guidebook」を ご存知でしょうか? ちなみに… 4. エージェントが顧客体験をどう変えていくか? IUUQTQBJSXJUIHPPHMFDPNHVJEFCPPLDIBQUFST

Slide 28

Slide 28 text

Automation vs Augmentation 4. エージェントが顧客体験をどう変えていくか? 「People + AI Guidebook」によれば、AIアプリケーションには2つの⽅向性がある 拡張 Augument ユーザの能⼒や可能性を 維持して強化すること ⾃動化 Automate ユーザの関与なしに タスクを実⾏すること

Slide 29

Slide 29 text

仮説 4. エージェントが顧客体験をどう変えていくか? B2BのLLMプロダクトでは「誰の業務を/⾃動化 or 拡張するのか」がキモになる? 拡張 ⾃動化 初⼼者向け 中級者向け 熟練者向け ★ チャット型分析ツール ★ ⾃動分析エージェント

Slide 30

Slide 30 text

ର࿩ LLM利⽤のハードルが 更に下がる エージェントが実⽤化した “⼀歩先” の未来で起きそうなこと 4. エージェントが顧客体験をどう変えていくか? ର࿩ 「利⽤者」は ⼈間のみにあらず 02 01

Slide 31

Slide 31 text

AIが⼈のかわりにコンピュータを操作する未来は近い? ⾃然⾔語で 指定したWebAPIを操作 ChatGPT Plugin Agent ファイル操作や プログラムの実⾏ Web Browsing ChatGPT/perplexityなど… WEBコンテンツを 抽出・要約 4. エージェントが顧客体験をどう変えていくか?

Slide 32

Slide 32 text

ର࿩ 4. エージェントが顧客体験をどう変えていくか? ର࿩ 例)カラム名に単位が付与されていると分析が成功しやすくなる 例)カラム説明があると、結果の解釈で誤りが発⽣しづらくなる CSVデータ 例)セマンティックにマークアップされている⽅が要約しやすい 例)コンテンツが複数ページに跨がらない⽅が要約しやすい WEBサイト

Slide 33

Slide 33 text

ର࿩ 4. エージェントが顧客体験をどう変えていくか? ର࿩ 例)カラム名に単位が付与されていると分析が成功しやすくなる 例)変数の説明があると、結果の解釈で誤りが発⽣しづらくなる CSVデータ 例)セマンティックにマークアップされている⽅が要約しやすい 例)コンテンツが複数ページに跨がらない⽅が要約しやすい WEBサイト アウトプットの品質に インプットの”AI可読性”が影響する 「サービス利⽤者としてのAI」にとって フレンドリーなつくりが求められるかも

Slide 34

Slide 34 text

ର࿩ LLM利⽤のハードルが 更に下がる エージェントが実⽤化した “⼀歩先” の未来で起きそうなこと 4. エージェントが顧客体験をどう変えていくか? ର࿩ 「利⽤者」は ⼈間のみにあらず 02 01

Slide 35

Slide 35 text

LLM Agent は めっちゃ楽しいので みんな作ろう🤗 さいごに⾔いたいこと