全自動でデータ分析してくれるAIエージェントを作った

2023/05/18 LLM Meetup Tokyo #2でのLT資料です。
動画は以下のURLからご覧いただけます！
https://twitter.com/Penguins_Lab/status/1639827880879472640

Transcript

1. 2023.05.18 @dory111111 全⾃動でデータ分析してくれる AIエージェントを作った LLM Meetup Tokyo #2
2. 01 ⾃⼰紹介
3. 1. ⾃⼰紹介 ର࿩ Ի੠ର࿩ϩϘοτͷ3% お前は誰なの ৺ཧֶɾݴޠֶ ௨৴ձࣾͰࣾ಺ϕϯνϟʔ (PPEQBUDIͰίϯαϧɾηʔϧε
4. やっていること 1. ⾃⼰紹介 AI Agent×データ分析 ⼈間の記憶のしくみを模倣した エージェント向けフレームワーク 全⾃動でデータ分析レポートを 作ってくれるアプリ Noteなど Agent / LLM / UXを中⼼に 発信してます！
5. 02 LLM Based Agent
6. LLM Based Agentは めっちゃ楽しいので みんな作ろう🤗 ⾔いたいこと
7. 2. LLM Based Agent LLM Based Agent ・⼈間が与えた⽬標をもとに 
  ⾃律的に⾏動を選択する ・検索やファイル操作など 
  状況に応じて外部ツールを使う ・実⾏結果やエラーの内容をもとに 
  ⾃⾝で⾏動を修正する ※https://beta.nando.ai/
8. 2. LLM Based Agent AutoGPTを⽪切りに、約1ヶ⽉でAgentが爆裂なスピードで続々登場 OSS WEBサービス ・・・
9. 「AutoGPTとか使ってみたけど エージェントは実利⽤にはまだ早いんじゃ？」 ↓ 特定のユースケースに特化すれば ある程度実⽤に耐えうる説 2. LLM Based Agent
10. 03 作ってみた： データ分析エージェント
11. DEMO 3. 作ってみた：データ分析エージェント 全⾃動データ分析エージェント テスト環境 （https://analytics.penguins-lab.com/） ・CSV/XLSXデータをドラッグアンドドロップ ・データの内容をもとに、LLMで分析⼿順をプランニング ・データの前処理/分析/可視化を勝⼿に実施 ・放置しておくと数分で分析レポートの出来上がり ※動画はこちら
12. 3. 作ってみた：データ分析エージェント 仕組み データを 読み込み 基本統計量 を出す データの 外観を把握 分析プラン ⽴てる 分析⽤の コード組⽴ コード実⾏ エラー出たら コード修正 分析結果の レポート化 ×N回 レポートの ⽂章校正 分析結果の 解釈
13. 3. 作ってみた：データ分析エージェント 開発経緯 「そもそもどう分析すればいいかわからない」 「何を指⽰すればいいかわからなくて使いづらい」 をユーザテストしたところ… チャット型データ分析ツール
14. 3. 作ってみた：データ分析エージェント 開発経緯 をユーザテストしたところ… チャット型データ分析ツール ドメイン知識が無くてもそれっぽい 結果から⽰唆を得られる 「そもそもどう分析すればいいかわからない」 「何を指⽰すればいいかわからなくて使いづらい」 エージェント型 全⾃動分析ツール
15. 3. 作ってみた：データ分析エージェント 仮説 チャット型データ分析ツール ドメイン知識が無くてもそれっぽい 結果から⽰唆を得られる 「そもそもどう分析すればいいかわからない」 「何を指⽰すればいいかわからなくて使いづらい」 中級者〜プロ向け ユースケースに 適しているかも？ ドメイン知識のない 初⼼者向け ユースケースに 適しているかも？ エージェント型 全⾃動分析ツール
16. ˜
    1FOHVJOT-BC
    --$ ˜
    1FOHVJOT-BC
    --$ 3. 作ってみた：データ分析エージェント 3. 作ってみた：データ分析エージェント とはいえエージェントには、実⽤化に向けた課題もまだまだ… ର࿩ LLMで推論を繰り返しまくるので コストが⾼い GPT-3.5-Turboで1レポートあたり〜10円 GPT-4だと〜100円くらい ର࿩ LLMで推論を繰り返しまくるので 待ち時間が⻑い GPT-3.5-Turboで〜8分 GPT-4だと更に待つ ˠ3F"DU͕ಈ࡞͢ΔܰྔɾϛχϚϧͳϩʔΧϧ--.͕଴ͪ๬·ΕΔ
17. LLM Based Agentは めっちゃ楽しいので みんな作ろう🤗 さいごに⾔いたいこと