全自動でデータ分析してくれるAIエージェントを作った

2023/05/18 LLM Meetup Tokyo #2でのLT資料です。
動画は以下のURLからご覧いただけます！
https://twitter.com/Penguins_Lab/status/1639827880879472640

Transcript

1. 2023.05.18
   @dory111111
   全⾃動でデータ分析してくれる
   AIエージェントを作った
   LLM Meetup Tokyo #2
   

   View Slide

2. 01
   ⾃⼰紹介
   

   View Slide

3. 1. ⾃⼰紹介
   ର࿩
   Ի੠ର࿩ϩϘοτͷ3%
   お前は誰なの
   ৺ཧֶɾݴޠֶ
   ௨৴ձࣾͰࣾ಺ϕϯνϟʔ
   (PPEQBUDIͰίϯαϧɾηʔϧε
   

   View Slide

4. やっていること
   1. ⾃⼰紹介
   AI Agent×データ分析
   ⼈間の記憶のしくみを模倣した
   エージェント向けフレームワーク
   全⾃動でデータ分析レポートを
   作ってくれるアプリ
   Noteなど
   Agent / LLM / UXを中⼼に
   発信してます！
   

   View Slide

5. 02
   LLM Based Agent
   

   View Slide

6. LLM Based Agentは
   めっちゃ楽しいので
   みんな作ろう🤗
   ⾔いたいこと
   

   View Slide

7. 2. LLM Based Agent
   LLM Based Agent
   ・⼈間が与えた⽬標をもとに
   

    ⾃律的に⾏動を選択する
   ・検索やファイル操作など
   

    状況に応じて外部ツールを使う
   ・実⾏結果やエラーの内容をもとに
   

    ⾃⾝で⾏動を修正する
   ※https://beta.nando.ai/
   

   View Slide

8. 2. LLM Based Agent
   AutoGPTを⽪切りに、約1ヶ⽉でAgentが爆裂なスピードで続々登場
   OSS WEBサービス
   ・・・
   

   View Slide

9. 「AutoGPTとか使ってみたけど
   エージェントは実利⽤にはまだ早いんじゃ？」
   ↓
   特定のユースケースに特化すれば
   ある程度実⽤に耐えうる説
   2. LLM Based Agent
   

   View Slide

10. 03
    作ってみた：
    データ分析エージェント
    

    View Slide

11. DEMO
    3. 作ってみた：データ分析エージェント
    全⾃動データ分析エージェント
    テスト環境
    （https://analytics.penguins-lab.com/）
    ・CSV/XLSXデータをドラッグアンドドロップ
    ・データの内容をもとに、LLMで分析⼿順をプランニング
    ・データの前処理/分析/可視化を勝⼿に実施
    ・放置しておくと数分で分析レポートの出来上がり
    ※動画はこちら
    

    View Slide

12. 3. 作ってみた：データ分析エージェント
    仕組み
    データを
    読み込み
    基本統計量
    を出す
    データの
    外観を把握
    分析プラン
    ⽴てる
    分析⽤の
    コード組⽴
    コード実⾏
    エラー出たら
    コード修正
    分析結果の
    レポート化
    ×N回
    レポートの
    ⽂章校正
    分析結果の
    解釈
    

    View Slide

13. 3. 作ってみた：データ分析エージェント
    開発経緯
    「そもそもどう分析すればいいかわからない」
    「何を指⽰すればいいかわからなくて使いづらい」
    をユーザテストしたところ…
    チャット型データ分析ツール
    

    View Slide

14. 3. 作ってみた：データ分析エージェント
    開発経緯
    をユーザテストしたところ…
    チャット型データ分析ツール
    ドメイン知識が無くてもそれっぽい
    結果から⽰唆を得られる
    「そもそもどう分析すればいいかわからない」
    「何を指⽰すればいいかわからなくて使いづらい」
    エージェント型 全⾃動分析ツール
    

    View Slide

15. 3. 作ってみた：データ分析エージェント
    仮説
    チャット型データ分析ツール
    ドメイン知識が無くてもそれっぽい
    結果から⽰唆を得られる
    「そもそもどう分析すればいいかわからない」
    「何を指⽰すればいいかわからなくて使いづらい」
    中級者〜プロ向け
    ユースケースに
    適しているかも？
    ドメイン知識のない
    初⼼者向け
    ユースケースに
    適しているかも？
    エージェント型 全⾃動分析ツール
    

    View Slide

16. ˜1FOHVJOT-BC--$
    ˜1FOHVJOT-BC--$
    3. 作ってみた：データ分析エージェント
    3. 作ってみた：データ分析エージェント
    とはいえエージェントには、実⽤化に向けた課題もまだまだ…
    ର࿩
    LLMで推論を繰り返しまくるので
    コストが⾼い
    GPT-3.5-Turboで1レポートあたり〜10円
    GPT-4だと〜100円くらい
    ର࿩
    LLMで推論を繰り返しまくるので
    待ち時間が⻑い
    GPT-3.5-Turboで〜8分
    GPT-4だと更に待つ
    ˠ3F"DU͕ಈ࡞͢ΔܰྔɾϛχϚϧͳϩʔΧϧ--.͕଴ͪ๬·ΕΔ
    

    View Slide

17. LLM Based Agentは
    めっちゃ楽しいので
    みんな作ろう🤗
    さいごに⾔いたいこと
    

    View Slide