ChatGPTとの会話のデータ分析: 開発対話を最適化するための指針と特性

【第二回】ChatGPT選手権！エンジニアリングに組み込んでみましたLT大会
登壇資料

会話データ全文: https://docs.google.com/spreadsheets/d/1s3bmzagkMvyK4bBOQgwx3wLRQTDS0jqKRG6AzvVK31g/edit?usp=sharing

ペアプロで作ったプロダクトのコード:
https://github.com/zerebom/gpt-pdf-summarizer

ペアプロ時の所感をまとめた記事:https://zenn.dev/zerebom/articles/1ffd51da420c9e

twitter: https://twitter.com/zerebom_3

Transcript

1. © 2023 Wantedly, Inc.
   ChatGPTとの会話のデータ分析:
   開発対話を最適化するための指針と特性
   #【第二回】ChatGPT選手権！エンジニアリングに組み込んでみました LT大会
   Apr. 4 2023 - Kokoro Higuchi(@zerebom_3)
   

   View Slide

2. © 2023 Wantedly, Inc.
   自己紹介
   ● 樋口 心(Higuchi Kokoro)
   ● Data Scientist @Wantedly
   ○ 推薦システムの設計・実装・評価
   ● 趣味: 🎾🏂󰞵🍻🎮
   ● Twitter: @zerebom_3
   ● GitHub: @zerebom
   

   View Slide

3. © 2023 Wantedly, Inc.
   本日はなすこと
   ● ChatGPTとの会話データの分析・可視化をする
   ● 分析を通じて、ChatGPTとの効果的な対話の指針や
   特性を把握する
   

   View Slide

4. © 2023 Wantedly, Inc.
   背景: ChatGPTとの個人開発の経験
   ● ChatGPT-4とペアプロし
   PDF要約＆Q&Aサービス開発
   ● ペアプロが効率的 & そうでない部
   分も
   ● どんな会話をするのが効率的か
   示唆を得たい
   ● → 会話データを分析してみる https://zenn.dev/zerebom/articles/1ffd51da420c9e
   

   View Slide

5. © 2023 Wantedly, Inc.
   手法
   

   View Slide

6. © 2023 Wantedly, Inc.
   会話データの分析・可視化への取り組み
   ● ペアプロ時のChatGPTへの質問データ(125件)を加工
   ● 質問からカテゴリ・サブカテゴリを抽出し可視化
   ● カテゴリの種類の提案も、質問のカテゴリ分けもChatGPTに
   依頼
   

   View Slide

7. © 2023 Wantedly, Inc.
   ChatGPTを使った質問文の前処理
   ● カテゴリの種類の提案
   ○ 要約済みの全質問を与え、MECEなカテゴリを作ってもらう
   ○ 良さそうな案を少し手直しして計8種に
   (インフラ・デプロイメント/プロダクト開発・要件定義...)
   ● 質問文のカテゴリ・サブカテゴリ分類
   ○ 各質問にカテゴリ(全8種), サブカテゴリ(自由記述)を
   付与
   

   View Slide

8. © 2023 Wantedly, Inc.
   ChatGPTを使った質問文の前処理
   質問文
   カテゴリ
   サブカテゴリ
   ChatGPT
   

   View Slide

9. © 2023 Wantedly, Inc.
   カテゴリ分類の具体例
   このプロダクトをstreamlitで作ろうとしたら
   どのようなコンポーネントが必要になるでしょうか。
   → カテゴリ: フレームワーク・ライブラリ
   → サブカテゴリ: streamlit components
   

   View Slide

10. © 2023 Wantedly, Inc.
    結果
    

    View Slide

11. © 2023 Wantedly, Inc.
    可視化1: メインカテゴリの時系列遷移
    開発全体を通じて、どのようなカテゴリに、
    どのような順序で質問しているかを掴む
    

    View Slide

12. © 2023 Wantedly, Inc.
    可視化1: メインカテゴリの時系列遷移
    開発
    開始
    開発
    終了
    

    View Slide

13. © 2023 Wantedly, Inc.
    可視化1: メインカテゴリの時系列遷移
    開発
    開始
    開発
    終了
    開発序盤では要件定義など、
    探索的な会話
    

    View Slide

14. © 2023 Wantedly, Inc.
    可視化1: メインカテゴリの時系列遷移
    開発
    開始
    開発
    終了
    開発中盤はデバッグ等
    詳細な会話が長く続く
    

    View Slide

15. © 2023 Wantedly, Inc.
    可視化1: メインカテゴリの時系列遷移
    開発
    開始
    開発
    終了
    終盤はアウトプットに焦点を当
    てた会話へとシフト
    

    View Slide

16. © 2023 Wantedly, Inc.
    可視化2: サブカテゴリ内の頻出単語の可視化
    サブカテゴリ内の頻出単語を可視化
    どのような質問を多くしているか、具体的に理解する
    

    View Slide

17. © 2023 Wantedly, Inc.
    可視化2: 頻出サブカテゴリの可視化
    

    View Slide

18. © 2023 Wantedly, Inc.
    可視化2: 頻出サブカテゴリの可視化
    ライブラリ(FastAPI, Streamlit)や
    Dockerなど、具体的なツールに
    関する質問が多い
    

    View Slide

19. © 2023 Wantedly, Inc.
    まとめ
    ● データ分析結果
    ○ 開発進行に伴い、探索的な会話→実装詳細→アウトプットとシフト
    ○ 具体的なツールに関する質問回数が多い
    ● 考察・所感
    ○ 開発環境/コードなど精緻な事前情報が必要な質問で良い回答を得るのには時間
    がかかる
    ○ 探索的な情報や情報のフォーマット変更に関する依頼は容易な印象
    ● 気づき
    ○ GPTによる情報抽出の有用さ
    (長文20件のカテゴリ付けが、並列処理で1分&0.1ドル以下で可能)
    

    View Slide

20. © 2023 Wantedly, Inc.
    付録
    会話データ全文:
    https://docs.google.com/spreadsheets/d/1s3bmzagkMvyK4bBOQgwx3wLR
    QTDS0jqKRG6AzvVK31g/edit?usp=sharing
    ペアプロで作ったプロダクトのコード:
    https://github.com/zerebom/gpt-pdf-summarizer
    ペアプロ時の所感をまとめた記
    事:https://zenn.dev/zerebom/articles/1ffd51da420c9e
    

    View Slide