ChatGPTとの会話のデータ分析: 開発対話を最適化するための指針と特性

【第二回】ChatGPT選手権！エンジニアリングに組み込んでみましたLT大会
登壇資料

会話データ全文: https://docs.google.com/spreadsheets/d/1s3bmzagkMvyK4bBOQgwx3wLRQTDS0jqKRG6AzvVK31g/edit?usp=sharing

ペアプロで作ったプロダクトのコード:
https://github.com/zerebom/gpt-pdf-summarizer

ペアプロ時の所感をまとめた記事:https://zenn.dev/zerebom/articles/1ffd51da420c9e

twitter: https://twitter.com/zerebom_3

Transcript

1. © 2023 Wantedly, Inc. ChatGPTとの会話のデータ分析: 開発対話を最適化するための指針と特性 #【第二回】ChatGPT選手権！エンジニアリングに組み込んでみました LT大会 Apr. 4 2023 - Kokoro Higuchi(@zerebom_3)
2. © 2023 Wantedly, Inc. 自己紹介 • 樋口 心(Higuchi Kokoro) • Data Scientist @Wantedly ◦ 推薦システムの設計・実装・評価 • 趣味: 🎾🏂󰞵🍻🎮 • Twitter: @zerebom_3 • GitHub: @zerebom
3. © 2023 Wantedly, Inc. 本日はなすこと • ChatGPTとの会話データの分析・可視化をする • 分析を通じて、ChatGPTとの効果的な対話の指針や 特性を把握する
4. © 2023 Wantedly, Inc. 背景: ChatGPTとの個人開発の経験 • ChatGPT-4とペアプロし PDF要約＆Q&Aサービス開発 • ペアプロが効率的 & そうでない部 分も • どんな会話をするのが効率的か 示唆を得たい • → 会話データを分析してみる https://zenn.dev/zerebom/articles/1ffd51da420c9e
5. © 2023 Wantedly, Inc. 手法
6. © 2023 Wantedly, Inc. 会話データの分析・可視化への取り組み • ペアプロ時のChatGPTへの質問データ(125件)を加工 • 質問からカテゴリ・サブカテゴリを抽出し可視化 • カテゴリの種類の提案も、質問のカテゴリ分けもChatGPTに 依頼
7. © 2023 Wantedly, Inc. ChatGPTを使った質問文の前処理 • カテゴリの種類の提案 ◦ 要約済みの全質問を与え、MECEなカテゴリを作ってもらう ◦ 良さそうな案を少し手直しして計8種に (インフラ・デプロイメント/プロダクト開発・要件定義...) • 質問文のカテゴリ・サブカテゴリ分類 ◦ 各質問にカテゴリ(全8種), サブカテゴリ(自由記述)を 付与
8. © 2023 Wantedly, Inc. ChatGPTを使った質問文の前処理 質問文 カテゴリ サブカテゴリ ChatGPT
9. © 2023 Wantedly, Inc. カテゴリ分類の具体例 このプロダクトをstreamlitで作ろうとしたら どのようなコンポーネントが必要になるでしょうか。 → カテゴリ: フレームワーク・ライブラリ → サブカテゴリ: streamlit components
10. © 2023 Wantedly, Inc. 結果
11. © 2023 Wantedly, Inc. 可視化1: メインカテゴリの時系列遷移 開発全体を通じて、どのようなカテゴリに、 どのような順序で質問しているかを掴む
12. © 2023 Wantedly, Inc. 可視化1: メインカテゴリの時系列遷移 開発 開始 開発 終了
13. © 2023 Wantedly, Inc. 可視化1: メインカテゴリの時系列遷移 開発 開始 開発 終了 開発序盤では要件定義など、 探索的な会話
14. © 2023 Wantedly, Inc. 可視化1: メインカテゴリの時系列遷移 開発 開始 開発 終了 開発中盤はデバッグ等 詳細な会話が長く続く
15. © 2023 Wantedly, Inc. 可視化1: メインカテゴリの時系列遷移 開発 開始 開発 終了 終盤はアウトプットに焦点を当 てた会話へとシフト
16. © 2023 Wantedly, Inc. 可視化2: サブカテゴリ内の頻出単語の可視化 サブカテゴリ内の頻出単語を可視化 どのような質問を多くしているか、具体的に理解する
17. © 2023 Wantedly, Inc. 可視化2: 頻出サブカテゴリの可視化
18. © 2023 Wantedly, Inc. 可視化2: 頻出サブカテゴリの可視化 ライブラリ(FastAPI, Streamlit)や Dockerなど、具体的なツールに 関する質問が多い
19. © 2023 Wantedly, Inc. まとめ • データ分析結果 ◦ 開発進行に伴い、探索的な会話→実装詳細→アウトプットとシフト ◦ 具体的なツールに関する質問回数が多い • 考察・所感 ◦ 開発環境/コードなど精緻な事前情報が必要な質問で良い回答を得るのには時間 がかかる ◦ 探索的な情報や情報のフォーマット変更に関する依頼は容易な印象 • 気づき ◦ GPTによる情報抽出の有用さ (長文20件のカテゴリ付けが、並列処理で1分&0.1ドル以下で可能)
20. © 2023 Wantedly, Inc. 付録 会話データ全文: https://docs.google.com/spreadsheets/d/1s3bmzagkMvyK4bBOQgwx3wLR QTDS0jqKRG6AzvVK31g/edit?usp=sharing ペアプロで作ったプロダクトのコード: https://github.com/zerebom/gpt-pdf-summarizer ペアプロ時の所感をまとめた記 事:https://zenn.dev/zerebom/articles/1ffd51da420c9e