ChatGPTとPythonを用いた 高速なデータ可視化プロトタイピング

Transcript

1. ChatGPTとPythonを用いた 高速なデータ可視化プロトタイピング
2. 自己紹介 稲垣 隆徳 Twitter: @ingtk8 Github: ingtk データ可視化サービスチームのテックリード バックエンドエンジニア歴:12年ほど。最近ではデータ基盤、フロントエンドもやります。
3. 今日話すこと • バックエンドエンジニアのプロトタイピングへの関わり方 ◦ なぜプロトタイピングをやるのか ◦ プロトタイピングの課題 • データ可視化アプリケーションを爆速で作る
4. なぜプロトタイピングをやるか: アイデアの可視化 1. システムの初期モデルをつくる（草案とも言える製品の概念を具体化する） 2. 設計の問題を明らかにする。UIの特定の要素が直感的でない、期待通りに動作し ない場合、これらの問題はプロトタイピングの段階で発見され、修正することができ る。 3. 開発チームがクライアントの要件をより深く理解する。具体的なプロダクトを通して、 クライアントや関係者とコミュニケーションをとる機会を得る。
5. なぜプロトタイピングをやるか: 製品開発リスクの低減 • 技術的リスクの低減: 技術的な課題や障壁を早期に発見し、開発の遅延や市場投 入の遅れを防ぐ • スケジュールおよび予算リスクの低減: 必要な時間やリソースをより正確に見積も り、スケジュールの遅れや予算超過を防ぐ
6. プロトタイピングの課題 • 適切な粒度の把握 ◦ 具体的すぎると、細部に捉われ進行速度が遅くなる ◦ 抽象的すぎると、重要な詳細を見落とし実装が現実的でなくなる ◦ 目的と範囲、リソース、期限等を考慮し、プロトタイピングのゴールを適切な粒度に定める • 時間とリソース ◦ プロトタイピングは時間とリソースを必要とする ◦ プロトタイピングのゴールを明確化と、最短で達成するためのツール選定が重要。 ◦ 短期的には課題となるが、長期的にはプロトタイピングにおける恩恵の方が大きい。
7. プロトタイピングの実践例（テーマ） • 弊社で開催された LLM アイデアソン(Chat GPT を既存のプロダクトに応用する )
8. プロトタイピングの実践例（デモ） • 170 行くらいのコード（プロンプトが 50 行） • 開発に使った時間は4時間ほど
9. ポイント • Why ◦ 実際に今携わっているプロダクトに活かせるものを作る（製品開発リスクの低減） ◦ 実現可能性を示すことで、アイデアソンで優位性を築く（アイデアの具体化） • 課題 ◦ 期間が 1 週間しかなかったため、最短で実現可能性を示さないといけない（時間とリソース）
10. ゴールの明確化 検証したいこと • ChatGPT が、入力に応じた適切な SQL を生成することができるかどうか ◦ 適切なプロンプトを考える • 指示の入力〜可視化までを表現することで参加者に実現可能性をわかりやすく示 したい ◦ 可視化・集計の手段は本質ではないので、なるべくコストをかけずに表現したい
11. 技術選定 • 可視化・集計の手段は本質ではないので、なるべくコストをかけずに表現したい • 集計・可視化をローコストでやるなら、Python は有力 ◦ データサイエンス関連の豊富なライブラリ ◦ pandas / matplotlib / seaborn / Streamlit ...
12. Streamlitとは • Python を用いた高速な Web アプリケーション作成を可能にするライブラリ ◦ データサイエンス関連ライブラリとの親和性の高さ • 直感的な API で、GUI やデータ可視化が非常に簡単に実現できる • ホットリローディング
13. プロトタイピングのスコープ 1. ユーザからの入力を受け付けることができる（UI） 2. 適切なプロンプト作成することができる（バックエンド） 3. ChatAPIからSQLを取得することができる（バックエンド） 4. SQLの実行結果を可視化することができる（UI）
14. テキストエリアを配置する
15. テキストエリアの配置 こんな感じで表示される
16. プロンプト作成 • 入力「部署ごとの人数だして」→ 当然出してくれない • 要求や与えることができる情報をなるべく正確に伝える ◦ 使用しているデータベース、テーブル定義 ◦ 項目の対応表 ◦ 固有項目定義 ◦ 期待するアウトプット
17. データベース情報とテーブル定義を伝える
18. 項目の対応表を伝える CREATE文は列名が英語なので、日本語との対応表を渡してあげる
19. 個別項目定義を伝える この定義を教えることによって、「部署ごとのリーダー数だして」とか、テナントごとに定義 がことなる項目を含む指示をChatGPTが理解してくれる
20. 期待するアウトプットを伝える ユーザの指示を含める。また、SQLで記述することを伝える。 SQL以外の情報はすべて〜の部分が重要でこの一文がないと、出力したSQLの解説を しはじめる
21. dataframeをテーブルとして表示 これだけ
22. dataframeを表示
23. グラフを表示 seaborn（データフレームを可視化するライブラリ）を使ってグラフを描画する。 dataframeにSQL実行結果の値が入っていれば、これだけ。
24. グラフを表示 簡単✌
25. まとめ • プロトタイピングは製品開発リスクの低減、アイデア具現化の重要な手段。 • 適切なゴールの設定と、ツール選定による時間とリソースを節約し、最短で目的を 達成することができる
26. サンプルコード • https://github.com/ingtk/autosql
27. ご清聴ありがとうございました