20240418_Google ColabにLLMが搭載されたようなのでPython x データ分析の勉強方法を考えてみる

https://pydatafukuoka.connpass.com/event/312982/

Transcript

1. Google ColabにLLMが 搭載されたようなので Python x データ分析の 勉強⽅法を考えてみる 2024/4/18 @doradora09
2. ⾃⼰紹介 • ⼤城 信晃(@doradora09) • データサイエンティスト • NOB DATA(株)代表 • PyData.Fukuokaの主催者 • 最近はもっぱら⽣成AI活⽤ を模索中
3. 本⽇の⾻⼦ • Google Colabにコード⽣成⽀援のLLMが搭載(期間限定で無 料)されたのでそちらも触りつつ、「⽣成AI時代の学習⽅法」に ついて • ただし、プログラミング以外のタスク、例えば学習のカリキュ ラム作成やデータの解釈性能はChatGPT-4(有料版)の⽅が良 かったりするので、そちらも使いつつ
4. ⽣成AI時代の学習⽅法 • 「⾃分でLLMを使って学習 カリキュラムを作る」ことが 可能 • ChatGPT部の原⽥さんの記事 なども参考になります • 「分析アプローチ⽅法の相 談」「コード⽣成」「エラー 相談」も可能 • ただ、実⽤上はちゃんと⼿で 覚えないとまだまだ現場では 使えないので注意 原⽥さんの記事 https://note.com/chatgpt_nobdata/n/n63d730f93f44
5. ①カリキュラムの⽣成 • ①カリキュラムの⽣成 -> やりたいことを伝える -> こちらのレベルを伝える -> 何をしたら良いか聞く -> カリキュラムを作ってもらう • ②個別トピックの深掘り -> 講義概要を作ってもらう -> 演習問題を作ってもらう -> コード付きで解説してもらう • ③Google Colabで動かしてみる • 分からないところを質問してみる • ④演習問題の回答をレビューしてもらう ChatGPT-4のログ： https://chat.openai.com/share/0e6d1545-272b-4300- 9b96-e838d12a08f0
6. ①カリキュラムの⽣成
7. ②個別トピックの深掘り • ①カリキュラムの⽣成 -> やりたいことを伝える -> こちらのレベルを伝える -> 何をしたら良いか聞く -> カリキュラムを作ってもらう • ②個別トピックの深掘り -> 講義概要を作ってもらう -> 演習問題を作ってもらう -> コード付きで解説してもらう • ③Google Colabで動かしてみる • 分からないところを質問してみる • ④演習問題の回答をレビューしてもらう
8. ②個別トピックの深掘り
9. ②個別トピックの深掘り
10. ②個別トピックの深掘り
11. ②個別トピックの深掘り
12. ③Google Colabで動かしてみる AIでのコード⽣成機能も 期間限定で無料利⽤可能 • ①カリキュラムの⽣成 -> やりたいことを伝える -> こちらのレベルを伝える -> 何をしたら良いか聞く -> カリキュラムを作ってもらう • ②個別トピックの深掘り -> 講義概要を作ってもらう -> 演習問題を作ってもらう -> コード付きで解説してもらう • ③Google Colabで動かしてみる • 分からないところを質問してみる • ④演習問題の回答をレビューしてもらう
13. • 問題に利⽤するファイルは適宜 driveにアップロード(r3.1.xlsx) • 今回の交通事故データはこちらの オープンデータ • 福岡県オープンデータ 2021 交通事故（1⽉発⽣） • https://data.bodik.jp/datase t/401000_2021koutauujiko_t sukibetsu/resource/e551a7e c-6bd7-40ed-aa1a- bfea76df23c5 • Driveに接続しないでテンポラリ的 にファイルを設置することも可能 ( Colabのランタイムが切れると データ消失 ) ③Google Colabで動かしてみる
14. • ファイルパスのみ修正。 (この辺りは最低限のIT知識は必要) • 最初はコピペも良いですが、写経 するのも良いと思います。(⼿で覚 える) ③Google Colabで動かしてみる
15. Tips : プロット時の⽇本語⽂字化け対策 • Google Colabはデフォルトだと⽇ 本語を使ったプロットは軸が⽂字 化けしたりするので、この辺りを 使うか、ChatGPTに相談して必要 な⽇本語フォントを⼊れたりしま す pip install japanize-matplotlib import japanize_matplotlib
16. Tips : Google ColabのLLM • Google ColabのLLMが期間限定で 無料で使えます • 「こういうコードを書いて」とい う指⽰も出せます • ただし、前のコードを参照してい るわけではないので、使い勝⼿は 今ひとつ。ちょっとした使い⽅を 確認するくらいが現状は良いです (ChatGPT-4やCursorエディタであ れば、その前の処理結果なども踏 まえてコード⽣成をしてくれる)
17. Tips : Google ColabのLLM • Google ColabのLLMが期間限定で 無料で使えます • 「こういうコードを書いて」とい う指⽰も出せます • ただし、前のコードを参照してい るわけではないので、使い勝⼿は 今ひとつ。ちょっとした使い⽅を 確認するくらいが現状は良いです (ChatGPT-4やCursorエディタであ れば、その前の処理結果なども踏 まえてコード⽣成をしてくれる)
18. ④演習問題をChatGPT-4にレビューしてもらう • ①カリキュラムの⽣成 -> やりたいことを伝える -> こちらのレベルを伝える -> 何をしたら良いか聞く -> カリキュラムを作ってもらう • ②個別トピックの深掘り -> 講義概要を作ってもらう -> 演習問題を作ってもらう -> コード付きで解説してもらう • ③Google Colabで動かしてみる • 分からないところを質問してみる • ④演習問題の回答をレビューしてもらう
19. ④演習問題をChatGPT-4にレビューしてもらう
20. 演習問題１の回答例 (Google ColabのLLM) 演習問題１のレビュー後 (OpenAI ChatGPT-4) ④演習問題をChatGPT-4にレビューしてもらう
21. まとめ • やりたいことを伝える -> こちらのレベルを伝える -> 何をしたら良いか聞く -> カリキュラムを作ってもらう • 個別トピックの深掘り -> 講義概要を作ってもらう -> 演習問題を作ってもらう -> コード付きで解説してもらう • Google Colabで動かしてみる • 分からないところを質問してみる • 演習問題の回答をレビューしてもらう ChatGPT-4と Google Colabで 独学し放題
22. 補⾜：専⽤ツールも便利 • 有料にはなりますが、裏でChatGPT-4や Claude3のAPIをコールできるCursorエ ディタも便利です (複数のファイル・コードを横断して読み 込んだ後、提案してくれます) • R⾔語の例で過去にスライドをまとめてた りしますので、ご興味お持ちの⽅はご参 照ください ( もちろん、Python⾔語もいけます ) https://speakerdeck.com/doradora09/20240309-lt-chatgpt- 4dui-ying-nocursoreteitate-ryan-yu-kadong- kanaikatiyotutohong-tutemitahua
23. Enjoy..!!