20230630_LT_LLM福岡_noteableで書込み読み込み(10min版)

https://llm-fukuoka.connpass.com/event/286607/

Transcript

1. 【第2回】ChatGPT活⽤LT会 by LLM福岡 LT : Noteableプラグインで データを書き込んだり読み込んだりする話 2023/06/30 @doradora09
2. Copyright © 2023 NOB DATA All Rights Reserved. ⾃⼰紹介 ⼤城信晃(twitter @doradora09) NOB DATA株式会社 代表取締役社⻑ / データサイエンティスト協会 九州⽀部 委員⻑ ・住まい 沖縄 -> 東京 -> 福岡 ・職歴 ヤフー-> DATUM STUDIO -> LINE Fukuoka -> NOB DATA(株) 創業 ・運営コミュニティ ・過去 ・Tokyo.R(2010-2016) ・現在 ・fukuoka.R、PyData.Fukuoka、 意思決定のためのデータ分析勉強会、 データ分析系勉強会サテライトビューイング、 オモシロAIごった煮勉強会、ChatGPT部 最近はずっとChatGPT関連の セミナー＆商談をしてます
3. Copyright © 2023 NOB DATA All Rights Reserved. 最近はChatGPTセミナーラッシュ 6/14幕張メッセ＠アプリジャパン 6/16 沖縄の会社さんの幹部研修
4. Copyright © 2023 NOB DATA All Rights Reserved. コミュニティにも⾊々顔を出し中
5. Copyright © 2023 NOB DATA All Rights Reserved. 来週は伝説のLLM Meetup Tokyo#03があります・・！ 是⾮みんなで 参戦しましょう
6. Copyright © 2023 NOB DATA All Rights Reserved. 閑話休題
7. Copyright © 2023 NOB DATA All Rights Reserved. こんなことありませんか？
8. Copyright © 2023 NOB DATA All Rights Reserved. こんなことありませんか？ • ChatGPTに毎回コピペでデータをinputするのが⼤変 ・ex : 分析⽤のデータ • ChatGPTの結果をどこかに⼿軽に保存したい • ex : スクレイピングの結果データ
9. Copyright © 2023 NOB DATA All Rights Reserved. こんなことありませんか？ • ChatGPTに毎回コピペでデータをinputするのが⼤変 ・ex : 分析⽤のデータ • ChatGPTの結果をどこかに⼿軽に保存したい • ex : スクレイピングの結果データ そんなあなたに Noteableプラグイン
10. Copyright © 2023 NOB DATA All Rights Reserved. Noteableプラグインとは • Google Colabのような感覚で扱えるオンラインノートブックサービス • 特徴 • それなりにセキュア • プログラム実⾏ができる！ • DB接続がいける・・！！ • 何より • ChatGPTのプラグインから呼び出せる・・！！！
11. Copyright © 2023 NOB DATA All Rights Reserved. 本⽇のお題 Noteableプラグインで ①データを書き込んだり ②読み込んだりする話
12. Copyright © 2023 NOB DATA All Rights Reserved. ChatGPT-4先⽣への依頼事項(丸投げ&⼀部修正ver) 時間に余裕 があればデモ (プロンプト例) ▪補⾜ 今しがた、 df.to_csv('demo_data.csv', index=False) とするとnotebookと同じカ レントディレクトリにファイルが書き込まれる事を確認できました。 同じ要領で、 /tmp配下などではなくカレントディレクトリ直下に対してのファイル操作を再度 お願いできますか？ ▪依頼事項(再掲) こんにちは。本⽇勉強会のLTで、noteableプラグインを使った ファイルの書き込みや読み込みについて発表予定です。以下の４パターンのデモを お願いできますか？ 1-2. 架空のデータを作成し、noteableプラグインを使ってファイルに書き込む 1-3. 架空のデータを作成し、noteableプラグインとSQLiteを使ってDBに書き込む 2-1. 上記のnoteableプラグインのファイルを読み込んで分析・可視化 2-2. 上記のnoteableプラグインとSQLiteのDB・テーブルにアクセスしてSQLで集 計し表⽰ それぞれ１つずつ実⾏をお願いします。⻑い場合は途中で「続く」と出⼒してくだ さい。
13. Copyright © 2023 NOB DATA All Rights Reserved. ①データを書き込む話 Noteableでのデータ書き込みはいくつかの⽅法があ ります • ファイル： • ファイル書き出し or アップロード •楽々 • DB： • Noteableプラグイン x SQLiteの組み合わせ • 読み込む時の柔軟性を得るならこちら 書き込み パート
14. Copyright © 2023 NOB DATA All Rights Reserved. 1-1. ファイルアップロード • ⼿動でNoteableの本体サイ トにてアップロードする場 合 • ChatGPT⾃⾝はどこにファ イルがあるかを知らないの で、Noteableのノートブッ クのURLの指定や、設置し たファイルの場所について は教えてあげる必要がある • 本⽇は割愛 ここから⼿動で ファイルアップロードが 可能
15. Copyright © 2023 NOB DATA All Rights Reserved. 1-2. ファイル書き込み 架空のデータ作成 & CSVで保存
16. Copyright © 2023 NOB DATA All Rights Reserved. 1-2. ファイル書き込み UI上の ファイルはこんな 感じです demo_data.csv
17. Copyright © 2023 NOB DATA All Rights Reserved. 1-2. ファイル書き込み ファイルの中⾝は こんな感じ
18. Copyright © 2023 NOB DATA All Rights Reserved. 1-2. ファイル書き込み コードはこちら
19. Copyright © 2023 NOB DATA All Rights Reserved. 1-3 DB書き込み(SQLite) DB & テーブル作成
20. Copyright © 2023 NOB DATA All Rights Reserved. 1-3 DB書き込み(SQLite) データの挿⼊
21. Copyright © 2023 NOB DATA All Rights Reserved. 1-3 DB書き込み(SQLite) UI上の ファイルはこんな 感じです demo_data.db
22. Copyright © 2023 NOB DATA All Rights Reserved. 1-3 DB書き込み(SQLite) クエリ (create table)
23. Copyright © 2023 NOB DATA All Rights Reserved. 1-3 DB書き込み(SQLite) クエリ (書き込んでるら しい)
24. Copyright © 2023 NOB DATA All Rights Reserved. 1-3 DB書き込み(SQLite) コード解説 (Chat先⽣より)
25. Copyright © 2023 NOB DATA All Rights Reserved. ②データを読み込む Noteableでのデータ書き込みはいくつかの⽅法があります • ファイル： • Pythonから読み込ませる • ただ、Noteable⾃⾝はファイルがどこにあるかを知ら ないのでそこは指定する必要がある • DB： • SQLiteの場合はDBのファイルを教えてあげればいけ るはず • 外部のDBにも繋げられるかもだけど未実施 (どなたか、もし実験された⽅いらっしゃいましたら 是⾮) 読み込み パート
26. Copyright © 2023 NOB DATA All Rights Reserved. 2-1. ファイルから読み込む CSVファイル読み込み
27. Copyright © 2023 NOB DATA All Rights Reserved. 2-1. ファイルから読み込む データ可視化 (Notable本体にて) df.describeで 統計情報表⽰
28. Copyright © 2023 NOB DATA All Rights Reserved. 2-2. DBから読み込む(SQLite) DB接続して読み込み
29. Copyright © 2023 NOB DATA All Rights Reserved. 2-2. DBから読み込む(SQLite) select⽂
30. Copyright © 2023 NOB DATA All Rights Reserved. 2-2. DBから読み込む(SQLite) DBに対して集計し てもらう
31. Copyright © 2023 NOB DATA All Rights Reserved. 2-2. DBから読み込む(SQLite) DBに対して集計し てもらう SQL⾃動⽣成
32. Copyright © 2023 NOB DATA All Rights Reserved. まとめ ChatGPTからデータの⼊出⼒ができると ⼀気に活⽤の幅が広がりますね。 皆さんもよろしければ Noteableプラグイン、使ってみてください・・！
33. Copyright © 2023 NOB DATA All Rights Reserved. Enjoy..!!