ChatGPTによるお手軽データ分析 / Easy data analysis with ChatGPT

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 2024 Yayoi Co., Ltd. All rights reserved. 2 自己紹介 | R&D室紹介 Name: 飯田頌平 Team: R&D室 Roll: MLエンジニア Skill: ML, NLP Hobby: アウトドア About me About Team Established: 2023/10/1 Department: 次世代本部 Members: Mission: AI/MLによる価値創出 Work: 企画立案～PoC実施～MVP作成

Slide 3

Slide 3 text

© 2024 Yayoi Co., Ltd. All rights reserved. 3 0. もくテクでの公開にあたって 1. 概要 2. 環境構築 1. VS Code のインストール 2. Python のインストール 3. Jupyter のインストール 3. 分析 1. Jupyter Notebookの使い方 2. 分析テーマの紹介 - Titanic 3. 分析のいろは 4. ChatGPTを駆使してお手軽に分析 5. 自習 4. まとめアジェンダ

Slide 4

Slide 4 text

© 2024 Yayoi Co., Ltd. All rights reserved. 4 この資料は、6/21に社内で実施したデータ分析ハンズオン「Pythonを使ったデータ分析はじめの一歩」において使用したものです。 3時間のハンズオンで実施した内容をもくテクの発表枠の中ですべてお伝えすることは難しいため、主な流れと要点だけ説明させていただき、詳細についてはお手元で振り返っていただく形にしたいと思います。 0. もくテクでの公開にあたって

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© 2024 Yayoi Co., Ltd. All rights reserved. 6 普段みなさんがお使いである、会社支給のWindows PC上に環境構築していきたいと思います。必要となるツールは主に次の３点です。 2. 環境構築 VS Code いわば高機能なメモ帳で、コードを書くツールです。 Python Pythonコードをプログラムとして実行するソフトです。 Jupyter Pythonコードの実行結果を見やすくするためのものです。

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

© 2024 Yayoi Co., Ltd. All rights reserved. 23 2.2. Pythonのインストール – Step. 2 「Stable Releases」の欄にある①「Windows installer (64 bit)」を選択してください。なお、図におけるPythonのバージョンは「3.12.3」ですが、実行する時期によってはアップデートされる可能性があります。 ①

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© 2024 Yayoi Co., Ltd. All rights reserved. 25 2.1. Pythonのインストール – Step. 4 ① 「Use admin privileges when installing py.exe」②「Add python.exe to PATH」にチェックを入れた後、③「Install Now」をクリックしてください。その後、許可を求められたら「はい」をクリックしてください。 ① ② ③

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

© 2024 Yayoi Co., Ltd. All rights reserved. 39 環境構築が一通り完了したため、今度はJupyterの使い方を学びましょう。詳細な手順については追って紹介するとして、まずはJupyterについて紹介します。 3.1. Jupyterについて & Jupyterの使い方 Jupyterとは Pythonによるデータ分析の支援ツールです。主に表やグラフを見える化することが得意です。さらに実行結果をインタラクティブに表示できます。 →次ページ以降で説明… https://jupyter.org/

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

© 2024 Yayoi Co., Ltd. All rights reserved. 55 3.2. 分析の準備 - Step. 8 セル①に「df=pd.read_csv("titanic/train.csv")」と打ち込み、実行ボタン ②を押してください。以後、「df」という変数からTitanicの訓練データを参照することができるようになります。（注）データと同じ階層にtitanic. ipynbを作成した場合「df=pd.read_csv("train.csv")」としてください。 ① ②

Slide 56

Slide 56 text

Slide 57

Slide 57 text

© 2024 Yayoi Co., Ltd. All rights reserved. 57 ここからは実際に分析に入りますが、まず基礎的なポイントだけは抑えていこうと思います。分析において重要なものは、主に次の３点です。 3.3. 分析のいろは課題の整理目的を言語化し、要件定義のできる状態にします。目的変数の定義課題解決のコアとなる情報を定義しデータから抽出します。基礎集計平均値、中央値、欠損値、異常値などを確認します。

Slide 58

Slide 58 text

© 2024 Yayoi Co., Ltd. All rights reserved. 58 通常はみなさんが抱えているデータ分析の課題を整理する、という作業が必要となりますが、今回はデータ分析コンペのプラットフォーム「Kaggle」で提供されているお題を使用しているので、事前に定義された課題を掲載します。 3.3. 分析のいろは - 課題の整理 https://www.kaggle.com/c/titanic use machine learning to create a model that predicts which passengers survived the Titanic shipwreck. 機械学習を使用して、タイタニック号の沈没でどの乗客が生き残ったかを予測するモデルを作成します。この教材では機械学習モデル作成のところはスコープアウトして、生き残った乗客を分析することに集中しましょう。

Slide 59

Slide 59 text

© 2024 Yayoi Co., Ltd. All rights reserved. 59 データを見ると下記のような変数（列）が存在します。今回の課題は「生存者の予測」なので、ふさわしい目的変数は「Survived」であると判断されます。 3.3. 分析のいろは - 目的変数の定義 Survived PassengerID Pclass Name Sex Age Parch SibSP Ticket Fare Cabin Embarked 生存フラグ乗客ID 等級氏名性別年齢乗船した両親/子供の人数乗船した兄弟/配偶者の人数チケット番号運賃船室番号乗船地

Slide 60

Slide 60 text

© 2024 Yayoi Co., Ltd. All rights reserved. 60 テーブルデータにおいては、主に次の集計を実施します。数値変数とは年齢などの連続値であり、カテゴリ変数は性別などの離散値で表されるものです。 3.3. 分析のいろは - 基礎集計数値変数カテゴリ変数平均値四分位数欠損値頻度〇〇〇〇〇また四分位数とは25%の値・中央値・75％の値の総称で、頻度は同じものをカウントした数、欠損値は入力されていないデータを指します。最大/最小値

Slide 61

Slide 61 text

Slide 62

Slide 62 text

© 2024 Yayoi Co., Ltd. All rights reserved. 62 下記のプロンプトを用いてChatGPTに質問してみましょう。 3.4. ChatGPTを駆使してお手軽に分析 - Step. 1 ◼ データ分析のためのPythonコードを作成してください。 ◼ ## データの概要 ◼ データの形式：DataFrame ◼ データの変数名：df ◼ ## 分析の目的 ◼ 実行したい分析の種類：平均値の集計 ◼ ## 具体的なリクエスト内容 ◼ Ageカラムの平均値の数を集計したい（注）GPTの生成するコードにはサンプルのdfが含まれるのでTitanicの dfに置き換えてください。

Slide 63

Slide 63 text

© 2024 Yayoi Co., Ltd. All rights reserved. 63 下記のプロンプトを用いてChatGPTに質問してみましょう。 3.4. ChatGPTを駆使してお手軽に分析 - Step. 2 データ分析のためのPythonコードを作成してください。 ## データの概要データの形式：DataFrame データの変数名：df ## 分析の目的実行したい分析の種類：各数値変数カラムの平均値を求めたい ## 具体的なリクエスト内容カテゴリ変数のカラムを無視すること

Slide 64

Slide 64 text

© 2024 Yayoi Co., Ltd. All rights reserved. 64 下記のプロンプトを用いてChatGPTに質問してみましょう。 3.4. ChatGPTを駆使してお手軽に分析 - Step. 3 データ分析のためのPythonコードを作成してください。 ## データの概要データの形式：DataFrame データの変数名：df ## 分析の目的実行したい分析の種類：等級別に生存者数を見てみたい ## 具体的なリクエスト内容生存者フラグは"Survived", 等級カラムは"Pclass", Seabornで描画（注）もしエラーが発生したら次のStepに進んでください

Slide 65

Slide 65 text

© 2024 Yayoi Co., Ltd. All rights reserved. 65 もしStep.3で生成されたプロンプトを実行したところ、モジュールの読み込みに失敗した場合には、下記のプロンプトを用いてChatGPTに質問してみましょう。 3.4. ChatGPTを駆使してお手軽に分析 - Step. 4 Jupyterで次のようなエラーメッセージが出力されました。 Jupyter上のセルから解決するための方法を教えてください。 ---------- ModuleNotFoundError Traceback (most recent call last) Cell In[9], line 1 ----> 1 import matplotlib.pyplot as plt ModuleNotFoundError: No module named 'matplotlib' （注）matplotlibとseabornで２回発生すると思われるので、都度実行してください。

Slide 66

Slide 66 text

Slide 67

Slide 67 text

© 2024 Yayoi Co., Ltd. All rights reserved. 67 これまで、ChatGPTを用いた分析の一例をご紹介しました。残りの時間では、これまでご説明したツールやプロンプトを使用して、ご自由に分析していただければと思います。 3.5. 自習さきほどの例で「裕福な乗客ほど有利な状況だった」ということが明らかになったように、データを分析することで物事の思わぬ一面を明らかにしたり、直感を客観的に裏付けることができるようになります。みなさんも独自に仮説を立てて集計し、自分だけの分析結果というものを得られるよう手を動かしてみましょう。

Slide 68

Slide 68 text

© 2024 Yayoi Co., Ltd. All rights reserved. 68 本日は冒頭で、ゴールを次のようにご説明しました。 4. まとめ JupyterとPythonを使用したデータ分析を自分で実施できるようになること。ハンズオンという形でみなさんに手を動かしていただいたことで、個人差はあれどある程度の目標は達成できたのではないでしょうか。この講義を通して、みなさんはデータ分析のはじめの一歩を踏み出すことに成功しました。今後は自信をもって自由なテーマで自分なりの分析をしていただければと思います。

Slide 69

Slide 69 text