機械学習 - pandas入門

Transcript

1. pandas入門 ⼭本 祐輔 名古屋市⽴⼤学 データサイエンス研究科 yusuke_yamamoto@acm.org 第2回 機械学習発展（導入編） ⼭本祐輔 クリエイティブコモンズライセンス (CC BY-NC-SA 4.0)
2. 1pandasとは?
3. ⾏列として扱われる⼤規模データ ID Name Price 表 ID Name Price 機械学習 数理モデリング
4. ⾏列として扱われる⼤規模データ ID Name Price 表 ID Name Price 機械学習 数理モデリング ⾏列 (テンソル) 3 1 −4 −1 5 9 2 −6 5 変換
5. ⾏列として扱われる⼤規模データ ID Name Price 表 ID Name Price 機械学習 数理モデリング グラフ テキスト 画像 ⾏列 (テンソル) 3 1 −4 −1 5 9 2 −6 5 変換
6. ⾏列として扱われる⼤規模データ ID Name Price 表 ID Name Price 機械学習 数理モデリング グラフ テキスト 画像 ⾏列 (テンソル) 3 1 −4 −1 5 9 2 −6 5 変換 表データは典型的なデータ分析対象
7. Pythonicなデータ処理の流れ ⾏列変換 ⾼効率な ⾏列処理 データ処理の⼊り⼝となるpandasを押さえることは重要 ⾏列計算の効率化 機械学習・数値解析 表データの取り扱い
8. pandasとデータフレーム - 表データを効率良く扱うためのPythonライブラリ - データフレームと呼ばれるデータ構造を⽤いて 表データを効率的に処理 データフレーム pandas - 列ごとに型が定義された表データを扱うためのデータ構造 - NumPyの多次元配列（numpy.ndarray）と変換が容易
9. データフレームの構造 レコード(行) カラム(列)
10. データフレームの構造 インデックス名 インデックス レコードを⼀意に識別するためのラベル
11. データフレームの構造 カラム名
12. pandasと関係データベース管理システム (RDBMS) pandas RDBMS 扱える データサイズ 小〜中 （メモリサイズに依存） 大 （サーバ次第） 処理速度 遅い 速い （索引 & クエリ最適化 の恩恵） 柔軟性 高い （Pythonが使える） 低い （SQLでできることに 限られる） 用途 - Pythonとの連携 - データの前処理 - 大規模データ管理 - 前処理対象となる データの抽出・集約
13. 表データの受け渡し CSV TSV RDB 表データ交換⽤の テキストファイル 関係データベース に直接接続 Excelファイル
14. CSVファイル - 表形式のデータ交換⽤に⽤いられるテキストファイル - CSVファイルの⾏が表の⾏に相当 - 表の各項⽬の値をカンマ（,）で区切る - 1⾏⽬には表の構造を⽰す項⽬名を並べることがある - CSVファイルの拡張⼦はcsv ID,都道府県,県庁所在地 1,北海道, 札幌市 2,青森県, 青森市 3,岩手県, 盛岡市 ... CSVファイルの中⾝ ID 都道府県 県庁所在地 1 北海道 札幌市 2 青森県 青森市 3 岩手県 盛岡市 … 表データ 解釈
15. TSVファイル - 表形式のデータ交換⽤に⽤いられるテキストファイル - TSVファイルの⾏が表の⾏に相当 - 表の各項⽬の値をタブ記号（\t: 不可視⽂字）で区切る - 1⾏⽬には表の構造を⽰す項⽬名を並べることがある - TSVファイルの拡張⼦はtsv ID 都道府県 県庁所在地 1 北海道 札幌市 2 青森県 青森市 3 岩手県 盛岡市 ... TSVファイルの中⾝ ID 都道府県 県庁所在地 1 北海道 札幌市 2 青森県 青森市 3 岩手県 盛岡市 … 表データ 解釈
16. Hands-on タイム 以下のURLにアクセスして， pandasを使いながら講義を受けよう https://mlnote.hontolab.org/ 17
17. 2 最低限のpandas 18
18. Pythonでpandasを使う準備 import pandas as pd pandasライブラリをインポート コード中で頻繁にpandasライブラリを参照 するので，短い名前でアクセスできるように 略称を付けておく
19. CSV/TSVファイルの読み取り df = pd.read_table( “読み込むCSV/TSVファイルの場所 or URL”, sep=‘区切り⽂字’, header=⾒出し⾏の場所, index_col=‘インデックス名’ ) pandas.read_table ファイルからデータフレームを読み込むメソッド
20. CSV/TSVファイルの読み取り 例 df = pd.read_table( “data/SSDSE-E-2024.csv”, sep=‘,’, header=2, index_col=‘地域コード’ ) ← 読み込むファイル ← 区切り⽂字はカンマ ← ⾒出しは2⾏⽬(数え始めはゼロ) ← 「地域コード」列をインデックスに pandas.read_table ファイルからデータフレームを読み込むメソッド
21. データフレームの基本情報（1/3） # データフーレムが変数df に格納されていると仮定 pandas.DataFrame.shape df.shape (48, 91) データフレームの⾏数と列数を返す ← dfの⾏数が48，列数が91であることを⽰す
22. データフレームの基本情報（2/3） # データフーレムが変数df に格納されていると仮定 pandas.DataFrame.columns df.columns Index(['都道府県', '総人口', '日本人人口', '15歳未満人口', '15〜64歳人口’,…]) データフレームの列名のリストを返す
23. データフレームの基本情報（3/3） # データフーレムが変数df に格納されていると仮定 pandas.DataFrame.describe df.describe() データフレームの基本統計量を返すメソッド
24. 射影（1/2） # データフーレムが変数df に格納されていると仮定 df.総⼈⼝ 表⽰したい列をドットもしくは中括弧で指定 df[“総⼈⼝”]
25. 射影（2/2） # データフーレムが変数df に格納されていると仮定 中括弧で列名リストを指定すると複数列を射影 df[“都道府県”, “総⼈⼝”]
26. データフレーム × 四則演算（1/2） # 各⾏の総⼈⼝の値に100を加算 射影した列にスカラーの四則演算を適⽤すると， 射影した列データ全体に演算が適⽤される df[“総⼈⼝”] + 100 +100
27. データフレーム × 四則演算（2/2） # 各⾏の⽇本⼈⼈⼝の値をその⾏の総⼈⼝で割った値を返す 射影した列間の四則演算を適⽤すると， 各⾏の射影した列の値に対して演算が適⽤される df[“⽇本⼈⼈⼝”] / df[“総⼈⼝”]
28. 新しい列の追加 # 各⾏の⽇本⼈⼈⼝の値をその⾏の総⼈⼝で割った値を返す 中括弧を⽤いて新しい列に代⼊演算をすることで 新しい列を追加することが可能 df[“⽇本⼈割合”] = df[“⽇本⼈⼈⼝”] / df[“総⼈⼝”] # ドットアクセスでの代⼊はできない # df.⽇本⼈割合 = df[“⽇本⼈⼈⼝”] / df[“総⼈⼝”]
29. データフレーム情報へのアクセス（1/2） # データフーレムが変数df に格納されていると仮定 pandas.DataFrame.head df.head() データフレームの先頭数⾏を返すメソッド # データフーレムが変数df に格納されていると仮定 df.tail() データフレームの末尾数⾏を返すメソッド pandas.DataFrame.tail ← メソッドの引数に整数を与えるとその数だけ⾏を返す ← メソッドの引数に整数を与えるとその数だけ⾏を返す
30. データフレーム情報へのアクセス（2/2） # データフレームdfの（ゼロから始めて）2⾏⽬を抽出 df[2] ⾏番号を⽤いることで，データフレームの各⾏に アクセスすることが可能 # df の先頭⾏から10⾏⽬未満（9⾏⽬）までを取得 df[:10] # df の2⾏から10⾏⽬未満（9⾏⽬）までを取得 df[2:10]
31. 絞り込み（1/3） # 総⼈⼝の値が700万を超える⾏のみを抽出 中括弧の中で条件を指定すると，条件にマッチする ⾏を抽出したデータフレームが得られる df[df['総⼈⼝'] >= 7000000] # ドット表現を⽤いて条件を指定することも可能 # df[df.総⼈⼝ >= 7000000]
32. 絞り込み（2/3） 複数条件を指定する場合， AND条件は & ，OR条件は |（パイプ）でつなぐ （各条件を丸括弧で包むこと） # 総人口が700万人以上かつ都道府県名が「全国」でないレコードを抽出 df[(df.総人口 >= 7000000) & (df.都道府県 != '全国')] # 合計特殊出生率が1.8以上もしくは1.1未満のレコードを抽出 df[(df.合計特殊出生率 >= 1.8) | (df.合計特殊出生率 < 1.1)]
33. 絞り込み（3/3） # 総人口が700万人以上かつ都道府県名が「全国」でないレコードを抽出 # df[(df.総人口 >= 7000000) & (df.都道府県 != '全国')] # 上のコードは以下のように書くことが可能 df.query(“総人口 >= 7000000 & 都道府県 != ‘全国’”) pandas.DataFrame.query queryメソッドを使うと絞り込みをすっきり書ける
34. データフレームの保存（1/2） df.to_csv( “保存先のファイル名”, sep=‘区切り文字’, header=True/False (デフォルトはTrue), index=True/False (デフォルトはTrue) ) pandas.DataFrame.to_csv データフレームをCSV/TSVファイルに書き出す ↓⾒出し情報を書き出すか否か ↑インデックス情報を書き出すか
35. データフレームの保存（2/2） df.query(‘総人口 >= 7000000’).to_csv( “data/big-prefecture.tsv”, sep=‘\t’, header=True, index=False ) pandas.DataFrame.to_csv データフレームをCSV/TSVファイルに書き出す ←TSVファイルで書き出す ←インデックス情報（地域コード） はナシで書き出す
36. Hands-on タイム 以下のURLにアクセスして， ページ末尾のクイズを解いてみよう https://mlnote.hontolab.org/ 37
37. 今後の予定 38 回 実施⽇ トピック 1 04/14 ガイダンス 2 04/21 pandas⼊⾨ 3 04/28 決定⽊からはじめる機械学習 4 05/12 クラスタリング1：k-means & 階層的クラスタリング 5 05/19 クラスタリング2：密度ベースクラスタリング 6 05/26 分類1：K近傍法 & 教師あり機械学習のお作法 7 06/02 分類2：サポートベクターマシン 8 06/09 分類3：ニューラルネットワーク⼊⾨