PyData.Fukuoka#6_LT_slide

Transcript

1. 前処理するとき便利だからよく
 pandas.DataFrame.apply(lambda)
 使っちゃうけど遅いから本当は
 pandas.Series.map()
 使った方がいいと思う
 PyData.Fukuoka #6
 LT
 @shinpsan


2. 自己紹介
 下積みの父@shinpsan
 小売業のデータサイエンティスト（12月まで。年明け転職します）
 MENSA会員
 合同会社ocojoで副業
 
 twitter : 
 仕事

   : 
 特技:
 趣味: 
 


3. 話すこと
 タイトルに書いたことが全てです。
 pandasの基本的なところなのでみんな知ってる内容かも。
 
 知ってる方はヒマだと思うので、心の中で
 「シカ」って１０回言った後、
 「サンタクロースが乗っているのは？」に答えてて下さい


4. 背景
 クソみたいなデータ渡されたと文句言いながら、
 いつもクソみたいなコード書いてることを反省。
 


5. 再現データ
 ラベル 営業時間 値1 値2 値3 • 1ファイルにつき何個か値が格納された ファイルが大量にある •

   それを集めてきて１つのテーブルにした もの • ラベルが元のファイル名

6. やりたいこと（持っていきたい方向）
 店舗の営業時間体系ごとの
 • 三角おにぎり
 • パックおにぎり
 • 寿司
 のラベルをつけて集計とか
 可視化とかいろいろ


7. 再現データ
 
 ラベル 営業時間 値1 値2 値3 • おにぎり、寿司、パックおにぎり 判別はラベルの文字列から可能

   • 営業時間は9~21時 or 24時間営業

8. クソみたいなところ①
 ラベル 営業時間 値1 値2 値3 ラベルの文字列の長さがバラバラ

9. クソみたいなところ②
 ラベル 営業時間 値1 値2 値3 おにぎり、寿司の判別は文字列の先頭 パックおにぎりの判別は文字列の最後

10. クソみたいなところ③
 ラベル 営業時間 値1 値2 値3 ラベルに区切り文字とか入って無い

11. 手順1
 ラベル 営業時間 値1 値2 値3 ラベル列の各行に関して、 先頭7文字が”ONIGIRI” かどうか、 先頭5文字が”SUSHI”

    かどうか、 最後4文字が”pack” かどうか 判別

12. 手順2
 ラベル 営業時間 値1 値2 値3 営業時間列の各行に関して、 “9-21” or “24h”

    判別

13. 手順3
 ラベル 営業時間 値1 値2 値3 手順1,2の判別を元に 新たなラベル列作成 新ラベル おにぎり_9-21

    おにぎり_24h ・ ・ ・

14. ここで本題
 どんな処理書く？
 • for + iterrows()
 • df.apply()
 • Series.map()


15. ①for i, row in {pd.DataFrame}.iterrow():
 ラベル 営業時間 値1 値2 値3

    データフレームの１行１行に対して ループ処理 処理 ↓ 処理 ↓ 処理 ↓ 処理 ↓ 処理 ↓

16. ①for i, row in {pd.DataFrame}.iterrow():


17. ②{pd.DataFrame}.apply(lambda x: {})
 ラベル 営業時間 値1 値2 値3 データフレームの各行に対して 同じ処理を一括適応

    lambda x のxには各行が１行のDFにみたいにして渡される x[“ラベル”]みたいにして使うとこ選べる ✖ 処理 ✖ 処理 ✖ 処理 ✖ 処理 ✖ 処理

18. ②{pd.DataFrame}.apply(lambda x: {})


19. ③{pd.Series}.map(lambda x: {})
 ラベル ✖ 処理 ✖ 処理 ✖ 処理

    ✖ 処理 ✖ 処理 Seriesの各要素に対して 同じ処理を一括適応

20. ③{pd.Series}.map(lambda x: {})


21. None

22. 実行速度比較　１万行まで
 iterrowsだと１万行のデータで 1~2秒かかる データの行数 処理にかかった時間

23. 実行速度比較　10万行まで
 df.apply()だと10万行のデータで ~2秒かかる

24. 実行速度比較　1000万行まで
 Series.map()だと1000万行のデータで 約5秒かかる

25. まとめ
 ただの肌感ですが、jupyterで分析してて、
 そこまで気にならない待ち時間は2秒くらい
 • for + iterrows 1万行
 • df.apply

    10万行
 • Series.map 400万行
 まぁ、結論としてループは使わない。
 df.apply()は何も考えずに記述できるけど遅いから、
 Series.map()でやる方がいいですね。


26. enjoy!
 答え：そり(トナカイには乗っていない)