データサイエンスコミュニティ LT大会 #1

オンライン登壇で Pandas3 で PyArrow が必須になる件について登壇しました。

Transcript

1. Pandas3へ向けての 依存関係まわり データサイエンスコミュニティ LT会 #1
2. 自己紹介 氏名： 三戸 鉄也 （みと てつや） 所属： Wardish合同会社 CEO 社歴： SIer → 起業（SIer） 年齢： 47歳
3. 申込状況： 273/300
4. Pandasのこれまでのリリース v0.23.0 2018 5/15 2019 2020 2021 2022 2023 2024
5. Pandasのこれまでのリリース v0.23.0 2018 v1.0.0 5/15 2019 2020 2021 2022 2023 2024 v1.1.0 1/29 7/28
6. Pandasのこれまでのリリース v0.23.0 2018 v1.0.0 5/15 2019 2020 2021 2022 2023 2024 v1.1.0 v1.2.0 1/29 7/28 12/26
7. Pandasのこれまでのリリース v0.23.0 2018 v1.0.0 5/15 2019 2020 2021 2022 2023 2024 v1.1.0 v1.2.0 v1.3.0 1/29 7/28 12/26 7/2
8. Pandasのこれまでのリリース v0.23.0 2018 v1.0.0 5/15 2019 2020 2021 2022 2023 2024 v1.1.0 v1.2.0 v1.3.0 v1.4.0 v1.5.0 1/29 7/28 12/26 7/2 1/22 9/19
9. Pandasのこれまでのリリース v0.23.0 2018 v1.0.0 5/15 2019 2020 2021 2022 2023 2024 v1.1.0 v1.2.0 v1.3.0 v1.4.0 v1.5.0 v2.0.0 v2.1.0 v2.2.0 1/29 7/28 12/26 7/2 1/22 9/19 4/3 8/30 1/19
10. Pandasのこれまでのリリース v0.23.0 2018 v1.0.0 5/15 2019 2020 2021 2022 2023 2024 v1.1.0 v1.2.0 v1.3.0 v1.4.0 v1.5.0 v2.0.0 v2.1.0 v2.2.0 1/29 7/28 12/26 7/2 1/22 9/19 4/3 8/30 1/19 半年毎にマイナーバージョンアップ。
11. Pandasのこれまでのリリース v0.23.0 2018 v1.0.0 5/15 2019 2020 2021 2022 2023 2024 v1.1.0 v1.2.0 v1.3.0 v1.4.0 v1.5.0 v2.0.0 v2.1.0 v2.2.0 1/29 7/28 12/26 7/2 1/22 9/19 4/3 8/30 1/19 半年毎にマイナーバージョンアップ。 この間は後方互換は保たれる
12. Pandas3の状況
13. Pandas3の状況 1．5．3 → 2．0．0 の時も同様だったので おそらく今年中にリリースされる見込み
14. Pandas3の依存関係 PyArrow が必須になります。
15. Pandas3の依存関係 PyArrow が必須になります。 いかんのか？
16. Pandas と PyArrow(Arrow)の関係 2．2．X 系でもライブラリ入れてたら使える。
17. Pandas と PyArrow(Arrow)の関係 2．2．X 系でもライブラリ入れてたら使える。 集計周りのパフォーマンスは大して向上しない。 が、文字列の扱いに関してはメモリの利用量が大幅に低減され、 処理においても2倍近くパフォーマンスが向上する。
18. Pandas と PyArrow(Arrow)の関係 2．2．X 系でもライブラリ入れてたら使える。 3．0．0からは 文字列はデフォルトで pyarrow の文字列型になります。 集計周りのパフォーマンスは大して向上しない。 が、文字列の扱いに関してはメモリの利用量が大幅に低減され、 処理においても2倍近くパフォーマンスが向上する。
19. そもそもPythonって文字列遅いの？ Pythonは文字列をNULL文字で終端するので ASCIIで23byte、Unicodeで48Byteが必ず付与される。 （加えてポインタの8Byte） 100文字が100万あるテキストファイルは、およそ100MB。 だけど、56Byteが100万追加されてるので、メモリ上では156MB以上 を必要とする。 短い文字列が大量に存在するときは絶望
20. Arrow形式だとどうなる？ 文字列はエンコードされてメモリ上に展開される。（終端なし） int32によるポインタ（32bit or 33bit）が付与されるのみ。 短い文字列が大量に存在するときにとても有効 a a a b b c c c c 0 3 5 9 int32* char*
21. いつ効く？ read_csvのタイミング。 2.X.X系だとdtype_backend=‘pyarrow’で実現。 ※ engine=‘pyarrow’ だけだとパースがpyarrowになるだけ。
24. わりと効く object pyarrow 60万件くらいで、文字列多め
25. Pandas3の依存関係 PyArrow が必須になります。 ええやん？
26. Pandas3の依存関係 PyArrow のライブラリがそんな小さくない 134MB pyarrow
27. Pandas3の依存関係 PyArrow のライブラリがそんな小さくない 76MB pandas 39MB numpy 37MB numpy.libs 25MB botocore 16MB pip AWSに使うツール
28. Pandas3の依存関係 PyArrow のライブラリがそんな小さくない 76MB pandas 39MB numpy 37MB numpy.libs 25MB botocore 16MB pip AWSに使うツール Serverless環境で動かそうとするとちょっと辛い。 ※ 素のLambdaでは200MBの制限あり。 ここに134MB載せるの？
29. pyarrow-core（シュリンク版pyarrow） Anaconda3では既にシュリンク版の pyarrow-coreを取り込んでいる模様。 素のpythonの方に展開されるのはもう 少し先になりそう…。
30. Pandas3の依存関係 PyArrow が必須になります。 まあよさげ。