20230623_Cの知識ゼロでもCythonでサクッと高速化できる話

2023-06-23の関西Kaggler会のLT資料

Transcript

1. Cの知識ゼロでもCythonでサクッと処理を高速化できる 2023-06-23 Quvotha
2. クボタです！ 2 • 5月から株式会社ScaleDataのエンジニア ◦ AWS, Python, PowerBI, Snowflake に挑戦中 ◦ 前職はSIerで基幹システム導入やデータ解析に従事 • 趣味：読書、マンガ、映画鑑賞、外食、クソリプ
3. アッカーマン関数の処理に要する時間を Python/Cython で比較してみる アッカーマン関数で体感する Cython のスピード (1/2) 3 Wikipediaより
4. アッカーマン関数で体感する Cython のスピード (2/2) 4 Cython Python 7.75x
5. Cython って何？ 5 - Cython は Python の一部 - 構文が Python に似ており Python のコードと一緒に記述できる - Cython のコードをコンパイルして効率的な C のコードを生成できる - 一般に CPU バウンドな処理は C が Python より高速なので高速化の手段として有用 - 静的型付け、関数呼び出しのオーバーヘッドの小ささ等が要因 - CPU バウンドではない処理は Cython による高速化の恩恵が薄いので注意 - C, C# の知識があれば深く使いこなせるがぶっちゃけそんなもん知らなくても使える The Cython language is a superset of the Python language that additionally supports calling C functions and declaring C types on variables and class attributes. This allows the compiler to generate very efficient C code from Cython code. (公式サイトより)
6. Notebook に Cython を書く方法 簡単（主観） 1. %load_ext Cython で Cython extention をロード 2. Cython を書きたいセルの冒頭で %%cython して Cython のコードを書く cdef, cpdef で関数・クラス・クラスのメンバーを定義する(やり方は後述) 関数の返り値や引数、ローカル変数に静的に型を付ける(やり方は後述) 6
7. Cython は型を指定すると更に早くなることが多い (1/2) %%cython -a とするとコードのどの行に型を指定すれば良いか目安を提示してくれる ピュアな C に変換できない行は黄色くなる(型を指定すれば早くなるかも） ピュアな C (鬼早) に変換できた行は白くなる(これ以上の高速化は難しい) 7
8. Cython は型を指定すると更に早くなることが多い (2/2) Cython の構文で型指定すると 857ms → 59.6ms まで高速化 8 Cython の構文に則った型指定
9. Cのデータ型が取り得る値の範囲に注意(ご参考) C のデータ型が取り得る値の範囲に注意 9 C の int の範囲 (-2,147,483,648~2,147,483,647) 外の値のため 不正な結果を得た 適切な型で扱えば問題無し
10. 関数を cdef/cpdef どちらで定義するか cpdef: C/Python の両方から call できる cdef :Cython からのみ call できる 10 cdef 関数 Python から call したのでエラー cpdef 関数からならば cdef 関数を call 可
11. Cython によるクラス定義 (1/2) - クラスは cdef class で宣言 - Attribute はメンバー定義の冒頭で cdef で宣言 - 宣言していない Attribute はセットできない - public がついていない Attribute はクラス外からアクセスできない - Method は cdef, cpdef, def を使い分けられる 11
12. Cython によるクラス定義 (2/2) 12 x は public なのでアクセス可 y は public でないのでアクセス不可 cpdef で定義したメソッドは Python から call 可 cdef で定義したメソッドは Python から call 不可 def で定義したメソッドは Python から call 可 cpdef メソッド経由なら cdef メソッドに Python からアクセス可
13. Cython で Numpy を扱う Numpy 配列を入出力する関数は dtype や次元 (ndim) を明示するとより早い 13 array は長さ 10^8 の int の1次元配列
14. 参考文献 深入りしないCython入門 深入りしないCython入門 -2- Cython ―Cとの融合によるPythonの高速化 資料作成に使ったコード (Google colab) https://colab.research.google.com/drive/1cec5C3Erd1zZtJ-YbvFZ4Ir2rWlfYRI1?usp=sharing 14