メモリプロファイラMemrayのススメ

by Manabu TERADA

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

copyright © 2023 CMS Comunications Inc. all rights reserved. 自己紹介寺田学 (Manabu TERADA) ● Pythonエンジニア ● Podcast 「terapyon channel」(https://podcast.terapyon.net) ● 主な関連書籍（共著・監修・監訳） ○ Pythonデータ分析実践ハンドブック (インプレス: 2023年9月) ○ Pythonによるあたらしいデータ分析の教科書第 2版（翔泳社:2022年10月） ○ Python実践レシピ (技術評論社: 2022年1月) ○ スラスラわかるPython第2版（翔泳社:2021年11月） ○ 機械学習図鑑（翔泳社 : 2019年4月）

Slide 6

Slide 6 text

copyright © 2023 CMS Comunications Inc. all rights reserved. 主な役職寺田学 (Manabu TERADA) 株式会社 CMSコミュニケーションズ代表取締役 ● Pythonエンジニア ● 一般社団法人PyCon JP Association 理事 ● 一般社団法人Pythonエンジニア育成推進協会顧問理事 ● Python Software Foundation (PSF) Fellow ● 国立大学法人一橋大学社会学研究科元客員准教授(2022)

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

copyright © 2023 CMS Comunications Inc. all rights reserved. Memrayの概要 ● トレーシング手法を採用 ● LinuxとmacOSに対応 (Windowsには対応していない) ライブラリ名 memray Pythonバージョン Python 3.8以降公式サイト https://bloomberg.github.io/memray/index.html PyPI https://pypi.org/project/memray/ GitHub https://github.com/bloomberg/memray 現在のバージョン 1.10.0

Slide 18

Slide 18 text

copyright © 2023 CMS Comunications Inc. all rights reserved. Memrayの歴史・開発者 ● ブルームバーグの社内ツールとして開発スタート ● 2022年4月にOSS化 ● Pablo Galindo Salgado氏が開発をリード ○ Pythonのコアデベロッパー ○ CPythonのリリースマネジャー ○ 現在 Council メンバーでもある

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

copyright © 2023 CMS Comunications Inc. all rights reserved. 結果をHTMLで表示 $ memray flamegraph 結果ファイル名 runで実行した時に出力れた結果ファイル memray-...bin を使って結果をHTML化 $ memray flamegraph memray-...bin memray-flamegraph-sample.py.xxxx.html というファイルが出力

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

copyright © 2023 CMS Comunications Inc. all rights reserved. 現状をライブで見る $ memray run --live モジュールコンソールに実行時の状況がライブで表示 $ memray run --live sample.py 別コンソールに出力する --live-remote モードもあるリモートモードは表示確認を始めないと、スクリプトが動かない

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

copyright © 2023 CMS Comunications Inc. all rights reserved. メモリの確保状況の違い（リストオブジェクトの状況） import time SIZE = 1024 * 1024 * 1024 # 1G time.sleep(1) # リスト内包表記でリストを生成 result = [1 for _ in range(SIZE)] time.sleep(1) del result # 変数を削除 time.sleep(1) sample-list.py を準備 result2 = [] # for文とappendメソッドでリストを生成 for i in range(SIZE): result2.append(1) time.sleep(1) del result2 # 変数を削除 time.sleep(1) result3 = [1] * SIZE # 掛け算でリストを生成 time.sleep(1) del result3 # 変数を削除 time.sleep(1)

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

copyright © 2023 CMS Comunications Inc. all rights reserved. NumPyのメモリ確保の可視化 import time import numpy as np SIZE = 1024 * 1024 * 1024 # 1G time.sleep(1) # 要素数が約1億個のNumPy配列を # 8bit整数型で生成 arr = np.ones(SIZE, dtype=np.uint8) time.sleep(1) # 同じ変数名に同じ配列を再代入 arr = np.ones(SIZE, dtype=np.uint8) sample-arr.py を準備 time.sleep(1) # 変数を削除 del arr time.sleep(1) arr = np.ones(SIZE, dtype=np.uint8) time.sleep(1) # 別の変数に代入 arr2 = np.ones(SIZE, dtype=np.uint8) time.sleep(1)