そのasync、止まってない？ ”鉄板”イベントループ ブロッキング処理検出術

Transcript

1. そのasync、止まってない？ ”鉄板”イベントループ ブロッキング処理検出術
2. 自己紹介 • 渡部龍一 • 東京の方から来ました • 株式会社IVRy SRE • お好み焼きはそば派
3. 隠れブロッキング • async/awaitを導入しても同期IOやら重い計算が走るとイ ベントループ全体が停止する • awaitしてればOKでもない ◦ サードパーティのライブラリの深部とかにあるとレ ビューで気づくのは難しい
4. 静的レビュー以外で気づきたい！
5. 手法紹介
6. PYTHONASYNCIODEBUG=1 • asyncioのデバッグモード • イベントループが一定時間以上ブロックされたときに、警 告を出す
8. 解決！！
9. デメリット • 本番環境で使えない（オーバーヘッド） • OSやC拡張（ネイティブコード）内部の詰まりが見えない
10. プロファイラ
11. py-spy でプロファイリング • 稼働中の Python プロセスを停止・変更することなく、プロ ファイラを接続してサンプリング実行 • 低オーバーヘッド: ステージング・検証環境での調査に最 適
13. 解決！！
14. デメリット • C拡張内部のスタックは見えない • asyncioのタスク単位の可視化が不得手 ◦ コルーチンのスタックは物理スレッドのスタックとして見 える ◦ 「どのタスクが遅いか」という非同期アプリで本当に知 りたい情報が取りにくい
15. eBPF
16. eBPF？？ • システムコール、カーネル/ユーザー関数にフックを仕掛 け、OSレベルの動きをリアルタイムに補足 • 低オーバーヘッド • ブラックボックスであるOS側の挙動を可視化
17. eBPF??(2) • Linuxカーネルレイヤーでイベントループスレッドの動作を 追跡 • Off-CPU（停止時間）を捉える
18. 何が嬉しい • イベントループスレッドがどのシステムコール（同期ディス クI/Oやロック待ちなど）で止まったかを知れる • Cのネイティブ拡張であってもシステムコールの引数を表 示することで通信先やポートがわかる
19. 導入の難易度 • C言語やOSの知識が必要
21. 使い分け
22. 手法 適用環境 導入コスト メリット PYTHONASYNCIODEBUG ローカル 極小 Python標準 py-spy staging/pro duction 小 コード変更なし eBPF staging/pro duction 中 OSレベルで原因究明
23. ご清聴ありがとうございました