Goのパフォーマンス改善

Transcript

1. pprofの使い方 Venture Engineer Meetup #01 -Server Side Night- #eureka_meetup Goのパフォーマンス改善
2. 自己紹介 - 福士 倖也 と申します - ヨットやってました - 青森出身 - Go書いてます（Pairs）
3. Pairs累計会員数６００万人突破！！
4. プロファイリング？ ソフトウェア工学における性能解析または性能分析（英: Performance analysis）とは、動的プログラム解析の一種であり、プログラムの実行 を通して情報を収集することでプログラムの性能を解析することを言う。逆にプログラムを実行せずに行う解析を 静的コード解析と呼ぶ。性能 解析の目的は、実行時間やメモリ使用量を 最適化するためにプログラムのどの部分を改良すべきかを決定することである（ ボトルネック、ア ムダールの法則参照）。 引用：https://ja.wikipedia.org/wiki/性能解析　
5. pprofとは？ https://github.com/google/pprof プロファイルをProtocol Buffer形式で読み込んで、 レポーティングや可視化を行い、解析しやすくするためのツール
6. pprofとは？ https://golang.org/pkg/runtime/pprof/ https://golang.org/pkg/cmd/pprof/ Goではpprofのラップパッケージ が標準で用意されている
7. pprofについて 下記のプロファイリングが可能 1. goroutine 2. heap 3. threadcreate 4. block 5. mutex 6. cpu
8. pprofについて 下記のプロファイリングが可能 1. goroutine 2. heap 3. threadcreate 4. block 5. mutex 6. cpu goroutineのstacktrace
9. 下記のプロファイリングが可能 1. goroutine 2. heap 3. threadcreate 4. block 5. mutex 6. cpu pprofについて heapのGC・アロケーション
10. pprofについて 下記のプロファイリングが可能 1. goroutine 2. heap 3. threadcreate 4. block 5. mutex 6. cpu 新規のthreadの生成
11. pprofについて 下記のプロファイリングが可能 1. goroutine 2. heap 3. threadcreate 4. block 5. mutex 6. cpu wait状態のgoroutine
12. pprofについて 下記のプロファイリングが可能 1. goroutine 2. heap 3. threadcreate 4. block 5. mutex 6. cpu wait状態のgoroutine（mutexのみ）（go1.8から追加）
13. pprofについて 下記のプロファイリングが可能 1. goroutine 2. heap 3. threadcreate 4. block 5. mutex 6. cpu 関数の実行時間
14. 下記のプロファイリングが可能 1. goroutine 2. heap 3. threadcreate 4. block 5. mutex 6. cpu pprofについて この２つについて話します
15. pprofを使う プロファイルを作る方法は3種類 1. testing 2. runtime/pprof 3. net/http/pprof
16. プロファイルを作る方法は3種類 1. testing 2. runtime/pprof 3. net/http/pprof pprofを使う
17. pprofを使う いつものベンチマークにフラグを追加 1. memprofile 2. cpuprofile % go test -bench=. -memprofile=mem.out -cpuprofile=cpu.out
18. プロファイルを作る方法は3種類 1. testing 2. runtime/pprof 3. net/http/pprof プロファイルを作る
19. プロファイルを作る - CPU - StartCPUProfile と StopCPUProfile で囲む
20. プロファイルを作る - Heap - WriteHeapProfile を直後に
21. プロファイルを作る方法は3種類 1. testing 2. runtime/pprof 3. net/http/pprof プロファイルを作る
22. プロファイルを作る net/http/pprof をimport http.ListerAndServe でhttpサーバーを起動
23. pprofを使う できたプロファイルを - CPU % go tool pprof slice.test cpu.out - Heap % go tool pprof slice.test --alloc_space mem.out
24. pprofを使う または - CPU % go tool pprof http://localhost:6060/debug/pprof/profile - Heap % go tool pprof http://localhost:6060/debug/pprof/heap
25. pprofを使う - CPUから見ていきます
26. pprofを使う（CPU） よく使うコマンド - top - list - web
27. よく使うコマンド - top - list - web pprofを使う（CPU）
28. pprofを使う（CPU） 上位のサンプルを表示
29. pprofを使う（CPU） 関数自体の実行時間
30. pprofを使う（CPU） flat値の全体に対して占める割合
31. pprofを使う（CPU） 累計値
32. pprofを使う（CPU） ほかの関数呼び出しも含めた時間
33. pprofを使う（CPU） cum値の全体に対して占める割合
34. pprofを使う（CPU） cumで並べることも可能
35. よく使うコマンド - top - list - web pprofを使う（CPU）
36. pprofを使う（CPU） ソースコード上で時間を表示
37. pprofを使う（CPU） flat
38. pprofを使う（CPU） cum
39. よく使うコマンド - top - list - web pprofを使う（CPU）
40. svg形式で可視化 1. 矢印が太いほど 2. 四角が大きいほど 時間がかかっている pprofを使う（CPU）
41. 関数に関連する部分だけに絞れる pprofを使う（CPU）
42. pprofを使う（Heap） - 次はHeap
43. よく使うコマンド - top - list - web pprofを使う（Heap）
44. pprofを使う（Heap）
45. よく使うコマンド - top - list - web pprofを使う（Heap）
46. pprofを使う（Heap）
47. よく使うコマンド - top - list - web pprofを使う（CPU）
48. pprofを使う（Heap）
49. pprof 実践 実際にOSSのプロダクトで試してみようと思います
50. pprof 実践 https://github.com/sirupsen/logrus
51. pprof 実践 CPUから見ていく % go test -bench=. -memprofile=mem.out -cpuprofile=cpu.out % go tool pprof logrus.test cpu.out
52. pprof 実践 (pprof) top20 -cum
53. pprof 実践 気になる
54. pprof 実践 (pprof) list TextFormatter\)\.Format
55. pprof 実践 気になる
56. pprof 実践 (pprof) list printColored
57. pprof 実践
58. pprof 実践 fmt.Fprintfを使わないように直していく
59. pprof 実践 まず fmt.Fprintf(“%-44s”, ...) と同等の処理を実装
60. pprof 実践 少し早くなった
61. pprof 実践 さらに []byteで文字列連結
62. pprof 実践 - printColored - 2.11s→1.68s
63. pprof 実践
64. pprof 実践 https://github.com/golang/go/wiki/CompilerOptimizations#range-over-bytes
65. pprof 実践 早くなった
66. pprof 実践 - needsQuoting - 360ms→200ms
67. pprof 実践 - (*TextFormatter).Format - 7.45s→7.03s
68. まとめ - 地道 - 正しく 計測することが大切 - ローカルでプロファイル作るなら、ちゃんと偏らないように Benchmark書く - 実行するたびに数字が微妙に増減するので、何度もやってみる - Goの知識が必要 - ボトルネックがわかっても、改善する方法を知らないと、、 - https://github.com/golang/go/wiki/Performance - https://github.com/golang/go/wiki/CompilerOptimizations - https://blog.golang.org/profiling-go-programs - などなど
69. ご清聴ありがとうございました