2017 COSCUP：用 GCC 讓你的 PostgreSQL 在運行上噴噴噴

在這篇簡報當中，我們分析了 PostgreSQL 在運行時間上的瓶頸，並提出各種可能的解決方案。我們先利用機器學習的方式，尋找可能的優化編譯器參數。再用消去的方式，留下特定的參數，以確保編譯器優化能夠同時兼顧穩定性與效能提高。

成功的將效能提升了 12%，讓 PostgreSQL 效能開始噴噴噴

Transcript

1. 欽 GCC 雊⡹涸 PostgreSQL 㖈麌遤♳ 㑑㑑㑑  Applying Compiler Optimizations in PostgreSQL
2. Speaker
3. • 卌㸻⤧ • Software Engineer
4. PostgreSQL • 罉꠸〭䧮⨞涸㖈 鄄❜➰涸痧♧갪⟤⹡ • Open source (剤 source code) • PostgreSQL License (BSD-like License)鯱㻫논 • 剓䑞岌⢪欽涸Ꟛ佞⾲㨥焺须俲䏨⛓♧
5. Compiler ♧⦐牟猽涸䊨Ⱘ
6. 〳⟃䟝⫹ Compiler 僽♧〵缺陼堥 Compiler machine code source code
7. Compiler • ⫹僽♧⦐ Google 缺陼Google 缺陼〳⟃䪾薊俒缺 陼䧭⚥俒罜  ⵱僽㼟➃⦛㻨涸玑䒭铃鎊缺陼䧭堥㐼〳 ⟃㛂遤涸堥㐼铃鎊 • 穪㼩♶腋㣁缺陼ꐫ铐 • 缺陼涸ㅷ颶䖎ꅾ銴 • 剤⿡ꤑⱔ鑂飢㶶涸腋⸂ source code . . . Compiler .c .c .c .o .o .o Compiler Compiler Linker object file executable
8. 鸏⦐缺陼堥〳⟃⨞♧⟝䖎ꅾ銴涸✲ ⿡ꤑⱔ鑂飢㶶 铃䠑刿⸈礶矦彋焷 佪腋㽠㑑ⴀ⢵✫
9. Compiler Optimization 管陼㐼⮛⻋
10. Dead Code Elimination (⿡ꤑⱔ鑂飢㶶) • 䪾㢵⨞涸✲䞕窍獵ꤑ♶剚䕧갠玑䒭剓穅涸㛂遤穡卓
11. Function Call Inline (荈䊹⢵) • ⾲劥僽㨽鎷ⴽ➃䍲⡹⨞✲䞕⡎僽㨽鎷ⴽ➃㣖란撖✫✝腛荈䊹 ⢵ 㨽鎷Paul SayHello SayHello 溁䱈㨽鎷ⴽ➃涸儘꟦  溁䱈ㄎ〭ⴅ䒭涸儘꟦
12. 齡捀➊랃♶銴䪾䨾剤涸 function 鿪 inline 㽠㥪✫ヤ 鿪♶剚剤ⴅ䒭ㄎ〭✫ ⡂⛖♶ꐫ妨
13. inline 鿪♧㹁鿪腋㣁䌟⢵㥪贖㌨ • inline 剚鸤䧭㛂遤墂隶㣐 Alice 騈 Mary 鿪䪾㨽鎷窍 Paul ⨞涸✲䞕䭭 㔐⢵荈䊹⨞ぐ荈鿪銴剤♧⟨湱ず涸乽⡲䭸⽂麕㢵ⶰ劥)搂岁佞㖈ず ♧⦐ cache ⚥㺂僒鸤䧭 cache miss⿾罜⩔ꧽ♶衽躮䪾碜 • ⨞⮛⻋ v.s. ♶⨞⮛⻋ NO!!!
14. 管陼㐼⮛⻋涸鶵䙼 • 管陼㐼䨾⨞涸⮛⻋⚛♶⥃阮㛂遤儘劍〳⟃䖤ⵌ鯱㥪涸㛂遤佪腋 • ⚂⨞✫厥❉⮛⻋倰岁〳腋剚鸤䧭Ⱖ㸐⮛⻋倰岁搂岁⨞䧴搂佪
16. 䩧灶管陼㐼⮛⻋♳涸ꣳⵖ • 〳⟃鷴麕㛂遤儘劍涸遤捀⢵䒸㼬管陼㐼㥶⡦⨞⮛⻋ • 管陼 㛂遤 管陼 㛂遤 ˘ compiler execution of program
17. 〥㢫♧⦐ꨈ겗  麕㢵涸⮛⻋穉ざ • GCC 籏Ⱏ剤♧涰㢵珏⮛⻋倰岁䨾剤⮛⻋倰岁涸穉ざ侸ꆀ僽♧ ⦐㣔俒侸㶶 涸♧涰㢵妄倰 • 管陼♧妄 PostgreSQL 㽠銴 ⴕꗻ䊩〸蕰僽〫剤 妄 管陼儘꟦㽠꨾銴 㣔鼩♶⺫䭍㛂遤儘꟦ • ⢪欽 ⿡㼦䪪♴♧⦐〳腋鯱⢕涸⮛⻋穉ざ䢩䢩鹧鵜 剓⢕涸⮛⻋穉ざ
18. 鼩剤♧⦐ꨈ겗 ˊ 玑䒭⮛⻋涸〳腋䚍㣐㌨ • CPU bound v.s. IO bound • 鑨铞㔐⢵䨾⟃ PostgreSQL ⮛⻋涸〳腋䚍㣐㌨
19. PostgreSQL 莅 Compiler 涸佦✲ • 管陼㐼⮛⻋㼩 PostgreSQL 㛂遤佪腋涸䕧갠 • -O0 㸤♶⨞⮛⻋湬䱺缺陼 • -O3 ⨞✫㣐鿈ⴕ涸⮛⻋倰岁 • -O3 涸㛂遤佪腋秉捀 -O0 涸 1.5⦔ • PostgreSQL 㛂遤佪腋僽剚「ⵌ管陼㐼⮛⻋䕧갠涸 • 佖⮛⻋⿮侸〳⟃⢵⮛⻋ PostgreSQL㟞⸈㛂遤♳涸佪腋 0 0.5 1 1.5 2 CentOS Ubuntu Compiler Sensitive O0 O3
20. PostgreSQL ⮛⻋涸堥剚㖈ㆭ酭 ꨾銴䭸䒸僈騟鸒䖃⮛⻋涸⨀㣐菕麥
21. Function cycles 嫲⢿ⴕ區 Self Command Shared Object Symbol 4.40% postgres postgres AlloSetAlloc 3.66% postgres postgres SearchCatCache 3.58% postgres postgres base_yyparse 2.09% postgres postgres hash_search_with_hash_value 1.17% postgres libc-2.17.so __strcmp_sse42 1.15% postgres postgres palloc 1.13% postgres postgres MemoryContextAllocZeroAligned 0.98% postgres postgres expression_tree_walker 0.94% postgres postgres core_yylex 0.88% postgres postgres LWLockAttemptLock 0.87% postgres libc-2.17.so vfprintf 0.85% postgres libc-2.17.so _int_malloc
22. Function total self PostgresMain 83.73% 0.80% pg_plan_queries 27.92% 0.07% pg_plan_query 27.80% 0.10% standard_planner 27.65% 0.24% subquery_planner 24.18% 0.22% grouping_planner 22.00% 0.80% query_planner 20.41% 0.12% Call graph ⴕ區
23. baseline (default) • 剤鏪㢵 function 〫僽㋲秫鄄欽⢵ㄎ〭Ⱖ 㸐 function 罜䊺 • 鸤䧭㣐ꆀ涸 function call overhead
24. Benchmark • pgbench, select-only mode • PⰗ぀莅CⰗ぀㣐鿈ⴕ涸须俲䏨⢪欽䞕屣鿪僽隡《⡥穪㣐㢵侸 • 须俲䏨ⴲ㨥㣐㼭 13MB 10蠝瘘 • 幾㼱 IO 䕧갠 • 4000 瘘Ⰽ⦐狲䬺 ♧〵堥㐼 • 㛂遤儘꟦5 mins CPU Intel® Core™ i7-6700 Memory 16GB OS CentOS 7.3 Compiler GCC 5.4.0 PostgreSQL 9.6.2
25. 4⼪瘘 㻜뀿穡卓 (12% improvement) 0.9 0.95 1 1.05 1.1 1.15 baseline O2 O3 O2 flto O2 finline-functions O2 flto finline- functions CentOS CentOS 1.12 1.03 1.04
26. 㻜뀿穡卓 • -finline-functions • 㼟䨾剤 functions 鿪罌䣂䱰欽 inline⽰⢪㸐⦛劢鄄㹒デ捀  • ㄎ〭 function 涸겙㢫頾二㼟鄄嶋ꤑ • -flto (linking time optimization) • 㖈鸮穡儘劍㼟䨾剤銴鄄鸮穡涸 object file ざ⢘㖈♧饱⨞⮛⻋ • 管陼㐼涸⮛⻋莅ⴕ區〳騗麕 object file • 鸏Ⰽ⦐⮛⻋ず儘䩧Ꟛ⤑〳㼟㖈〥㢫♧⦐ object file 涸 function 窍 inline 鹎⢵
27. -O2 –finline-functions –flto • 㼟鏪㢵〫僽㋲秫⿡ㄎ〭Ⱖ㸐 function 涸 function 窍 inline • function call overhead
28. Conclusion • 管陼㐼⮛⻋僽ꬆ䢀涸遤捀⚛搂岁濼麥玑䒭㛂遤儘涸朜䢀 • 㛂遤儘劍涸遤捀䒸㼬衽管陼㐼㥶⡦⿡⨞⮛⻋〳⟃䖤ⵌ鯱⢕涸㛂遤佪腋 • 管陼㐼⮛⻋涸佪卓僽䕹姽✽湱⸈⛨⡲欽涸 • 㖈 PostgreSQL ♳〳䖤ⵌ 12% 涸㛂遤佪腋佖㊥
29. MySQL 0 10 20 30 40 50 60 70 80 90 100 110 120 130 innodb (mixed mode) myisam (write only) MySQL baseline (-O3) optimized 114.23 % 117.59 %
30. Evaluate • build system • makefile • cmake • automake • bazel • high watermark (-O0) / low watermark (-O3) • Compiler sensitive – The performance distance between watermarks • https://blog.skymizer.com/evaluate_tutorial/
31. Cat System Workshop • ♶㹁劍鹋✳儻♳
32. Thank you Contact: tclin@skymizer.com