リンカを変えてgo buildを 速く出来るか

hatena.go 5分LTの発表資料

https://hatena.connpass.com/event/307931/

1. リンカを変えてgo buildを 速く出来るか hatena.go #1 Jan. 31 2024 - nasa © 2024 Wantedly, Inc.
2. 今日話すこと • 速いリンカに切り替えるモチベーション • リンカとは • moldの紹介 • 任意のリンカをgolangのビルドに利用する方法 • golangのリンカを高速リンカmoldに変更してみた結果 © 2024 Wantedly, Inc.
3. モチベーション なぜより速いリンカが欲しいのか • コンパイル時間を減らしたいから • goは差分コンパイル • なのですべてが再コンパイルされるわけじゃないがリンクは毎回実行される • リンク時間が短くなれば試行回数が増やせる © 2024 Wantedly, Inc.
4. リンカとは プログラムの断片をつなぎ合わせ実行ファイルを作る © 2024 Wantedly, Inc. 引用元: https://speakerdeck.com/nasa_desu/rogukaraxue-bugo-build
5. moldとは © 2024 Wantedly, Inc. Rui Ueyama さんが開発してる高速リンカ 引用元: https://github.com/rui314/mold/blob/main/docs/comparison.png
6. 任意のリンカを利用する © 2024 Wantedly, Inc.
7. 内部リンカ・外部リンカ • 内部リンカ、外部リンカのどちらかでリンクされる • 内部リンカ ◦ golang用にスクラッチで実装されたものが内部リンカ • 外部リンカ ◦ clang, GCCなど © 2024 Wantedly, Inc.
8. 内部リンカ・外部リンカ • なぜ２つを使い分けるのか ◦ internal linkerだけではリンクできない状況が存在する ◦ 具体的な条件は分からなかった。。。 ◦ 詳しい人が居たら教えてください ◦ CGOが絡むと外部リンカを使っているっぽい © 2024 Wantedly, Inc.
9. 任意の外部リンカを使う © 2024 Wantedly, Inc. • 右図が全体像 ◦ 1. go build ◦ 2. go tool link ◦ 3. external linker(frontend) ◦ 4. linker
10. 任意の外部リンカを使う © 2024 Wantedly, Inc. • go buildからgo tool linkを呼んでる • `ldflags`オプションでlinkコマンドのフラグ指定 • linkmodeでリンカ内部リンカ・外部リンカのどちらを使 用するか決める $ go build -ldflags="-linkmode=external
11. 任意の外部リンカを使う © 2024 Wantedly, Inc. • extldflagsでコンパイラで外部リンカに任意のフラグを 渡せる • gccでは`-fuse-ld`でリンカを指定できる $ go build -ldflags="-linkmode=external -extldflags=-fuse-ld=mold -extld=gcc"
12. 任意の外部リンカを使う © 2024 Wantedly, Inc. go build → go tool link → gcc → 任意のリンカという依存関係
13. どのリンカが速いのか計測 © 2024 Wantedly, Inc.
14. 環境 © 2024 Wantedly, Inc. • 実行環境 ◦ AWS EC2 ◦ インスタンスタイプ: c5.xlarge ◦ CPU: 4 ◦ Memory: 8GiB
15. 環境 © 2024 Wantedly, Inc. • versions ◦ go1.21.4 linux/amd64 ◦ gcc 11.4.0 ◦ lld 14.0.0 ◦ gold 1.16 ◦ mold 2.4.0
16. 環境 © 2024 Wantedly, Inc. • 計測方法 ◦ go build -x -workで必要なファイルを生成 + linkコマンドを把握 ◦ -x: go tool linkコマンドがログに出るのでメモる ◦ -work: 中間結果を保存する • /usr/local/go/pkg/tool/linux_amd64/linkを実行 • この時間を計測した(10回の平均)
17. 計測結果 internal gold lld mold hello world 179ms 274ms 370ms 271ms k9s 4.5s 7.3s 5.5s 5.4s jujud 11.6s 17.4s 14.3s 14.9s © 2024 Wantedly, Inc. ※ k8sの誤字ではないです
18. 計測結果 internal linkerが一番速い 代替のリンカはまだ無いみたい © 2024 Wantedly, Inc.
19. 計測結果 internal lld mold hello world 179ms 370ms 271ms k9s 4.5s 5.5s 5.4s jujud 11.6s 14.3s 14.9s © 2024 Wantedly, Inc. ところでinternalとmoldで2,4秒もの差が出るんだろう？
20. 続・リンカを変えてgo buildを速 く出来るか © 2024 Wantedly, Inc.
21. whoami © 2024 Wantedly, Inc. nasa (Asan Kondo) • Wantedly, Inc. (2021-04-) ◦ 推薦基盤チーム ◦ Backend中心にあれこれやってる • ハンドルネームnasaを追い求める民 ◦ X(Twitter): @nasa_desu ◦ GitHub: @k-nasa
22. we are めっちゃ hiring © 2024 Wantedly, Inc.