Go Get での checksum 不一致 に遭遇した話とその対応

小島 夏海 @replu5
2023 月 12 月 2 日
Go Conference mini 2023 Winter IN KYOTO
description
本 LT では、 GOPROXY 環境変数や proxy.golang.org の仕様を簡単に紹介し、 go get 時に checksum の不一致に遭遇した時にどうすべきかを実際に遭遇した時の体験談を交えながら紹介します。
ソフトウェア開発の中で利用しているライブラリのアップデート作業は避けられない作業の 1 つです。 Go ではgo getを用いてライブラリのインストールを行いますが、この時 proxy.golang.org に登録されているミラーが実際のコードと異なっていると checksum の不一致が発生します。この事象自体は遭遇頻度が低いため普段意識することはないですが、遭遇した場合は何をすべきなのか迷う方が多いと思います。
本 LT を通じて実施に遭遇した時の行動を共有することで、みなさんが checksum 不一致に遭遇した時の対応の手助けになれば幸いです。

Transcript

1. Go Getでのchecksum不一致 に遭遇した話とその対応 Go Conference mini 2023 Winter, DEC 02 2023 Natsumi Kojima ANDPAD Inc. @replu5
2. 小島 夏海 • 株式会社アンドパッド ◦ 最近は社内向けの通知プラットフォームの開発・運用 : replu : replu5 自己紹介
3. go getでのchecksum不一致
4. go get コマンドでモジュールを取得する時にchecksumの 不一致のエラーに遭遇したことある人いますか？ 遭遇したことがない人は下記コマンドで確認できます GOPROXY=direct go get github.com/replu/eto@v0.0.1
5. 遭遇したエラーについて checksum server の checksum と一致してないのは わかるがここからどうすればいいのかわからなかった
6. go get時にどういう動作をしているか モジュール配布元 checksum server go get xxx 1 : モジュールダウンロード 2 : checksum ダウンロード 3 : 計算したchecksum とダウンロードした checksumと比較 4 : go.modとgo.sum更新
7. go get時にどういう動作をしているか モジュール配布元 checksum server go get xxx 1 : モジュールダウンロード 2 : checksum ダウンロード 3 : 計算したchecksum とダウンロードした checksumと比較 4 : go.modとgo.sum更新
8. エラーの原因 エラーメッセージに考えられる理由が2つ書かれている • オリジンサーバが上書きされている (The bits may have been replaced on the origin server) • ダウンロードが攻撃者に傍受された可能性がある (An attacker may have intercepted the download attempt) オリジンサーバが上書きされているかがわかればよさそう
9. checksumを確認する オリジンサーバで上書きがあったならダウンロードして checksumを計算し、checksum serverのchecksumと比較した 時に異なるはずなので、実際に比較してみる checksumは https://pkg.go.dev/golang.org/x/mod/sumdb/dirhash を使用することで計算可能
10. fileのハッシュを求める open := func(fn string) (io.ReadCloser, error) { return os.Open(fn) } filePath := "go.mod" s, err := dirhash.Hash1([]string{filePath}, open) if err != nil { fmt.Println(err.Error()) } fmt.Println(s) https://go.dev/play/p/7aEARvckJjD
11. directoryのハッシュを求める dir := "eto@v0.0.1" prefix := "github.com/replu/eto@v0.0.1" s, err := dirhash.HashDir(dir, prefix, dirhash.DefaultHash) if err != nil { fmt.Println(err.Error()) } fmt.Println(s) https://go.dev/play/p/UofHVjffeuy
12. ツールを使ってchecksumを求める ツールを利用してもchecksumを確認できる https://github.com/vikyd/go-checksum ディレクトリのchecksumを求める例
13. checksum serverのchecksumを取得する checksum serverに保存されているchecksumは $base/lookup/$module@version で取得でき、デフォルトのchecksum serverの場合 $base = sum.golang.org
14. checksumが一致しないことが確認できたら • checksum serverのchecksumは更新できない ◦ そのバージョンは利用しないようにする ▪ GONOSUMDB を指定することで checksum の確認をしない ようにできるが、攻撃を受けた時に気付けないのでおすすめは しない ◦ 開発者に連絡して、新バージョンをリリースしてもらう ▪ そのライブラリを利用している他ライブラリが新バージョンを 使っていないなら、そちらも更新してもらう必要がある 自分の場合は新バージョンがでていたが、他ライブラリが 新バージョンを使ってなかったので、そちらにissueを作成して連絡 した
15. どうして発生するのか
16. go get時の動作(再喝) モジュール配布元 checksum server go get xxx 1 : モジュールダウンロード 2 : checksum ダウンロード 3 : 計算したchecksum とダウンロードした checksumと比較 4 : go.modとgo.sum更新
17. go get時の動作(再喝) モジュール配布元 checksum server go get xxx 1 : モジュールダウンロード 2 : checksum ダウンロード 3 : 計算したchecksum とダウンロードした checksumと比較 4 : go.modとgo.sum更新 この2つの仕様の違いが原因
18. ダウンロード元とchecksum serverの指定 • GOPROXY ◦ モジュールのダウンロード元を指定する ◦ デフォルトだと proxy.golang.org,direct ▪ directを指定した場合は直接アクセスになる ▪ カンマ区切りまたはパイプ区切りで指定し、前のものから 使用される • GOSUBDB ◦ checksum serverを指定する ▪ デフォルトではsum.golang.org ◦ offを指定した場合は検証を無効化できる
19. proxy.golang.orgとsum.golang.org • proxy.golang.org ◦ 明示的にキャッシュを削除することはできない ▪ 無限に保存されるわけではなく適切なライセンスを 検出できない場合などは一定時間でキャッシュが削除される • sum.golang.org ◦ 一度記録されたら更新・削除されることはない sum.golang.orgに記録された後にオリジンサーバが上書き された場合、proxy.golang.orgのキャッシュが更新される or directでアクセスしているとchecksumが不一致になる
20. まとめ • checksum不一致のエラーに遭遇したらchecksumを確認 して、オリジンサーバに上書きがあったのか確認する ◦ 上書きがあった場合は新バージョンをリリースして もらう必要ある • sum.golang.orgに記録された後で上書きすると問題が 発生するので、一度公開した後は上書きしないように すべき • checksumは https://pkg.go.dev/golang.org/x/mod/sumdb/dirhash を用いることで計算できる
21. 参考文献 • Go Module Mirror, Index, and Checksum Database : https://sum.golang.org/ • Go Modules Reference : https://go.dev/ref/mod
22. おまけ
23. アクセス制限しているモジュールの場合 • GOPRIVATE環境変数を設定する ◦ GOPRIVATEに設定されているモジュールの場合 ▪ モジュールプロキシは利用されず、直接アクセス (GOPROXY=direct相当) ▪ checksumの確認は実施されない
24. 環境変数に設定する値まとめ • GOPRIVATE ◦ プライベートモジュールのパスの接頭辞を指定 • GOPROXY ◦ 公式のプロキシサーバを使いたくない理由がない限り デフォルトで問題なし • GOSUMDB ◦ 公式のchecksum serverを使いたくない理由がない限り デフォルト値で問題なし
25. ご清聴ありがとうございました