argo-rolloutsにコミットした話

Kanazawa.rb meetup #152 でLTしたときの資料です。

Transcript

1. argo-rolloutsに コミットした話 2025-04-19 Kanazawa.rb meetup #152 Takayuki Takagi
2. 自己紹介 • Takayuki Takagi (髙木貴之 / ニボシーニョ) • @TAKAyuki_atkwsk / takayukiatkwsk • SRE @ ZOZO • AWS, Kubernetes, Scala, Ruby, Go, etc. • ビール、餃子、サッカー観戦が好き 2
3. 今日の話 • argo-rolloutsというOSSにコミットした ◦ 些細な修正 • バグの発見・調査・対応の流れについて話す
4. argo-rolloutsについて • Kubernetesにおいて安全かつ段階的にソフトウェアをリリースす るための仕組み（コントローラー） ◦ blue-green ◦ カナリアリリース ◦ ロールアウトスピードの調整 ◦ メトリクスによる続行・ロールバックの自動判断 ◦ トラフィックの重み付け （ちなみに）Kubernetes自体にもローリングアップデートを実現する仕組みはある
5. argo-rolloutsとの関わり • 弊チームで受け持つサービス基盤に導入済み • 導入事例についてはチームメンバーが書いた技術ブログを読んでみてくだ さい #PR ◦ Argo Rolloutsを導入してカナリアリリースを実現する ◦ https://techblog.zozo.com/entry/argo-rollouts-canary-release
6. 簡単に説明 api:v2 api:v1 api:v2 api:v2 Datadog LB メトリクス api:v2 api:v1 api:v1 api:v1 argo- rollouts step • 25％ • 50％ • 100％ 集計された メトリクスを取得
7. 簡単に説明 api:v1 api:v2 api:v1 api:v2 api:v2 Datadog LB メトリクス api:v2 api:v1 api:v1 argo- rollouts step • 25％ • 50％ • 100％ 集計された メトリクスを取得 v2でエ ラー多発
8. バグらしきものを見つけた • argo-rollouts v1.8.0に更新 • ロールアウトが失敗するようになった ◦ 設定は変えていない • Datadog APIのクレデンシャルが見つけられない旨のエラーメッ セージが出力される • v1.7.xでは再現せず • バグかもしれないと疑い始める
9. 調査 • Issueを探す ◦ 同様の事象はヒットせず • ソースコードを読む ◦ クレデンシャルを参照する処理がv1.8.0で変更されているのを発見 ◦ 自分なりに原因箇所を特定 ▪ 設定関連（Secret）が怪しい • さてこの後どうするか？
10. 対応 • 導入済みの環境について ◦ 明示的に設定項目を追加するという回避策はある ◦ が、設定方法の関係で少し冗長になる • バグを直す ◦ 原因と思われる箇所を特定したので何とか直せそう ◦ 念のため詳しい人の意見も聞いておきたい • 対応方針を決めた ◦ 暫定的に設定を変えてargo-rolloutsのバージョンを上げて運用する ◦ Issueを出して適切な方策を探る
11. 補足）原因箇所 • Datadogの設定をSecretリソースとして定義する ◦ APIに接続するための設定 • Secretを読んだあと、required設定がなされているかのチェック ◦ ここでaddressもチェックされていて、クレデンシャルが見つからな いよというエラーになっていたと考えられる required required optional
12. Issue作成 • Issue作成時に目的を聞かれる • テンプレートに沿って記入 ◦ この時点では原因と思われることは記 入せず様子見 https://github.com/argoproj/argo-rollouts/issues/4103
13. Issueにて • コミッターからアドバイスを頂く（当日中！） • 私からの返信 ◦ アドバイスを試してみたものの挙動が変わらないことの報告 ◦ 原因と思われる箇所についてどう思うか？ • 他のコミッターからのコメント ◦ 原因それやね ◦ 君が見つけたのならPull request出してみたら？と提案受ける • Pull requestを作成する流れに
14. Pull request作成 • 作成前にCONTRIBUTING.mdを読む • 該当箇所の修正 + ユニットテストの追加 • Pull request作成 ◦ テンプレート内にチェックリストがあるので対応する
15. https://github.com/argoproj/argo-rollouts/pull/4145
16. まとめ • 無事にマージされ、v1.8.1としてリ リースされた • 手続きに沿いながら解決できてよ かった • 初のコミットだったものの、コミッ ターからアドバイス等いただけて安 心した