T系EC2インスタンスのクレジットが回復しないので困った話【DeNA TechCon 2023】

youtube：https://youtu.be/-Hajlh9LMf4

概要：
DeNA TechCon 2021 Winter での Lightning Talks です。

資料内でのリンク集：
p5, https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/burstable-performance-instances-monitoring-cpu-credits.html

◆ You Tube チャンネル登録はこちら↓
https://youtube.com/c/denatech?sub_confirmation=1

◆ Twitter
https://twitter.com/DeNAxTech

◆ DeNA Engineering
https://engineering.dena.com/

◆ DeNA Engineer Blog
https://engineering.dena.com/blog/

◆ DeNA TechCon 2022 公式サイト
https://techcon2022.dena.dev/spring/

Transcript

1. T 系 EC2 インスタンスのクレジットが回復 しないので困った話 IT 本部 IT 基盤部第一グループ 横田 広之
2. T 系 EC2 インスタンスとは T 系 ＝ バーストパフォーマンス • 制限付きのため料金が安い • 起動時間に応じて CPU クレジットが獲得できる • CPU 使用率がベースラインを超えた場合に CPU クレジットが消費される 今回お話する EC2 インスタンス • インスタンスタイプ：t3.large • ベースライン CPU 使用率：30 % • 獲得 CPU クレジット：36 クレジット／時間 • Unlimited モード 2
3. 何に困ったか CPU 使用率がベースラインを下回っているのに CPU クレジット残高が回復しない！ 3 ▪ CPUUtilization ▪ CPUCreditBalance ▪ CPUCreditUsage 30.0
4. 何に困ったか CPU 使用率がベースラインを下回ってから約 1 時間 30 分後に回復し始めた 4 ▪ CPUCreditBalance ▪ CPUCreditUsage
5. 何が起こっていたか CPUSurplusCreditBalance ＝ 残高を超えて使用したクレジット が蓄積していた 5 5 分ごとの CPU クレジット残高調整（Unlimited モード） ▪ CPUSurplusCreditBalance Adjusted balance = [prior CPUCreditBalance - prior CPUSurplusCreditBalance] + [Credits earned per hour * (5/60) - CPUCreditUsage] https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/burstable-performance-instances-monitoring-cpu-credits.html
6. 何が起こっていたか CPU 使用率がベースラインを下回った時点での CPUSurplusCreditBalance と 1 時間 30 分で獲得する CPU クレジットが一致した 6 ▪ CPUSurplusCreditBalance 36 [Credits/hour] * (90 / 60) [hours] = 54 [Credits]
7. 対策 • CPUSurplusCreditBalance（残高を超えて使用したクレジット）が蓄積された状態で インスタンスを停止すると追加で課金されてしまうため回復するまで待つ • Standard モードで起動する ◦ CPU クレジットを使い切った場合に CPU 使用率が制限される • CPU 使用率がベースラインを長時間超える場合はスペックアップを検討する 7