T系EC2インスタンスのクレジットが回復しないので困った話【DeNA TechCon 2023】

youtube：https://youtu.be/-Hajlh9LMf4

概要：
DeNA TechCon 2021 Winter での Lightning Talks です。

資料内でのリンク集：
p5, https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/burstable-performance-instances-monitoring-cpu-credits.html

◆ You Tube チャンネル登録はこちら↓
https://youtube.com/c/denatech?sub_confirmation=1

◆ Twitter
https://twitter.com/DeNAxTech

◆ DeNA Engineering
https://engineering.dena.com/

◆ DeNA Engineer Blog
https://engineering.dena.com/blog/

◆ DeNA TechCon 2022 公式サイト
https://techcon2022.dena.dev/spring/

Transcript

1. T 系 EC2 インスタンスのクレジットが回復
   しないので困った話
   IT 本部 IT 基盤部第一グループ
   横田 広之
   

   View Slide

2. T 系 EC2 インスタンスとは
   T 系 ＝ バーストパフォーマンス
   ● 制限付きのため料金が安い
   ● 起動時間に応じて CPU クレジットが獲得できる
   ● CPU 使用率がベースラインを超えた場合に CPU クレジットが消費される
   今回お話する EC2 インスタンス
   ● インスタンスタイプ：t3.large
   ● ベースライン CPU 使用率：30 %
   ● 獲得 CPU クレジット：36 クレジット／時間
   ● Unlimited モード
   2
   

   View Slide

3. 何に困ったか
   CPU 使用率がベースラインを下回っているのに CPU クレジット残高が回復しない！
   3
   ■ CPUUtilization
   ■ CPUCreditBalance ■ CPUCreditUsage
   30.0
   

   View Slide

4. 何に困ったか
   CPU 使用率がベースラインを下回ってから約 1 時間 30 分後に回復し始めた
   4
   ■ CPUCreditBalance ■ CPUCreditUsage
   

   View Slide

5. 何が起こっていたか
   CPUSurplusCreditBalance ＝ 残高を超えて使用したクレジット が蓄積していた
   5
   5 分ごとの CPU クレジット残高調整（Unlimited モード）
   ■ CPUSurplusCreditBalance
   Adjusted balance
   = [prior CPUCreditBalance - prior CPUSurplusCreditBalance]
   + [Credits earned per hour * (5/60) - CPUCreditUsage]
   https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/burstable-performance-instances-monitoring-cpu-credits.html
   

   View Slide

6. 何が起こっていたか
   CPU 使用率がベースラインを下回った時点での CPUSurplusCreditBalance と
   1 時間 30 分で獲得する CPU クレジットが一致した
   6
   ■ CPUSurplusCreditBalance
   36 [Credits/hour] * (90 / 60) [hours] = 54 [Credits]
   

   View Slide

7. 対策
   ● CPUSurplusCreditBalance（残高を超えて使用したクレジット）が蓄積された状態で
   インスタンスを停止すると追加で課金されてしまうため回復するまで待つ
   ● Standard モードで起動する
   ○ CPU クレジットを使い切った場合に CPU 使用率が制限される
   ● CPU 使用率がベースラインを長時間超える場合はスペックアップを検討する
   7
   

   View Slide