Upgrade to Pro — share decks privately, control downloads, hide ads and more …

T系EC2インスタンスのクレジットが回復しないので困った話【DeNA TechCon 2023】

T系EC2インスタンスのクレジットが回復しないので困った話【DeNA TechCon 2023】

youtube:https://youtu.be/-Hajlh9LMf4

概要:
DeNA TechCon 2021 Winter での Lightning Talks です。

資料内でのリンク集:
p5, https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/burstable-performance-instances-monitoring-cpu-credits.html

◆ You Tube チャンネル登録はこちら↓
https://youtube.com/c/denatech?sub_confirmation=1

◆ Twitter
https://twitter.com/DeNAxTech

◆ DeNA Engineering
https://engineering.dena.com/

◆ DeNA Engineer Blog
https://engineering.dena.com/blog/

◆ DeNA TechCon 2022 公式サイト
https://techcon2022.dena.dev/spring/

DeNA_Tech

March 06, 2023
Tweet

More Decks by DeNA_Tech

Other Decks in Technology

Transcript

  1. T 系 EC2 インスタンスのクレジットが回復
    しないので困った話
    IT 本部 IT 基盤部第一グループ
    横田 広之

    View full-size slide

  2. T 系 EC2 インスタンスとは
    T 系 = バーストパフォーマンス
    ● 制限付きのため料金が安い
    ● 起動時間に応じて CPU クレジットが獲得できる
    ● CPU 使用率がベースラインを超えた場合に CPU クレジットが消費される
    今回お話する EC2 インスタンス
    ● インスタンスタイプ:t3.large
    ● ベースライン CPU 使用率:30 %
    ● 獲得 CPU クレジット:36 クレジット/時間
    ● Unlimited モード
    2

    View full-size slide

  3. 何に困ったか
    CPU 使用率がベースラインを下回っているのに CPU クレジット残高が回復しない!
    3
    ■ CPUUtilization
    ■ CPUCreditBalance ■ CPUCreditUsage
    30.0

    View full-size slide

  4. 何に困ったか
    CPU 使用率がベースラインを下回ってから約 1 時間 30 分後に回復し始めた
    4
    ■ CPUCreditBalance ■ CPUCreditUsage

    View full-size slide

  5. 何が起こっていたか
    CPUSurplusCreditBalance = 残高を超えて使用したクレジット が蓄積していた
    5
    5 分ごとの CPU クレジット残高調整(Unlimited モード)
    ■ CPUSurplusCreditBalance
    Adjusted balance
    = [prior CPUCreditBalance - prior CPUSurplusCreditBalance]
    + [Credits earned per hour * (5/60) - CPUCreditUsage]
    https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/burstable-performance-instances-monitoring-cpu-credits.html

    View full-size slide

  6. 何が起こっていたか
    CPU 使用率がベースラインを下回った時点での CPUSurplusCreditBalance と
    1 時間 30 分で獲得する CPU クレジットが一致した
    6
    ■ CPUSurplusCreditBalance
    36 [Credits/hour] * (90 / 60) [hours] = 54 [Credits]

    View full-size slide

  7. 対策
    ● CPUSurplusCreditBalance(残高を超えて使用したクレジット)が蓄積された状態で
    インスタンスを停止すると追加で課金されてしまうため回復するまで待つ
    ● Standard モードで起動する
    ○ CPU クレジットを使い切った場合に CPU 使用率が制限される
    ● CPU 使用率がベースラインを長時間超える場合はスペックアップを検討する
    7

    View full-size slide