タップルでSLOを導入した話 /tapple-slo

B5e297a3f1b8a2a5d8c5174ffaf8dd07?s=47 Antonio V
September 28, 2018

タップルでSLOを導入した話 /tapple-slo

マッチングサービス開発の裏側Nightで発表したスライドです!
コメントがあれば遠慮なくtwitterにも声かけてください ^^

https://diverse.connpass.com/event/100488/

B5e297a3f1b8a2a5d8c5174ffaf8dd07?s=128

Antonio V

September 28, 2018
Tweet

Transcript

  1. VALVERDE ANTONIO タップルでSLOを導⼊入した話

  2. PROFILE VALVERDE SALMERON ANTONIO • 2013/11 ~ サイバーエージェント • 2015/12

    ~ マッチングエージェント Currently working as SRE @tokageroro @toniov
  3. OUR SERVICE

  4. TAPPLE SRE TEAM SITE RELIABILITY ENGINEERING TEAM サービスが急成⻑⾧長している中で 攻めの部分だけじゃなく、 守りの部分も強化するために作った

  5. AGENDA ‣ SLI, SLO, SLA定義 ‣導⼊入 ‣運⽤用 ‣最後に

  6. SLI SLO SLA

  7. SLI SLO SLA

  8. SLA SERVICE LEVEL AGREEMENT

  9. SLA サービスの提供者とその利利⽤用者の 間で結ばれるサービス⽔水準に関す る合意である SLA

  10. SLA 例例)CSへの問い合わせ - 返事時間 → 3時間内 - 罰則 → カード50枚を付与

  11. SLO SERVICE LEVEL OBJECTIVE

  12. SLO ⼀一定期間内に顧客に提供するサー ビスについての評価基準や⽬目標を 示すもの

  13. SLO 例例)CSへの問い合わせ - 返事時間 → 3時間内

  14. SLI SERVICE LEVEL INDICATOR

  15. SLI サービスレベルを測るための指標 である

  16. SLI 例例) CSへの問い合わせの返事時間

  17. SLI SLO SLA

  18. SLI SLO SLA

  19. タップルで SLOを導⼊入しました

  20. どこから始めようか。。

  21. スモールスタートがおすすめ

  22. 導⼊入について サーバー側のメトリックスから始めた SLI Type SLO APIレスポンスタイム Latency 9?% requests <

    ?ms APIレスポンスタイム Latency 99.?% requests < ?ms API成功率 Availability 99.?% メンテ率 Availability 99.?%
  23. 導⼊入について ‣ Time window → 1週間 ‣ 監視 → Kibana

    & DatadogのDashboardとScreenboard ‣ アラート → Datadogで設定して、Slackに流す ‣ Error Budget → 検討中
  24. 導⼊入について ARCHITECTURE

  25. 導⼊入について 導⼊入したメリット ▸ 新しい指標を追うようになる ▸ 不不具合防御 ▸ システム改善 ▸ ユーザーとの合意

    ▸ いい⽂文化を作る ▸ 社外・社内アピール
  26. 運⽤用の話し

  27. 運⽤用について ▸①SLI,SLO選定 ▸②可視化 ▸③改善点出し ▸④改善 ▸⑤監視追加 ▸運⽤用(①〜⑤を繰り返す)

  28. 運⽤用について 毎週エンジニア定例例でSLOの値に関してメン バーでチェックする

  29. 最後に

  30. システムの信頼性 SLOってどうやってSREに繋がる?

  31. 最後に SLOは⽣生きているものである ▸項⽬目増加 ▸チューニング でサービスの信頼性を上げていく

  32. 参考 ▸ Site Reliability Engineering ➡ Betsy Beyer, Chris Jones,

    Jennifer Petoff and Niall Richard Murphy ▸ The Site Reliability Workbook ➡ Betsy Beyer, Niall Richard Murphy, David K. Rensin, Kent Kawahara and Stephen Thorne
  33. ご清聴ありがとうございました