タップルでSLOを導入した話 /tapple-slo

マッチングサービス開発の裏側Nightで発表したスライドです！
コメントがあれば遠慮なくtwitterにも声かけてください ^^

https://diverse.connpass.com/event/100488/

Transcript

1. VALVERDE ANTONIO タップルでSLOを導⼊入した話
2. PROFILE VALVERDE SALMERON ANTONIO • 2013/11 ~ サイバーエージェント • 2015/12 ~ マッチングエージェント Currently working as SRE @tokageroro @toniov
3. OUR SERVICE
4. TAPPLE SRE TEAM SITE RELIABILITY ENGINEERING TEAM サービスが急成⻑⾧長している中で 攻めの部分だけじゃなく、 守りの部分も強化するために作った
5. AGENDA ‣ SLI, SLO, SLA定義 ‣導⼊入 ‣運⽤用 ‣最後に
6. SLI SLO SLA
7. SLI SLO SLA
8. SLA SERVICE LEVEL AGREEMENT
9. SLA サービスの提供者とその利利⽤用者の 間で結ばれるサービス⽔水準に関す る合意である SLA
10. SLA 例例）CSへの問い合わせ - 返事時間 → ３時間内 - 罰則 → カード５０枚を付与
11. SLO SERVICE LEVEL OBJECTIVE
12. SLO ⼀一定期間内に顧客に提供するサー ビスについての評価基準や⽬目標を 示すもの
13. SLO 例例）CSへの問い合わせ - 返事時間 → ３時間内
14. SLI SERVICE LEVEL INDICATOR
15. SLI サービスレベルを測るための指標 である
16. SLI 例例） CSへの問い合わせの返事時間
17. SLI SLO SLA
18. SLI SLO SLA
19. タップルで SLOを導⼊入しました
20. どこから始めようか。。
21. スモールスタートがおすすめ
22. 導⼊入について サーバー側のメトリックスから始めた SLI Type SLO APIレスポンスタイム Latency 9?% requests < ?ms APIレスポンスタイム Latency 99.?% requests < ?ms API成功率 Availability 99.?% メンテ率 Availability 99.?%
23. 導⼊入について ‣ Time window → １週間 ‣ 監視 → Kibana & DatadogのDashboardとScreenboard ‣ アラート → Datadogで設定して、Slackに流す ‣ Error Budget → 検討中
24. 導⼊入について ARCHITECTURE
25. 導⼊入について 導⼊入したメリット ▸ 新しい指標を追うようになる ▸ 不不具合防御 ▸ システム改善 ▸ ユーザーとの合意 ▸ いい⽂文化を作る ▸ 社外・社内アピール
26. 運⽤用の話し
27. 運⽤用について ▸①SLI,SLO選定 ▸②可視化 ▸③改善点出し ▸④改善 ▸⑤監視追加 ▸運⽤用（①〜⑤を繰り返す）
28. 運⽤用について 毎週エンジニア定例例でSLOの値に関してメン バーでチェックする
29. 最後に
30. システムの信頼性 SLOってどうやってSREに繋がる？
31. 最後に SLOは⽣生きているものである ▸項⽬目増加 ▸チューニング でサービスの信頼性を上げていく
32. 参考 ▸ Site Reliability Engineering ➡ Betsy Beyer, Chris Jones, Jennifer Petoff and Niall Richard Murphy ▸ The Site Reliability Workbook ➡ Betsy Beyer, Niall Richard Murphy, David K. Rensin, Kent Kawahara and Stephen Thorne
33. ご清聴ありがとうございました