AWSの鉄板サーバーレス構成でChatOpsを構築してToilを大幅に削減した話 / Using chatops by serverless architecture for toil reduction

Title
AWSの鉄板サーバーレス構成でChatOpsを構築してToilを大幅に削減した話

Overview
日々の業務で発生する運用作業の自動化の一例として、AWS環境におけるサーバーレスアーキテクチャで構成されたChatOpsを導入した経緯、及び導入効果についてご紹介いたします。

Speaker
市橋 由規 Yoshiki Ichihashi （開発部 SREチーム）

2019/07/25 ZOZO Technologies Meetup #11 for SRE Engineer
https://zozotech-inc.connpass.com/event/136159/
#zozotech_meetup

Transcript

1. 株式会社ZOZOテクノロジーズ
 開発部 SREチーム
 市橋　由規 Copyright © ZOZO Technologies, Inc. AWSの鉄板サーバーレス構成で
 ChatOpsを構築してToilを大幅に削減した話
 1
2. © ZOZO Technologies, Inc. 株式会社ZOZOテクノロジーズ
 開発部
 SREチーム 市橋 由規
 
 ZOZOテクノロジーズ　2018年2月入社
 担当プロダクト：PB計測、PB生産、海外向けEC
 スキル：価格交渉、貯金、AWS
 2
3. © ZOZO Technologies, Inc. 3 アジェンダ
 ・Toilとは
 ・どんなToilを抱えていたか
 ・Toil解消への道　〜Part１〜
 ・Toil解消への道　〜Part２〜
 ・まとめ

4. © ZOZO Technologies, Inc. Toilとは
 4
5. © ZOZO Technologies, Inc. Toil（直訳）　　　　　　　　　
 　苦しい仕事、労苦、骨折り
 5
6. © ZOZO Technologies, Inc. Toil（SRE訳）　 　　　　　　　
 時間を割くべきではない運用作業
 6
7. © ZOZO Technologies, Inc. Toilとは
 7 SRE本からの引用
 
 ・手作業であること
 ・繰り返されること
 ・戦術的であること
 ・長期的な価値を持たないこと
 ・サービスの成長に対してO(n)であること
 
 上記に一つ以上該当する場合はToilの可能性大

8. © ZOZO Technologies, Inc. Toilとは
 8 50%ルール
 
 総作業時間の50%はToil削減のための開発か、
 プロダクトに関連する機能開発に充てることが望まし い。

9. © ZOZO Technologies, Inc. どんなToilを抱えていたか
 9
10. © ZOZO Technologies, Inc. システム構成
 10
11. © ZOZO Technologies, Inc. システム構成
 11
12. © ZOZO Technologies, Inc. システム構成
 12 用途ごとにAWSアカウントを分割
 
 ・Production：実サービスを運用する環境
 ・Staging：プレ本番環境
 ・Qatest：品質管理チームがテストを行う環境
 ・Development：開発環境

13. © ZOZO Technologies, Inc. システム構成
 13
14. © ZOZO Technologies, Inc. 環境が多いと何が大変か
 14
15. © ZOZO Technologies, Inc. デプロイ対応
 15 うちの最大のToil
16. © ZOZO Technologies, Inc. デプロイ対応 〜開発初期〜
 16 デプロイお願い
 開発チーム SREチーム
17. © ZOZO Technologies, Inc. デプロイ対応 〜機能一式揃った時期〜
 17 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 開発チーム SREチーム
18. © ZOZO Technologies, Inc. デプロイ対応 〜リリース前後〜
 18 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 デプロイお願い
 開発、品質管理チーム、ビジネスサイド、海外法人 SREチーム
19. © ZOZO Technologies, Inc. 課題
 19 課題 評価 効果 AWSアカウント、API環境が多く、依頼頻度が高い。 ー ー 依頼窓口が統一されていないため、五月雨で依頼がくる。 ー ー デプロイ作業と他タスクとの頭の切り替えが辛い。 ー ー SREチームが忙しそうなので開発者が依頼しづらそう。 ー ー
20. © ZOZO Technologies, Inc. 課題 評価 効果 AWSアカウント、API環境が多く、依頼頻度が高い。 ー ー 依頼窓口が統一されていないため、五月雨で依頼がくる。 ー ー デプロイ作業と他タスクとの頭の切り替えが辛い。 ー ー SREチームが忙しそうなので開発者が依頼しづらそう。 ー ー SREチームが 開発のボトルネックに 課題
 20
21. © ZOZO Technologies, Inc. Toil解消への道 〜Part１〜
 21
22. © ZOZO Technologies, Inc. CI/CD導入へ
 22
23. © ZOZO Technologies, Inc. CI/CDの構成 〜フロントエンド〜
 23 ①特定のブランチにマージ ②CircleCIのジョブを起動 ③テスト実行 ④build実行 ⑤S3へデプロイ GitHub CircleCI S3
24. © ZOZO Technologies, Inc. CI/CDの構成 〜バックエンド〜
 24 ①特定のブランチにマージ ②CircleCIのジョブを起動 ③テスト実行 ⑥build実行 ④踏み台サーバーへ 　SSHフォワーディング ⑤DBマイグレーション（flyway） ⑦ECRへイメージをPUSH ⑧デプロイ(eb deploy) GitHub CircleCI EC2 RDS ECR ElasticBeanstalk
25. © ZOZO Technologies, Inc. 果たしてToilは解消したのか
 25
26. © ZOZO Technologies, Inc. 解消しなかった
 26
27. © ZOZO Technologies, Inc. なぜ？？
 27
28. © ZOZO Technologies, Inc. CI/CDの導入効果
 28 課題 評価 効果 AWSアカウント、API環境が多く、依頼頻度が高い。 Development環境：一定の改善効果あり。 Qatest環境：ほぼ効果なし。 Staging、Production環境：導入見送り。 依頼窓口が統一されていないため、五月雨で依頼がくる。 効果なし。 デプロイ作業と他タスクとの頭の切り替えが辛い。 効果なし。 SREチームが忙しそうなので開発者が依頼しづらそう。 改善姿勢を見せたことで気兼ねなく依頼がくるように なった。
29. © ZOZO Technologies, Inc. Toil解消への道 〜Part2〜
 29
30. © ZOZO Technologies, Inc. サーバーレス構成の
 デプロイChatOps導入
 30
31. © ZOZO Technologies, Inc. ここでようやくサーバーレスが登場します
 31
32. © ZOZO Technologies, Inc. 少しだけサーバーレスについて説明
 32
33. © ZOZO Technologies, Inc. AWSにおけるサーバーレスの鉄板構成とは
 33
34. © ZOZO Technologies, Inc. AWSにおけるサーバーレスの鉄板構成とは
 34
35. © ZOZO Technologies, Inc. API Gateway
 35 ・HTTPプロキシ
 
 ・認証
 
 ・ロギング、モニタリング
 
 ・APIキャッシュ、スロットリング

36. © ZOZO Technologies, Inc. Lambda
 36 ・イベント駆動
 
 ・自動スケーリング
 
 ・利用時以外の課金なし
 

37. © ZOZO Technologies, Inc. サーバーレス環境を簡単に構築できるツール
 
 SAM（Serverless Application Model）
 37 https://docs.aws.amazon.com/ja_jp/serverless-application-model/latest/developerguide/what-is-sam.html

38. © ZOZO Technologies, Inc. （補足）その他のサーバーレスパターン
 38 https://aws.amazon.com/jp/serverless/patterns/serverless-pattern/

39. © ZOZO Technologies, Inc. ChatOpsの話に戻ります
 39
40. © ZOZO Technologies, Inc. ChatOpsの構成
 40 ①Slashコマンド実行 ⑤引数に応じたCircleCIのジョブを起動 ②APIリクエスト ④認証トークンの正当性を検証 KMS Lambda API Gateway Slack CircleCI ③Lambda関数をInvoke
41. © ZOZO Technologies, Inc. ChatOpsの様子
 41 利用の流れ
 ①Slack上でデプロイ用Slashコマンドを実行すると、
 　CircleCIの実行ワークフローのURLがレスポンスされる。
 
 ②URLリンクからワークフローの進捗を確認する。
 
 ③問題発生時はSREチームに報告。
 
 
 ※デプロイ用のSlackチャンネルも整備
 

42. © ZOZO Technologies, Inc. ChatOps導入時の注意点
 42 
 ・Slackは3秒、Lambdaは15分以内にレスポンスを返さなければならない。
 
 ・実行の敷居が下がる分実行回数が増えるため、CircleCIのコンテナ数に注意。
 
 ・Slashコマンド用のアカウントは個人に紐づかない、専用アカウントを
 　用意すること。

43. © ZOZO Technologies, Inc. ChatOpsの導入効果
 43 課題 評価 効果 AWSアカウント、API環境が多く、依頼頻度が高い。 Development環境：依頼が0件になった。 Qatest環境：依頼が0件になった。 Staging、Production環境：導入見送り。 依頼窓口が統一されていないため、五月雨で依頼がくる。 デプロイ用のSlackチャンネルを作成したことで依頼 窓口が統一された。 デプロイ作業と他タスクとの頭の切り替えが辛い。 リリースを除くデプロイ依頼が消滅したことで開発タ スクに集中できるようになった。 SREチームが忙しそうなので開発者が依頼しづらそう。 そもそもの依頼の数が激減した。
44. © ZOZO Technologies, Inc. まとめ
 44
45. © ZOZO Technologies, Inc. サーバーレスでChatOpsを導入してよかったこと
 
 　・実行時以外は利用料金が発生しない。
 
 　・実行環境の管理が不要。
 
 　・SAMを使えば導入が容易、また複数環境への展開も容易。
 
 まとめ
 45
46. © ZOZO Technologies, Inc. 開発工数をかけず
 効果的にToilを削減可能
 46
47. © ZOZO Technologies, Inc. 最後に
 47
48. © ZOZO Technologies, Inc. Toil削減を楽しめる
 SREエンジニア募集！！
 https://tech.zozo.com/recruit/mid-career/detail48/
 48
49. © ZOZO Technologies, Inc. ご清聴ありがとうございました
 49