AWSで実現するChatOps〜サーバレスでBlue/Greenデプロイする仕組みと工夫点〜 /chatops deployment

JAWS-UG金沢 #36 x OpsJAWS！ AWS運用・監視についてのクロスイベント！
の発表資料
https://jawsug-kanazawa.doorkeeper.jp/events/80275

Transcript

1. © DMM.com で実現する 〜サーバレスで デプロイする仕組みと工夫点〜 2018/11/23 JAWS-UG金沢 #36
2. © DMM.com 自己紹介 ： 業界２年目 元認証基盤チーム 現カスタマーサービスサポートチーム バックエンドエンジニア 好きな サービス：
3. © DMM.com アジェンダ
4. © DMM.com 話すこと ・認証基盤チームのデプロイ／リリース方法 ・ の構成 ・工夫した点
5. © DMM.com 話さないこと ・ とはなにか？ ・各種 リソースの説明
6. © DMM.com 目次 ・ 導入前 ・デプロイ／リリースの流れ ・ 導入後 ・ コマンドの仕組み ・工夫ポイント ・まとめ
7. © DMM.com 導入前
8. © DMM.com 導入前 ・ デプロイでデプロイ作業を実施 ・リリース作業はすべて コンソールで手動操作 ・総作業時間（検証含め）約４時間 ・ 〜２週に１回リリース
9. © DMM.com デプロイ／リリースの流れ
10. © DMM.com Auto Scaling group デプロイ 本番用 instances Auto Scaling group instances
11. © DMM.com Auto Scaling group 検証 本番用 instances Auto Scaling group instances 検証用
12. © DMM.com Auto Scaling group リリース 本番用 instances Auto Scaling group instances
13. © DMM.com のデプロイ方式は インプレースデプロイと デプロイ の２通り 検証時の 切り替えや、 インスタンス破棄のタイミングを コントロールしたかったので、 インプレースデプロイを選択 なぜインプレースデプロイを使うか？
14. © DMM.com リリース作業リスト １．待機系 の起動 ２． によるデプロイ ３． のインスタンス台数を増やす ４．検証用 に切り替え ５．本番用 に切り替え （リリース） ６．待機系 の縮退
15. © DMM.com 手動操作の問題点 ・操作の再現性がなくなりがち ・操作履歴を追いづらい ・ミスしやすい ・作業に時間がかかる ・作業状況が見えづらい
16. © DMM.com 導入後
17. © DMM.com デプロイ
18. © DMM.com リリース
19. © DMM.com 導入後の変化 １〜６の作業をすべて に変更 ・各作業は用意された コマンドを一度打つだけ ・操作履歴が で一覧できるようになった ・バリデーションを入れることでミスしづらくなった ・総作業時間１時間程度になった ・作業状況が で一覧できるようになった ・週１回リリース
20. © DMM.com コマンドの仕組み
21. © DMM.com VPC コマンドの裏側 production development AWS resources VPC AWS resources
22. © DMM.com コマンド引数で異なる環境に対し操作する
23. © DMM.com VPC 具体的な構成例 デプロイ VPC リリース
24. © DMM.com 工夫ポイント
25. © DMM.com ・デプロイ／リリース操作のバリデーション ・ コマンドのタイムアウト対策 ・デプロイの失敗通知 工夫ポイント
26. © DMM.com デプロイ／リリース操作のバリデーション 前段の で共通のバリデーション処理 ・許可した ユーザ名のみ ・許可した チャンネル名のみ ・実行するチャンネル名とコマンドの引数の比較 　（実行コマンドの打ち間違いを防ぐ）
27. © DMM.com VPC production development AWS resources VPC AWS resources
28. © DMM.com ・許可した チャンネルでのみ実行可 チャンネル名によるバリデーション
29. © DMM.com ・実行するチャンネルとコマンドの環境の比較 　（実行コマンドの打ち間違いを防ぐ） コマンド引数によるバリデーション
30. © DMM.com コマンドのタイムアウト対策 ・前段の は 　 コマンドの受付完了レスポンスを返す 　（ 以内にレスポンスを返さないと 　　タイムアウトする） 　https://api.slack.com/slash-commands#responding_basic_receipt ・後段の は 　 リソースの処理結果を返す
31. © DMM.com VPC を二段構えにして コマンドのタイムアウトを防ぐ コマンド実行 Slash Commands コマンドの実行結果 response_url コマンドの受付通知 callback
32. © DMM.com コマンドの受付通知
33. © DMM.com コマンドの実行結果
34. © DMM.com デプロイの失敗を検知できるようにする 問題点 　アプリケーションの挙動がおかしいので調べてみるとデプ ロイに失敗していた。 　デプロイに失敗しているのに誰も気づかない。
35. © DMM.com デプロイの失敗を検知できるようにする 解決策 　デプロイの失敗を 通知する。
36. © DMM.com デプロイの失敗通知のようす
37. © DMM.com デプロイ失敗通知の仕組み
38. © DMM.com デプロイの失敗通知 イベントのトリガーを設定する
39. © DMM.com デプロイの失敗通知 トリガー先の と を連携させる
40. © DMM.com まとめ
41. © DMM.com VPC を活用して でリリースすることができた production development AWS resources VPC AWS resources
42. © DMM.com ・ミスしにくい 　バリデーション機能をもたせる ・再現性が高い 　 からコマンドを打つだけ ・操作履歴がわかりやすい 　 で実行したコマンドが一覧できる リリース作業を 化したメリット
43. © DMM.com ・作業時間の短縮 　 コンソールを操作する必要がない ・作業状況がオープンに 　誰がどの作業をしているかすぐにわかる リリース作業を 化したメリット
44. © DMM.com ・サーバ管理の必要がない ・ リソース間の連携が簡単 　 や 　 など ・構成をコード化して残せる 　 ・タイムアウトの工夫が必要 　 の応答時間、 コマンドの応答時間 を利用した サーバレス構成の特徴
45. © DMM.com ありがとうございました