AWS サーバーレスアーキテクチャでつくる Slack ChatOps

by katsuhisa_

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Copyright © 2019 Studist Corporation. All Rights Reserved 11 今回実装したもの Use Slack ChatOps to Deploy Your Code – How to Integrate Your Pipeline in AWS CodePipeline with Your Slack Channel https://aws.amazon.com/blogs/devops/use-slack-chatops-to-deploy-your-code-how-to-integrate-your-pipeline-in-aws-codepipeline-with-your-slack-channel/

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Copyright © 2019 Studist Corporation. All Rights Reserved 14 スタディストにおける Production 環境の Deployment Pipeline AWS CodePipeline がトリガーされる STEP 2 AWS CodeBuild 上でアセットをプリコンパイル STEP 3 Production 同等環境にデプロイされ、最終動作確認ができる ※社内からのみアクセス可 STEP 4 が問題なければ、承認ボタンを押し、 Production にデプロイ STEP 5 GitHub で対象 Pull Request を master にマージ STEP 1

Slide 15

Slide 15 text

Copyright © 2019 Studist Corporation. All Rights Reserved 15 課題感 AWS CodePipeline がトリガーされる STEP 2 AWS CodeBuild 上でアセットをプリコンパイル STEP 3 Production 同等環境にデプロイされ、最終動作確認ができる ※社内からのみアクセス可 STEP 4 が問題なければ、承認ボタンを押し、 Production にデプロイ STEP 5 GitHub で対象 Pull Request を master にマージ STEP 1 master マージ権限を持つ開発者が行う

Slide 16

Slide 16 text

Copyright © 2019 Studist Corporation. All Rights Reserved 16 課題感 AWS CodePipeline がトリガーされる STEP 2 AWS CodeBuild 上でアセットをプリコンパイル STEP 3 Production 同等環境にデプロイされ、最終動作確認ができる ※社内からのみアクセス可 STEP 4 が問題なければ、承認ボタンを押し、 Production にデプロイ STEP 5 GitHub で対象 Pull Request を master にマージ STEP 1 権限を持つ人が、承認ボタンを押す AWS の Production 用アカウントには READONLY 権限のみ付与を基本方針としているため

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Copyright © 2019 Studist Corporation. All Rights Reserved 18 Envoy 開発者Matt のDevOps 定義 DevOps is the practice of developers being responsible for operating their services in production, 24/7. This includes development using shared infrastructure primitives, testing, on-call, reliability engineering, disaster recovery, defining SLOs, monitoring setup and alarming, debugging and performance analysis, incident root cause analysis, provisioning and deployment, etc. 『The human scalability of “DevOps”』 https://medium.com/@mattklein123/the-human-scalability-of-devops-e36c37d3db6a

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Copyright © 2019 Studist Corporation. All Rights Reserved 24 サーバーレスアーキテクチャとは ● サーバはある ○ ただし、隠蔽されている ■ 物理リソースも、その上のOSレイヤも管理不要 ○ 「サーバではなく、コンピューティングサービスを利用する」考え方をすることが重要 ● プッシュベースのイベント駆動パイプラインを設計する ○ ※ すべてがそうかというと、そういうわけではない ■ 例えば、イベントソースをポーリングするケースもある

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Copyright © 2019 Studist Corporation. All Rights Reserved 30 （おさらい）今回実装したもの Use Slack ChatOps to Deploy Your Code – How to Integrate Your Pipeline in AWS CodePipeline with Your Slack Channel https://aws.amazon.com/blogs/devops/use-slack-chatops-to-deploy-your-code-how-to-integrate-your-pipeline-in-aws-codepipeline-with-your-slack-channel/

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Copyright © 2019 Studist Corporation. All Rights Reserved 39 ApprovalRequester Lambda function def lambda_handler(event, context): print("Received event: " + json.dumps(event, indent=2)) message = event["Records"][0]["Sns"]["Message"] data = json.loads(message) token = data["approval"]["token"] codepipeline_name = data["approval"]["pipelineName"] （SNS が送信する）CodePipeline の承認ボタンのイベントを受け取る

Slide 40

Slide 40 text

Copyright © 2019 Studist Corporation. All Rights Reserved 40 ApprovalRequester Lambda function def lambda_handler(event, context): print("Received event: " + json.dumps(event, indent=2)) message = event["Records"][0]["Sns"]["Message"] data = json.loads(message) token = data["approval"]["token"] codepipeline_name = data["approval"]["pipelineName"] （SNS が送信する）CodePipeline の承認ボタンのイベントを受け取る AWS Lambda は event を使用してイベントデータをハンドラに渡す通常、Python の dict タイプ ※ list、str、int、float 等も使用可

Slide 41

Slide 41 text

Copyright © 2019 Studist Corporation. All Rights Reserved 41 ApprovalRequester Lambda function 承認ボタンのイベントを Slack に送信する req = Request(SLACK_WEBHOOK_URL,json.dumps(slack_message).encode('utf-8')) response = urlopen(req) response.read() return None

Slide 42

Slide 42 text

Copyright © 2019 Studist Corporation. All Rights Reserved 42 ApprovalRequester Lambda function 承認ボタンのイベントを Slack に送信する req = Request(SLACK_WEBHOOK_URL,json.dumps(slack_message).encode('utf-8')) response = urlopen(req) response.read() return None Incoming Webhook 用 URL を環境変数に格納 ※ Incoming Webhook は後述

Slide 43

Slide 43 text

Copyright © 2019 Studist Corporation. All Rights Reserved 43 ApprovalRequester Lambda function 承認ボタンのイベントを Slack に送信する req = Request(SLACK_WEBHOOK_URL,json.dumps(slack_message).encode('utf-8')) response = urlopen(req) response.read() return None slack_message の中に投稿メッセージを定義する

Slide 44

Slide 44 text

Copyright © 2019 Studist Corporation. All Rights Reserved 44 Slack App ● Slack 連携したアプリを作成したり、公開済アプリを install したりできる ● Slack App Directory で、公開済 Slack App を検索＆ install 可 ● 今回は、自分たちだけが利用する Slack App を作成 Slack App の機能一覧

Slide 45

Slide 45 text

Copyright © 2019 Studist Corporation. All Rights Reserved 45 Slack App の機能をいくつか紹介 ● Incoming Webhooks ○ 外部システムから、Slack にメッセージを投稿する ● Interactive Components ○ ユーザーアクションを求めるボタンなどの対話型メッセージをつくる ● Slash Commands ○ /（スラッシュ）からはじまる特殊コマンドを拡張するための機能 ● Bot Users ○ Slack 上でユーザーのように振る舞うボットを作成できる ■ 名前やプロフィール情報を持ち、チャンネルにも参加できる

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Copyright © 2019 Studist Corporation. All Rights Reserved 52 Slack の message format ● 基本 ○ https://api.slack.com/docs/message-formatting ● 今回利用するメッセージボタン ○ https://api.slack.com/docs/message-buttons ● Message Builder を利用すると捗る

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Copyright © 2019 Studist Corporation. All Rights Reserved 54 Amazon API Gateway ● API の作成と管理・実行をするマネージドサービス ● HTTP/REST APIs と WebSocket APIs をサポート ● Lambda と統合できる ○ API Gateway が受け取ったリクエストをイベントオブジェクトとして Lambda にわたすことができる ■ 今回も、この統合機能を利用する ● https://docs.aws.amazon.com/ja_jp/apigateway/latest/developerguide/getting-started.html

Slide 55

Slide 55 text

Copyright © 2019 Studist Corporation. All Rights Reserved 55 Amazon API Gateway 1. リソースを作成 2. POST メソッドを作成（Lambda統合で、後述する関数を指定する） 3. ステージにデプロイする 4. リクエストの URL をコピーし、 Slack App の Interactive Components の呼び出し URL として指定

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Copyright © 2019 Studist Corporation. All Rights Reserved 58 ApprovalHandler Lambda function 1. event を受け取り、CodePipeline の情報を取り出す 2. Slack の Verification Token を検証する 3. 問題がなければ、boto3 の CodePipeline クライアントで、承認イベントを実行する（承認 or 拒否）

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Copyright © 2019 Studist Corporation. All Rights Reserved 60 ApprovalRequester Lambda function client = boto3.client('codepipeline') response_approval = client.put_approval_result( pipelineName=codepipeline_name, stageName='Approval', actionName='ApprovalOrDeny', result={'summary':'','status':codepipeline_status}, token=token) boto3 の CodePipeline クライアントの使い方

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Copyright © 2019 Studist Corporation. All Rights Reserved 63 さいごに ● 一通りぜんぶ知ってると実装が捗る ○ “一通りぜんぶ知ってる” のハードルを越えるために、今回の発表がお役に立てればめちゃ嬉しいです ● 今日は IAM 権限まわりなど、細部の説明はぜんぶ飛ばしましたが、手を動かしてみて不明点ある方は、ご連絡いただけると → @katsuhisa__

Slide 64

Slide 64 text

Copyright © 2019 Studist Corporation. All Rights Reserved 64 さいごに ● ChatOps で何を実現するか ○ すべての API を ChatOps で叩くことが本当に幸せなのか ○ 2019年4月現在の自分の思想としては、できるだけ、GitOps の世界観に寄り添いたい ■ GitOps の世界観 ≒ declarative な infra を目指す世界観 ● とはいえ、ChatOps 自体が、ダメなわけではない ○ 結局だいじなのは「何を実現するか」「なぜ ChatOps でやるか」 ○ インフラのアーキテクチャによっても、どこまで ChatOps にすると幸せか？は違う

Slide 65

Slide 65 text

Slide 66

Slide 66 text