JAWSさいたま_AWSで高品質_低負荷なシステム運用を実現する

Slide 1

Slide 1 text

AWSで高品質・低負荷なシステム運用を実現する NRIネットコム株式会社上野史瑛 2019年10月26日

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 3 システム運用とは本番システムユーザーに使用されている（本番稼働中）システムを、ユーザーが必要なときにサービス提供できるように維持・管理することまた、維持・管理するために様々な作業を行うこと具体的には・・・障害発生時にログ調査、復旧作業を行う・サーバやネットワーク機器のリソース状況を確認する・セキュリティパッチを適用する・機能改善を行うなどなど

Slide 5

Slide 5 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 4 高品質なシステム運用とは高品質信頼性・可用性が高い（障害が少ない）・柔軟なリソース拡張、入れ替えが可能・障害対応が迅速、手順が整っているセキュリティ対策が行われている・定期的に最新パッチを適用・不要設定やユーザーの棚卸・適切な監視システム状況の可視性が高い・各種ログを取得し一元管理・リソース状況の可視化・ソフトウェア利用の可視化・システム管理アクセスの可視化低品質信頼性・可用性が低い（障害が多い）・リソースの変更不可・障害対応に時間がかかる、属人化しているセキュリティ対策が行われていない・パッチが構築時のまま・不要な設定が残っているシステム状況の可視性が低い・必要なログを取得していない・配置場所がバラバラ・管理アクセス状況がわからない

Slide 6

Slide 6 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 5 低負荷なシステム運用とは低負荷障害、検知数が少ない、対応時に低工数・障害発生数が少ない・不要な検知が無い・管理対象のサーバが少ない・対応マニュアルが整備済みセキュリティ対策自動化、低工数・パッチ適用自動化・適用時のテスト自動化・適用するパッチが限定的で明確にしているシステム状況がすぐに確認できる・リソース状況がグラフ化、 Web化されている・ログの可視化が一元管理され、すぐに確認できる・不正操作発生時に自動検知される高負荷障害、検知数が多い、対応時に高工数・障害発生数が多い・不要な検知が多い・管理対象のサーバが多い・対応マニュアル無しセキュリティ対策手動対応、高工数・パッチ手動適用・都度影響確認、手動テスト・パッチの適用を都度検討システム状況の確認に時間がかかる・リソース状況、ログをサーバ上で都度確認・操作ログを手動で確認

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 7 やりがちなAWS移行パターンオンプレミス環境 WEBサーバ DBサーバジョブ監視サーバログ管理サーバ AWS 環境 WEBサーバジョブ監視サーバログ管理サーバ DBサーバオンプレミス環境の構成をそのまま移行する（EC2、RDSが中心） ⇒移行はしやすいが、クラウドを活用できているとは言えない

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 10 AWS運用サービス導入初級・中級・上級編サービスも多く、いきなりAWSをフルで活用することは難しい・・そこでレベルに応じたサービスの導入方法をご紹介！初級中級上級画面上の簡単な操作でOKのレベル公式ドキュメント等の手順通りで実施できるレベル自分で考えて設定やコーディングが必要なレベルまたは複数サービスの組み合わせが必要なレベル

Slide 12

Slide 12 text

11 初級編

Slide 13

Slide 13 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 12 アカウント初回作成時にやること「アカウント設定」・ルートユーザのMFAを有効にする・管理権限を持つIAMユーザーを作成する ⇒作成後、極力ルートユーザは使用しない「コストの可視化」・IAMユーザーの請求情報アクセス許可（ルートユーザで実施）参考：https://docs.aws.amazon.com/ja_jp/awsaccountbilling/latest/aboutv2/grantaccess.html ・CostExplorerの有効化（ルートユーザで実施）参考：https://docs.aws.amazon.com/ja_jp/awsaccountbilling/latest/aboutv2/ce enable.html ・予算およびアラートの設定参考：https://docs.aws.amazon.com/ja_jp/awsaccountbilling/latest/aboutv2/budgets managing costs.html 初級中級上級

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 18 CloudWatch 初級中級上級 AWSのモニタリングツールまずは見てみる。下記の機能について理解する。メトリクス – AWSのリソース状況履歴（グラフで確認可能）ログ – AWS各種リソースから出力されたログが保存されているアラーム – ログ、メトリクスに対して指定文字列、異常値で検知可能イベント – Cron形式、イベント発生ベースでLambda等を実行可能

Slide 20

Slide 20 text

Slide 21

Slide 21 text

20 中級編

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 22 CloudWatchアラームによる監視初級中級上級対象メトリクス、検知すべき閾値、通知アクションを決定すればOK ELBでは5XXエラー数等、多くの標準メトリクスが存在する CloudWatchログを監視する場合は、メトリクスフィルターを作成するログは検知数がグラフ化されるので、検知数に応じた監視も可能。 Alarm Metrics SNS 運用担当 CloudWatch

Slide 24

Slide 24 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 23 CloudWatchイベントによる通知初級中級上級 SecurityHubやGuardDuty、Configルールのイベント検知を運用担当へ通知する。 Guardduty SecurityHub CloudWatch SNS 運用担当 SecurityHubにGuardDutyの情報も含まれる。 Configにも一部SecurityHubのルールが作成される。そのため基本はSecurityHubの検知で良いが、検知数や独自ルール等で通知の検討を行う。 Config Event (event-based)

Slide 25

Slide 25 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 24 CloudWatchイベントによる定期処理実行初級中級上級 Cron形式でLambda処理または SystemsManagerのRunCommandやAutomationを定期実行する。（例えば夜間EC2再起動など） CloudWatch 再起動、リソース取得等 Event (time-base) Lambda EC2 Automation Run command Systems Manager

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 27 Systems Manager Session Manager 初級中級上級 EC2へSSH接続無しでコマンド操作が可能・セキュリティグループのアクセス許可不要・CloudTrailによる接続履歴保存・S3、CloudWatch Logsに操作履歴保存踏み台サーバ脱却へ EC2 Session Manager Systems Manager 運用担当 CloudWatch S3 操作ログ

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 30 Systems Manager Patch Manager 初級中級上級メンテナンスウィンドウで決まった時間にサーバへ自動パッチ適用ただし、本番稼働環境への自動適用は注意 ⇒重要度が高いもののみの適用や、スキャンのみ実施するなどの検討をする EC2 Systems Manager EC2 Patch manager Maintenance windows

Slide 32

Slide 32 text

Slide 33

Slide 33 text

32 上級編

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 34 AWS WAF 初級中級上級 CloudFrontとELBに追加してアプリケーション攻撃対策が可能自前でルールを作るか、難しい場合はマネージドルールを購入 CloudFrontのIPアドレス制限のみ使用してもOK WAF CloudFront ELB + + ・SQLインジェクション・Cross-site スクリプティング・IPアドレス制限・国別アクセス制限・サイズ制約・文字列正規表現・MarketPlaceマネージドルール

Slide 36

Slide 36 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 35 AWS Configルールによる自動修復中級 AWSの設定変更を検知して、自動で修復する例えば、・CloudTrail証跡無効化を検知して自動有効・指定外のEC2インスタンスタイプ起動を検知して自動修正・IAMのMFA無効を検知してIAMポリシー削除（カスタムアクション）など初級上級 Cloudtrail Config 証跡無効検知証跡有効 EC2 指定外のインスタンスタイプインスタンスリサイズ IAM MFA無効検知 SNS Topic Lambda IAMポリシー削除

Slide 37

Slide 37 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 36 Code Pipelineによる自動リリースモジュールリリース作業を自動化する手作業の負荷を下げ、ヒューマンエラーを無くす AWS構成もCloudFormationテンプレートを使用すれば管理可能運用担当開発アカウント ①git push Source Build Deploy WEB02 WEB01 Approve ③承認検証/本番アカウント ②モジュール作成 ④モジュール配置 S3 CodePipeline CodeCommit CodeBuild CodeDeploy ELB EC2 EC2 中級初級上級

Slide 38

Slide 38 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 37 ControlTowerによる複数アカウント管理中級自動でAWS推奨の各アカウントが作成されるカスタムアカウントはアカウントファクトリー機能にて作成する ※既存のOrganizationには使えない（2019年10月現在）初級上級マスターアカウント監査アカウントログアーカイブアカウント本番サービスアカウント開発サービスアカウントコアアカウントカスタムアカウント ControlTower

Slide 39

Slide 39 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 38 各種サービスを活用した複数アカウント管理中級既存アカウントの場合（＝ControlTowerが使えない場合）は、各種サービスを複数アカウント用にカスタマイズして使用する初級上級マスターアカウント監査アカウントログアーカイブアカウント本番サービスアカウント開発サービスアカウントコアアカウントカスタムアカウント Organization OU Guardduty SecurityHub Master Config SNS Topic S3 ・CloudTrailログ・Configログ SSO

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 40 マネージドサービスを活用する、組み合わせる WAF Shield Security group NACL KMS CloudWatch Guardduty SecurityHub Inspector VPC FlowLogs Cloudtrail Config Systems Manager SNS 攻撃対策ネットワーク防御データ保護サーバ管理可視化・モニタリング通知対象リソース CloudFront ELB VPC 対象リソース EC2 RDS ELB 対象リソース EC2 RDS S3 不正ネットワーク不正データアクセス状況監視通知運用担当通知マネージドサービスを活用することで、管理するサーバ（負荷）を減らす AWSを運用するためのサービスを積極的に導入する

Slide 42

Slide 42 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 41 サーバレス化 EC2を無くして、管理するサーバ（負荷）を減らす ※WEB部分やDB部分はアプリケーション担当とも要相談！ WEBサーバジョブ監視サーバログ管理サーバ DBサーバ WEB DB CloudWatch Lambda Lambda API Gateway CloudWatch CloudWatch Event DynamoDB Systems Manager Step Functions S3 Athena Elastic Search QuickSight ジョブログ可視化 DB 監視

Slide 43

Slide 43 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 42 監視項目はユーザ側に重点をおく重要項目（サービスが使えるかどうか）を監視することで品質をあげる不要な監視検知を減らすことで、運用負荷を下げる CloudFront ELB EC2 RDS Route53 healthcheck or Lambda function CloudWatch Metrics ・サービス外形監視・エラーレート監視(5XX等) ・正常ホスト数・応答時間監視ユーザーユーザ側を重点的に監視

Slide 44

Slide 44 text

Copyright© 2019 NRI Netcom, Ltd. All Rights Reserved. 43 ログ、リソースの取得は幅広く、極力取得するようにシステムの状況をすばやく、細かく確認できるようにしておく CloudFront ELB EC2 RDS CloudWatch Metrics リソース状況の可視化ユーザー S3 log CloudWatch Logs Athena QuickSight ログの可視化