Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
JAWS-UG京王線 #2 「CloudTrailとの賢い付き合い方」
Search
t2hnd
May 30, 2015
Technology
0
1.3k
JAWS-UG京王線 #2 「CloudTrailとの賢い付き合い方」
JAWS-UG京王線 #2 セッション資料です。
t2hnd
May 30, 2015
Tweet
Share
Other Decks in Technology
See All in Technology
オーティファイ会社紹介資料 / Autify Company Deck
autifyhq
7
100k
XRミーティング 2024-03-20
1ftseabass
PRO
0
100
検証からプロダクトへ: シームレスなLLM開発の ためのしくみ作り
nunukim
1
210
データ化エンジニアとしての1年を振り返る
sansantech
PRO
3
260
データマネジメントを支える武器としてのメタデータ管理
10xinc
2
920
任意コード実行の原理
ffri
0
190
これまでのキャリアとこれからMLエンジニアとしてどう動くか
masatakashiwagi
1
640
コードレビューを支援するAI技術の応用
akkie76
2
160
MongoDB Atlas Vectorsearchではじめる生成AIアプリ開発
chie8842
3
510
家族アルバム みてねで直面してきた技術的負債 / MIXI KAG 2024
isaoshimizu
17
7.7k
こんなに簡単!AWSマルチアカウント
takuya_terada
0
120
大規模データとの戦い方
knih
1
480
Featured
See All Featured
Navigating Team Friction
lara
177
13k
Product Roadmaps are Hard
iamctodd
43
9.6k
RailsConf 2023
tenderlove
0
510
Making Projects Easy
brettharned
106
5.4k
How to train your dragon (web standard)
notwaldorf
71
5.1k
Facilitating Awesome Meetings
lara
39
5.5k
Designing for humans not robots
tammielis
247
25k
Stop Working from a Prison Cell
hatefulcrawdad
265
19k
A better future with KSS
kneath
230
16k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
226
16k
Docker and Python
trallard
33
2.6k
jQuery: Nuts, Bolts and Bling
dougneiner
57
7.1k
Transcript
CloudTrailとの 賢い付き合い方 Tatsuro Handa
自己紹介 • 半田 達郎(はんだ たつろう) • サポートエンジニア • 好きなAWSサービス: CloudSearch
•Twitter: @t2hnd ※本資料は個人的な意見に基づくものであり、所属企業とは関係ありません。
突然ですが… こんなとき、どうしますか? •気がついたら RDS インスタンスがなくなっている •知らぬ間にセキュリティグループの設定が変わった •スクリプト中の AWS CLI コマンドがエラー
CloudTrailの出番です!
CloudTrailとは •AWSアカウントで起きたイベントを記録する サービス •記録されるイベント •ほとんどの(*)AWSサービスのAPI コール •コンソールログインなどその他の操作
CloudTrailとは •ログファイルは S3 バケットに配信される • API 実行後15分以内に記録 •約 5 分ごとにログファイルを送信
•JSON形式でログを記録
※対応サービス(2015/5/30 時点)
気がついたら RDS インスタンスがなくなっている 実行ユーザ 実行環境 実行日時(UTC) イベント名 RDS インスタンス名
知らぬ間にセキュリティグループの設定が変わった 実行ユーザ等 リクエスト レスポンス
スクリプト中の AWS CLI コマンドがエラー エラー情報 実行環境 実行日時
CloudTrailを有効にしておけば • 気がついたら RDS インスタンスがなくなっている • 知らぬ間にセキュリティグループの設定が変わった • スクリプト中の AWS
CLI コマンドがエラー 後から追跡が可能に!!
ON!
めでたし めでたし?
_人人人人人人人人人人人人人人人人人人_ > 約 5 分ごとにログファイルを送信! <  ̄Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y ̄
_人人人人人人人人人人人人人_ > JSON形式でログを記録! <  ̄Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y ̄
•ログは残っていても、必要なものを見つけ 出すのが難しい •いざというときのために、すぐに調べられ るツールを用意しよう
CloudTrail ログの検索に使えるツール •標準提供されるツールを使う •CloudTrail look up •検索エンジンを活用する •CloudSearch •Elasticsearch +
Kibana
CloudTrail look up
CloudTrail look up •いいところ • 標準で使える • Attribute(Event名、User名、Resource名など)から検索できる • Time
rangeで絞り込める •いまいちなところ • 直近1週間以内のデータしか検索できない • 検索できる項目が限られる
検索エンジンを活用する •CloudSearch •AWS のフルマネージド検索エンジン •スキーマを定義すればすぐに使える •Elasticsearch •オープンソースの検索エンジン •分析プラグインの kibana が便利!
検索エンジンを使う場合、 データロードの方法を考える必要がある
Lambda を利用する •Lambda とは •イベントをトリガーとしてプログラムを実行するサー ビス •S3 からのイベント通知をトリガーとして設定できる •CloudTrailログファイルが配信されたらプログラムを動 かす
•Lambdaで検索エンジンにログをロードする
Lambda + CloudSearch 1. CloudTrail がログファイルを put する 2. S3
からファイル put 通知 3. 通知を受けて Lambda function が起動 4. ログファイルを展開してCloudSearchに投入 ① ② ③ ④
Lambda + Elasticsearch + Kibana 1. CloudTrail がログファイルを put する
2. S3 からファイル put 通知 3. 通知を受けて Lambda function が起動 4. ログファイルを展開してElasticsearchに投入 5. Kibanaを使ってログファイルの検索・集計 ① ② ③ ④ ⑤
を使う •embulk とは •TreasureData 社の提供しているオープンソースのバルク データ ローダ •プラグインでインプットとアウトプットを拡張できる • S3インプット、Elasticsearch
アウトプットにも対応済み
+ Elasticsearch + Kibana • CloudTrail バケット配下の S3 プリフィックスを指定し、 まとめて
Elasticsearch にログをロード • 必要な時に必要な期間のログだけ読み込ませて調査で きる
まとめ •まずは CloudTrail を ON に! • いざというときのために、普段からログを調 査するツールを用意しよう
参考 • Lambdaを使って、CloudTrailログをCloudSearchに入れて検索する http://c9katayama.hatenablog.com/entry/20141124/1416789876 • AWS - Lambdaを使ってCloudtrailログをElasticsearchに投下する http://qiita.com/handa/items/2839e5b3ad008ff6d06f •
EmbulkでCloudtrailログをelasticsearchに放り込む http://qiita.com/handa/items/6ba0bc0678b0be95a1be
ありがとうございました