Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GCP無料枠を使ってデータ分析基盤を作ってみた
Search
Wataru Nishiyama
September 29, 2018
1
1.2k
GCP無料枠を使ってデータ分析基盤を作ってみた
Wataru Nishiyama
September 29, 2018
Tweet
Share
More Decks by Wataru Nishiyama
See All by Wataru Nishiyama
AWSセキュリティガードレールにより開発者がセキュリティ監視するようになったDMM_課題と今後.pptx.pdf
runble1
0
130
DMMでAWSセキュリティガードレールを作ったので、開発者がAWSセキュリティをチェックする文化を広げていきたい
runble1
7
8.1k
DMMにおける300アカウント67チームのAWSセキュリティを「開発者」に監視してもらうまでの道のり
runble1
1
1.2k
英語できないエンジニア Google I/O にいく
runble1
0
390
Featured
See All Featured
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Docker and Python
trallard
45
3.5k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Navigating Team Friction
lara
188
15k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
How to Think Like a Performance Engineer
csswizardry
25
1.8k
Become a Pro
speakerdeck
PRO
29
5.5k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
790
Rails Girls Zürich Keynote
gr2m
95
14k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Transcript
GCP無料枠を使って データ分析基盤を作ってみた Wataru Nishiyama
• Wataru Nishiyama • Twitter : @runble1 • ブログ :
https://runble1.com • ハニーポット歴?1ヶ月 自己紹介
俺たちハニー・ポッターが 作らないといけないものは2つ
ハニーポットとデータ分析基盤
データ分析基盤?
ハニーポットで取得したログ を貯めて分析できるところ
データ分析基盤作る意味ある? メリット • 分析しやすい • 自動化しやすい デメリット • 作るのめんどい •
お金かかる
データ分析基盤候補 ▪ハニーポットサーバ上でコマンドラインを使って
データ分析基盤候補 ▪ハニーポットサーバ上でコマンドラインを使って ▪ElasticSearch + Kibana
データ分析基盤候補 ▪ハニーポットサーバ上でコマンドラインを使って ▪ElasticSearch + Kibana ▪Google Cloud Platform
データ分析基盤候補 ▪ハニーポットサーバ上でコマンドラインを使って ▪ElasticSearch + Kibana ▪Google Cloud Platform ← 今回これ
Google Cloud Platform(GCP) で作ってみたよ
なぜGCP?
無料枠が大きい!
最終的にはこんな感じのものができる1
最終的にはこんな感じのものができる2
登場人物紹介
GCE Google Compute Engine 無料枠:f1-micro(vCPU1, メモリ0.6G, HDD30G) ハニーポットも動かせる nginx +
php-fpm + MySQL で WordPress も動かせる
Stackdriver Logging GCP で実行されるアプリケーションのログを取得 ※Stackdriver Monitoring というサービスとは別 無料枠:30日間保存されるログサイズ 50 GBまで
GCEのログを取得してくれる
BigQuery スケーラブルなストレージ + SQLエンジンを備えた DWH 無料枠:ログ保存10GB、クエリ使用量1TB/月 ログは保存期間を設定できる クエリ実行速度はある意味早く、ある意味遅い
Google Data Studio 簡易ダッシュボード作れる 無料 アラートは無理 タグクラウドも作れない
Google Apps Script + Spreadsheet グラフを作れる Slack に送信できる アラートを送信できる 無料
構成図 Compute Engine Stackdriver Logging BigQuery Google Data Studio Google
Apps Script Slack Google Cloud
基盤感想 費用は0円、それでも怖い人はお支払い設定を BigQuery, DataStudio, AppsScript が使いこなせてない 一人 SOC でテンション上がる
ちなみに白状すると
今回基盤に入れたログは ブログ(WordPress)のログ
(ハニーポッター交流会だよね?)
ログが違う
ハニーポットと違って ほとんど攻撃じゃない
攻撃のログを 見つけないといけない!
たくさんのログの中から! ※大したアクセス数じゃないけど
分析基盤が役に立つぜ!
今後の展望 • どんなダッシュボードを作るべきか • どんなグラフを Slack へ送るべきか • セキュリティログ分析(統計解析・機械学習) •
BigQuery ML で機械学習モデリング • データパイプラインを利用したリアルタイム分析 • etc...
おしまい