GCP無料枠を使ってデータ分析基盤を作ってみた

by Wataru Nishiyama

Slide 1

Slide 1 text

GCP無料枠を使ってデータ分析基盤を作ってみた Wataru Nishiyama

Slide 2

Slide 2 text

● Wataru Nishiyama ● Twitter : @runble1 ● ブログ : https://runble1.com ● ハニーポット歴?1ヶ月自己紹介

Slide 3

Slide 3 text

俺たちハニー・ポッターが作らないといけないものは2つ

Slide 4

Slide 4 text

ハニーポットとデータ分析基盤

Slide 5

Slide 5 text

データ分析基盤?

Slide 6

Slide 6 text

ハニーポットで取得したログを貯めて分析できるところ

Slide 7

Slide 7 text

データ分析基盤作る意味ある？メリット ● 分析しやすい ● 自動化しやすいデメリット ● 作るのめんどい ● お金かかる

Slide 8

Slide 8 text

データ分析基盤候補 ■ハニーポットサーバ上でコマンドラインを使って

Slide 9

Slide 9 text

データ分析基盤候補 ■ハニーポットサーバ上でコマンドラインを使って ■ElasticSearch + Kibana

Slide 10

Slide 10 text

データ分析基盤候補 ■ハニーポットサーバ上でコマンドラインを使って ■ElasticSearch + Kibana ■Google Cloud Platform

Slide 11

Slide 11 text

データ分析基盤候補 ■ハニーポットサーバ上でコマンドラインを使って ■ElasticSearch + Kibana ■Google Cloud Platform ← 今回これ

Slide 12

Slide 12 text

Google Cloud Platform(GCP) で作ってみたよ

Slide 13

Slide 13 text

なぜGCP？

Slide 14

Slide 14 text

無料枠が大きい！

Slide 15

Slide 15 text

最終的にはこんな感じのものができる1

Slide 16

Slide 16 text

最終的にはこんな感じのものができる2

Slide 17

Slide 17 text

登場人物紹介

Slide 18

Slide 18 text

GCE Google Compute Engine 無料枠：f1-micro（vCPU1, メモリ0.6G, HDD30G）ハニーポットも動かせる nginx + php-fpm + MySQL で WordPress も動かせる

Slide 19

Slide 19 text

Stackdriver Logging GCP で実行されるアプリケーションのログを取得 ※Stackdriver Monitoring というサービスとは別無料枠：30日間保存されるログサイズ 50 GBまで GCEのログを取得してくれる

Slide 20

Slide 20 text

BigQuery スケーラブルなストレージ + SQLエンジンを備えた DWH 無料枠：ログ保存10GB、クエリ使用量1TB/月ログは保存期間を設定できるクエリ実行速度はある意味早く、ある意味遅い

Slide 21

Slide 21 text

Google Data Studio 簡易ダッシュボード作れる無料アラートは無理タグクラウドも作れない

Slide 22

Slide 22 text

Google Apps Script + Spreadsheet グラフを作れる Slack に送信できるアラートを送信できる無料

Slide 23

Slide 23 text

構成図 Compute Engine Stackdriver Logging BigQuery Google Data Studio Google Apps Script Slack Google Cloud

Slide 24

Slide 24 text

基盤感想費用は0円、それでも怖い人はお支払い設定を BigQuery, DataStudio, AppsScript が使いこなせてない一人 SOC でテンション上がる

Slide 25

Slide 25 text

ちなみに白状すると

Slide 26

Slide 26 text

今回基盤に入れたログはブログ(WordPress)のログ

Slide 27

Slide 27 text

（ハニーポッター交流会だよね？）

Slide 28

Slide 28 text

ログが違う

Slide 29

Slide 29 text

ハニーポットと違ってほとんど攻撃じゃない

Slide 30

Slide 30 text

攻撃のログを見つけないといけない！

Slide 31

Slide 31 text

たくさんのログの中から！ ※大したアクセス数じゃないけど

Slide 32

Slide 32 text

分析基盤が役に立つぜ！

Slide 33

Slide 33 text

今後の展望 ● どんなダッシュボードを作るべきか ● どんなグラフを Slack へ送るべきか ● セキュリティログ分析（統計解析・機械学習） ● BigQuery ML で機械学習モデリング ● データパイプラインを利用したリアルタイム分析 ● etc...

Slide 34

Slide 34 text

おしまい