Tweet
Tweet

Slide 1

Slide 1 text

GCP無料枠を使って データ分析基盤を作ってみた Wataru Nishiyama

Slide 2

Slide 2 text

● Wataru Nishiyama ● Twitter : @runble1 ● ブログ : https://runble1.com ● ハニーポット歴?1ヶ月 自己紹介

Slide 3

Slide 3 text

俺たちハニー・ポッターが 作らないといけないものは2つ

Slide 4

Slide 4 text

ハニーポットとデータ分析基盤

Slide 5

Slide 5 text

データ分析基盤?

Slide 6

Slide 6 text

ハニーポットで取得したログ を貯めて分析できるところ

Slide 7

Slide 7 text

データ分析基盤作る意味ある？ メリット ● 分析しやすい ● 自動化しやすい デメリット ● 作るのめんどい ● お金かかる

Slide 8

Slide 8 text

データ分析基盤候補 ■ハニーポットサーバ上でコマンドラインを使って

Slide 9

Slide 9 text

データ分析基盤候補 ■ハニーポットサーバ上でコマンドラインを使って ■ElasticSearch + Kibana

Slide 10

Slide 10 text

データ分析基盤候補 ■ハニーポットサーバ上でコマンドラインを使って ■ElasticSearch + Kibana ■Google Cloud Platform

Slide 11

Slide 11 text

データ分析基盤候補 ■ハニーポットサーバ上でコマンドラインを使って ■ElasticSearch + Kibana ■Google Cloud Platform ← 今回これ

Slide 12

Slide 12 text

Google Cloud Platform(GCP) で作ってみたよ

Slide 13

Slide 13 text

なぜGCP？

Slide 14

Slide 14 text

無料枠が大きい！

Slide 15

Slide 15 text

最終的にはこんな感じのものができる1

Slide 16

Slide 16 text

最終的にはこんな感じのものができる2

Slide 17

Slide 17 text

登場人物紹介

Slide 18

Slide 18 text

GCE Google Compute Engine 無料枠：f1-micro（vCPU1, メモリ0.6G, HDD30G） ハニーポットも動かせる nginx + php-fpm + MySQL で WordPress も動かせる

Slide 19

Slide 19 text

Stackdriver Logging GCP で実行されるアプリケーションのログを取得 ※Stackdriver Monitoring というサービスとは別 無料枠：30日間保存されるログサイズ 50 GBまで GCEのログを取得してくれる

Slide 20

Slide 20 text

BigQuery スケーラブルなストレージ + SQLエンジンを備えた DWH 無料枠：ログ保存10GB、クエリ使用量1TB/月 ログは保存期間を設定できる クエリ実行速度はある意味早く、ある意味遅い

Slide 21

Slide 21 text

Google Data Studio 簡易ダッシュボード作れる 無料 アラートは無理 タグクラウドも作れない

Slide 22

Slide 22 text

Google Apps Script + Spreadsheet グラフを作れる Slack に送信できる アラートを送信できる 無料

Slide 23

Slide 23 text

構成図 Compute Engine Stackdriver Logging BigQuery Google Data Studio Google Apps Script Slack Google Cloud

Slide 24

Slide 24 text

基盤感想 費用は0円、それでも怖い人はお支払い設定を BigQuery, DataStudio, AppsScript が使いこなせてない 一人 SOC でテンション上がる

Slide 25

Slide 25 text

ちなみに白状すると

Slide 26

Slide 26 text

今回基盤に入れたログは ブログ(WordPress)のログ

Slide 27

Slide 27 text

（ハニーポッター交流会だよね？）

Slide 28

Slide 28 text

ログが違う

Slide 29

Slide 29 text

ハニーポットと違って ほとんど攻撃じゃない

Slide 30

Slide 30 text

攻撃のログを 見つけないといけない！

Slide 31

Slide 31 text

たくさんのログの中から！ ※大したアクセス数じゃないけど

Slide 32

Slide 32 text

分析基盤が役に立つぜ！

Slide 33

Slide 33 text

今後の展望 ● どんなダッシュボードを作るべきか ● どんなグラフを Slack へ送るべきか ● セキュリティログ分析（統計解析・機械学習） ● BigQuery ML で機械学習モデリング ● データパイプラインを利用したリアルタイム分析 ● etc...

Slide 34

Slide 34 text

おしまい