Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
継続的にログを見るための ツール比較(初心者ハニーポッター向け)
Search
hogehuga
September 29, 2018
Technology
0
1k
継続的にログを見るための ツール比較(初心者ハニーポッター向け)
初心者が、継続してログを見ることができるようにする話。
hogehuga
September 29, 2018
Tweet
Share
More Decks by hogehuga
See All by hogehuga
vuls祭り6: 脆弱性対応指標としてのSSVC
hogehuga
0
300
フライングガーデンLT
hogehuga
0
120
第34回 総関西サイバーセキュリティLT大会
hogehuga
0
69
第09回脆弱性対応勉強会(脆弱性管理製品を知る)
hogehuga
1
380
最近のドローン界隈(仮)
hogehuga
0
83
サウナととのい と 水風呂ととのい
hogehuga
0
130
脆弱性対応勉強会Vol.2 Vulsハンズオン
hogehuga
0
1.4k
IoTSecJP_Tokyo_#5-DroneCollection2019
hogehuga
1
1.9k
第0回 脆弱性対応勉強会 資料
hogehuga
1
220
Other Decks in Technology
See All in Technology
AWS を使う上で知っておきたいオンプレミス知識/aws-on-premise-essentials
emiki
1
4.1k
なぜ NOT A HOTEL が Web3 に取り組むのか - NOT A HOTEL TECH TALK
ynunokawa
0
160
コンテナセキュリティの基本と脅威への対策
kyohmizu
3
660
[2024年3月版] Databricksのシステムアーキテクチャ
databricksjapan
7
1.9k
スタートアップの技術顧問を3年間続けて発生した事と気付き
biwakonbu
0
150
WebアプリケーションにおけるPDOの使い方入門 / phpcon odawara 2024
meihei3
2
420
シン・Kafka / shin-kafka
oracle4engineer
PRO
6
2.7k
Delivering Millions of Messages within seconds @ Duolingo
pelelgrino
0
320
長期間TiDBを使ってきた話 @ 私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT / Experiences with TiDB Over Time
chibiegg
2
430
The AI Revolution Will Not Be Monopolized: How open-source beats economies of scale, even for LLMs (QCon London)
inesmontani
PRO
0
150
Next'24 事例セッションの紹介とクラウド資格を活用したキャリア形成について語りMuscle
yasumuusan
0
250
Databricks における 『MLOps』
databricksjapan
2
120
Featured
See All Featured
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
19
1.9k
[RailsConf 2023] Rails as a piece of cake
palkan
22
3.9k
Rebuilding a faster, lazier Slack
samanthasiow
72
8.2k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
226
16k
Why You Should Never Use an ORM
jnunemaker
PRO
50
8.6k
The Language of Interfaces
destraynor
151
23k
The Illustrated Children's Guide to Kubernetes
chrisshort
28
46k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
15
1.4k
It's Worth the Effort
3n
180
27k
Designing on Purpose - Digital PM Summit 2013
jponch
110
6.4k
GraphQLの誤解/rethinking-graphql
sonatard
49
9.2k
Build your cross-platform service in a week with App Engine
jlugia
224
17k
Transcript
継続的にログを見るための ツール比較 (初心者ハニーポッター向け) 2018/09/29(Sat) 第五回ハニーポッター技術交流会 hogehuga
いつもにも増して しょぼいです。 すみません。 しょぼい内容なので メモを取る必要はないよ。 しょぼすぎて、公開しない よ。(してもいいけど)
結局、スライドを公開することにしました。 が、口頭やデモでの補足が多いため、スライドはショボいままです。 • logwatch、自作ツール、ElasticStackの比較も、口頭で補足しています。スライ ドでは、ざっくりとしたことのみ記載しています。
お前誰よ @hogehuga(四川麻婆豆腐) • 脆弱性や情報漏えいの情報を、個人的に収集している(-ne 業務) • WindowsのCode Red辺りから、ハニポに目覚めた?(2001 summer…?) •
たぶん、コンサルティングの人 ◦ セキュリティの話をするときに、ハニポで得た情報があると話しやすいなー • セキュリティの人じゃないと思うよ • バイクいいよバイク …そんなの、どうでもいいですよね。
概要 ハニーポットのログ、見てますか? ログの見方は人それぞれだと思いますが、趣味でハニーポットをやる、これからハニー ポットを始める、という観点で代表的なログを見る仕組みを比較してみました。 代表的なログを見る仕組みは、以下と定義します。 • 自分でログを文字列処理する:(とりあえず代表として)dailyLogCheck ◦ https://github.com/hogehogehugahuga/dailyLogCheck ◦
多分いじらないと動かないよ。geoiplookup必須とかだし。 • いにしえのツール:logwatch • ログ分析の仕組み:ElactickSearch
ぼくのかんがえた、ハニポ道 • ハニーポットを植える ◦ 自作や既存のハニーポットシステムを植える ◦ web、ssh、telnet、ネットワーク、etc • 観察を始める ◦
ログをみる ◦ ログを処理する • 気付き が生まれる ◦ 異常値や傾向の把握 • 変更をする ◦ アクセスされやすいように、広報してみる ←ハニーポット存在宣言 ◦ ログ分析方法や方針の変更 • 共有する ◦ 発信する ◦ 情報をもらう 今日はここの話 ハニポのPDCAサイクル!
ところで。 ElasticStack、維持するの大変ですよね? • それなりのメモリが必要。パブリッククラウドだと費用が… • パフォーマンス調整や可動チェックなどが必要 • 仕事じゃないから、家でまでElasticsearch/Logstashのおもりしたくないyo →面倒なので、ElasticStackのSaaS使いましょう。無料枠ありのものも多い。 保存期間が3日-7日くらい、データ量の制限、などが微妙に違う。
→私はとりあえず、logz.io を使っています。良さそうなのを探してみよう ninosekiさんの話でも出てきましたね < logz.io
ElasticStack SaaS 一般的な形式のログであれば filebeat で直接SaaSに送れるが、そうでない場合は別 途Logstashサーバを立てる必要があるかも。 向いてる人 • 短期的に見れればいい •
とりあえず WEBサーバ ハニーポット だけでいい • 費用を抑えたい 向いてない人 • 長期的に分析したい人 • ハニーポッター中級?以上の人
さっくりとした比較 ツール比較をしてみる 継続的にログを見るには、気が向いたときに見ることができる環境が必要。 スマホで見れるのがMUSTと考えると、ELKは難しいかも。 ※あくまで当方の主観です。 構築 維持 改造 詳細が見れ る
スマホで見れ る 独自ツール bit difficult ✔ ✔ ✔ ✔ logwatch ✔ ✔ bit difficult ❌ ✔ ElastickStac k bit difficult ✔ bit difficult ✔ ❌ _人人人人人人人人人人_ > 突然のツール比較 <  ̄Y^Y^Y^Y^Y^Y^Y^Y^Y ̄
特徴の概要 • 独自ツール ◦ 自分で、どのようにログを見たいか、どのように処理するか、どのように表現するか、を決める必要があるので、最初は難し い? ◦ 自分で設定するから、なんでもできる。 ◦ 長期統計処理は難しい。できないことはないけど、スクリプト作る必要がある。
◦ ELKのように、特定期間のこと情報、というフォーカスは難しい。 • logwatch ◦ 集計処理後の表示で、長い文字列が省略されるという、致命的な欠点が。 ◦ OSのパッケージ管理で入れるだけで勝手に集計してくれる (sshdのログも!)ので、便利。 ◦ 集計方法に不満があっても、好きなように修正するのは面倒かも。 ◦ 始めるのは簡単だけど、ハニーポッター的にはすぐに不満や要求が出てくる。用途が違うからね。 • ElasticSearch ◦ ELKは比較的大きいリソースが必要だが、 SaaSで回避可能。ただし、カスタマイズ性が落ちるよね。 ◦ 他と違い、こちらからアクションを起こさないと見れない。上記 2つはメールなりSlackなりに自動でpush可能。 ◦ 長期データの分析に向いてる。今、の情報が欲しい刹那的なハニーポッター(私)には必須ではない ◦ iPone Xでも、表示は困難。
実際に見てみます(デモ) デモ でも してみましょうか。
対象となるホスト WordPressの含む、自分の「ブログサーバ」兼「不正アクセス観測サーバ」 • 数年育てました ◦ www.security-feed.club ◦ ハニーポットとして「存在宣言」してきました ◦ セキュリティ系の某ブログで、脆弱性調査結果のレポートがリンクされました。
• おかげで… ◦ きょう、F5では「フィッシング(詐欺)」で「Web Page Blocked!」されていることに気づきました! ◦ だからアクセス減ったの? !
デモ概要 • Slackに送るのが一番よさそう ◦ スマホで見るのが楽 ◦ メールだと、見ないで捨てた、とか見ないことになりやすい ◦ 長いログを送ると、文字数上限?で複数回の投稿扱いになる ▪
「```」での引用処理が無駄になる ◦ コピペが若干面倒 ▪ 一覧からではなく、該当の投稿を選んでからでないと部分コ ピーができない。 ◦ 自作ツールで送り込むときは、ある程度のまとまり単位に分割してか ら登校したほうが見やすい。 • logwatchを送る ◦ 長いリクエストが省略されてしまうようだ。 ▪ 僕はそこが見たいのに! ◦ ソート順がURLやディレクトリ→回数 なので、頻繁にアクセスされた/ 攻撃されたものを探しづらい
結論 初心者ハニーポッター • まずは、毎日見る。 • そのために、メールやSlackへ集計結果を自動で配信させ、スマホで見る。 • まずはlogwatchでもいい。不満が出たら独自ログツールへ。 ◦ 体をログに慣らそう!
• なにか見つけたら、発信してみる! 必要になったら、ElasticStackへ • 長期分析をしたい • 記憶以外で、傾向分析したい • 個々のアクセス元について分析したい
とりあえず継続、は重要。 何か得られるものがあったら 次回は発表側で参加しよう!