継続的にログを見るための ツール比較 （初心者ハニーポッター向け） 2018/09/29(Sat) 第五回ハニーポッター技術交流会 hogehuga

いつもにも増して しょぼいです。 すみません。 しょぼい内容なので メモを取る必要はないよ。 しょぼすぎて、公開しない よ。（してもいいけど）

結局、スライドを公開することにしました。 が、口頭やデモでの補足が多いため、スライドはショボいままです。 ● logwatch、自作ツール、ElasticStackの比較も、口頭で補足しています。スライ ドでは、ざっくりとしたことのみ記載しています。

お前誰よ @hogehuga（四川麻婆豆腐） ● 脆弱性や情報漏えいの情報を、個人的に収集している（-ne 業務） ● WindowsのCode Red辺りから、ハニポに目覚めた？(2001 summer…?） ● たぶん、コンサルティングの人 ○ セキュリティの話をするときに、ハニポで得た情報があると話しやすいなー ● セキュリティの人じゃないと思うよ ● バイクいいよバイク …そんなの、どうでもいいですよね。

概要 ハニーポットのログ、見てますか？ ログの見方は人それぞれだと思いますが、趣味でハニーポットをやる、これからハニー ポットを始める、という観点で代表的なログを見る仕組みを比較してみました。 代表的なログを見る仕組みは、以下と定義します。 ● 自分でログを文字列処理する：（とりあえず代表として）dailyLogCheck ○ https://github.com/hogehogehugahuga/dailyLogCheck ○ 多分いじらないと動かないよ。geoiplookup必須とかだし。 ● いにしえのツール：logwatch ● ログ分析の仕組み：ElactickSearch

ぼくのかんがえた、ハニポ道 ● ハニーポットを植える ○ 自作や既存のハニーポットシステムを植える ○ web、ssh、telnet、ネットワーク、etc ● 観察を始める ○ ログをみる ○ ログを処理する ● 気付き　が生まれる ○ 異常値や傾向の把握 ● 変更をする ○ アクセスされやすいように、広報してみる ←ハニーポット存在宣言 ○ ログ分析方法や方針の変更 ● 共有する ○ 発信する ○ 情報をもらう 今日はここの話 ハニポのPDCAサイクル！

ところで。 ElasticStack、維持するの大変ですよね？ ● それなりのメモリが必要。パブリッククラウドだと費用が… ● パフォーマンス調整や可動チェックなどが必要 ● 仕事じゃないから、家でまでElasticsearch/Logstashのおもりしたくないyo →面倒なので、ElasticStackのSaaS使いましょう。無料枠ありのものも多い。 　保存期間が3日-7日くらい、データ量の制限、などが微妙に違う。 　→私はとりあえず、logz.io を使っています。良さそうなのを探してみよう ninosekiさんの話でも出てきましたね < logz.io

ElasticStack SaaS 一般的な形式のログであれば filebeat で直接SaaSに送れるが、そうでない場合は別 途Logstashサーバを立てる必要があるかも。 向いてる人 ● 短期的に見れればいい ● とりあえず　WEBサーバ ハニーポット だけでいい ● 費用を抑えたい 向いてない人 ● 長期的に分析したい人 ● ハニーポッター中級？以上の人

さっくりとした比較 ツール比較をしてみる 継続的にログを見るには、気が向いたときに見ることができる環境が必要。 スマホで見れるのがMUSTと考えると、ELKは難しいかも。 ※あくまで当方の主観です。 構築 維持 改造 詳細が見れ る スマホで見れ る 独自ツール bit difficult ✔ ✔ ✔ ✔ logwatch ✔ ✔ bit difficult ❌ ✔ ElastickStac k bit difficult ✔ bit difficult ✔ ❌ ＿人人人人人人人人人人＿ ＞　突然のツール比較　＜ ￣Y^Y^Y^Y^Y^Y^Y^Y^Y￣

特徴の概要 ● 独自ツール ○ 自分で、どのようにログを見たいか、どのように処理するか、どのように表現するか、を決める必要があるので、最初は難し い？ ○ 自分で設定するから、なんでもできる。 ○ 長期統計処理は難しい。できないことはないけど、スクリプト作る必要がある。 ○ ELKのように、特定期間のこと情報、というフォーカスは難しい。 ● logwatch ○ 集計処理後の表示で、長い文字列が省略されるという、致命的な欠点が。 ○ OSのパッケージ管理で入れるだけで勝手に集計してくれる (sshdのログも!)ので、便利。 ○ 集計方法に不満があっても、好きなように修正するのは面倒かも。 ○ 始めるのは簡単だけど、ハニーポッター的にはすぐに不満や要求が出てくる。用途が違うからね。 ● ElasticSearch ○ ELKは比較的大きいリソースが必要だが、 SaaSで回避可能。ただし、カスタマイズ性が落ちるよね。 ○ 他と違い、こちらからアクションを起こさないと見れない。上記 2つはメールなりSlackなりに自動でpush可能。 ○ 長期データの分析に向いてる。今、の情報が欲しい刹那的なハニーポッター（私）には必須ではない ○ iPone Xでも、表示は困難。

実際に見てみます(デモ) デモ でも してみましょうか。

対象となるホスト WordPressの含む、自分の「ブログサーバ」兼「不正アクセス観測サーバ」 ● 数年育てました ○ www.security-feed.club ○ ハニーポットとして「存在宣言」してきました ○ セキュリティ系の某ブログで、脆弱性調査結果のレポートがリンクされました。 ● おかげで… ○ きょう、F5では「フィッシング(詐欺)」で「Web Page Blocked!」されていることに気づきました！ ○ だからアクセス減ったの？ !

デモ概要 ● Slackに送るのが一番よさそう ○ スマホで見るのが楽 ○ メールだと、見ないで捨てた、とか見ないことになりやすい ○ 長いログを送ると、文字数上限？で複数回の投稿扱いになる ■ 「```」での引用処理が無駄になる ○ コピペが若干面倒 ■ 一覧からではなく、該当の投稿を選んでからでないと部分コ ピーができない。 ○ 自作ツールで送り込むときは、ある程度のまとまり単位に分割してか ら登校したほうが見やすい。 ● logwatchを送る ○ 長いリクエストが省略されてしまうようだ。 ■ 僕はそこが見たいのに！ ○ ソート順がURLやディレクトリ→回数　なので、頻繁にアクセスされた/ 攻撃されたものを探しづらい

結論 初心者ハニーポッター ● まずは、毎日見る。 ● そのために、メールやSlackへ集計結果を自動で配信させ、スマホで見る。 ● まずはlogwatchでもいい。不満が出たら独自ログツールへ。 ○ 体をログに慣らそう！ ● なにか見つけたら、発信してみる！ 必要になったら、ElasticStackへ ● 長期分析をしたい ● 記憶以外で、傾向分析したい ● 個々のアクセス元について分析したい

とりあえず継続、は重要。 何か得られるものがあったら 次回は発表側で参加しよう！