2014-11-28_Elasticsearch

1.

Elasticsearch導入 ͖ͣ͢·͞͠ @ ࣾ಺ 1

2.

もくじ弊社のログアーキテクチャのおさらい Elasticsearch導入の動機 Elasticsearch/Kibana概要 KibanaのDashboard 2

3.

Elasticsearchの話の前におさらい 3

4.

ログ回りアーキテクチャおさらい 4

5.

Fluentd http://www.fluentd.org/ ログ収集ミドルウェア input pluginとoutput pluginを柔軟に組み合わせることができる ruby ware 弊社ではtd-agentというパッケージを利用してい
る設定ファイルはFluentdConfプロジェクトで管理 5

6.

td-agent https://github.com/treasure-data/ td-agent fluentdの開発元のTreasure Dataが開発しているrubyとfluentdを同梱したパッケージ rubyを同梱しているのでsystem rubyに影響を受けず/与えず利用できる。
6

7.

agent/collector Fluentdに2つの役割を持たせている agent ログを転送するサーバ collector ログを受信するサーバ 7

8.

収集しているログ ※FluentdConfプロジェクト参照 error log apache/nginx/plack access log apache/nginx(reverse proxy,static) application
log MF::FileLogger(社内用ログ出力モジュール) 8

9.

ログの場所ログサーバの/var/log/td-agent/以下に保存される access log {application,static,reverse_proxy}/access/site/${VHOST}/ エラーなaccess log {application,static,reverse_proxy}/access/status/${STATUS_CODE}/${VHOST}/ error log
plack/error/${APP_NAME}/ {apache,nginx}/error/${HOSTNAME}/ application log app/${APP_NAME}.${LOG_TYPE}/ 9

10.

利用している主なplugin fluent-plugin-forest fluent-plugin-config-expander fluent-plugin-file_alternative fluent-plugin-parser fluent-plugin-rewrite-tag-filter fluent-plugin-record-reformer fluent-plugin-elasticsearch etc.. 10

11.

ログ回りアーキテクチャおさらい 11

12.

ログ回りアーキテクチャおさらい agent 1. ログをtailして読み込む 2. collectorにログを転送する collector 3. agentからのログを受信する
4. タグに従って、ログを振り分ける 5. 振り分けに従ってログをファイルに保存 12

13.

これから 13

14.

これから agent 1. ログをtailして読み込む 2. collectorにログを転送する collector 3. agentからのログを受信する 4.
タグに従って、ログを振り分ける 5. 振り分けに従ってログをファイルに保存 5’Elasticsearchにログを転送する 14

15.

そもそもElasticsearch を導入する動機 15

16.

動機ファイルに保存されてるのでアプリケーション(web)からログの利用がしにくい。簡単にできるようにしたい。 16

17.

ファイルめんどう Fluentdで集めたログは一定サイズで rotateされて横断検索がめんどう /var/log/td-agent/foo/bar/ 20141128_0.log.gz /var/log/td-agent/foo/bar/ 20141128_1.log.gz 17

18.

ファイルめんどうcont.. flash後はgzip圧縮されるのでflash前 (buffer)と合わせて横断検索しにくい /var/log/td-agent/foo/bar/ 20141128_0.log.gz /var/log/td-agent/foo/bar/ 20141128_0924141251.log ※gzip圧縮しなくても良いのですが、そうするとディスクの容量の問題が。 18

19.

ファイルめんどうcont.. ファイルなのでアプリケーションから参照するときはsshしないといけない 19

20.

検討して選んだのは Elasticsearch 20

21.

選ばれなかったものたち Google Big Query お金の問題と常時外にデータを投げるのに抵抗感 Tresure Data 同上 InfluxDB ちょっと実績足りない
MongoDB MySQL 21

22.

Elasticsearch 22

23.

Elasticsearch http://www.elasticsearch.org/ Apache Luceneベースの全文検索エンジンスキーマレス型は存在、自動で型マッピングされるが事前に指定も可能クラスタリングスケーラブルだけど、今回は1台構成 JVM JSON
API Fluentd + Elasticsearch + Kibana3の実績多い Kibanaの存在が決め手 23

24.

ElasticsearchConf Elasticsearch回りの設定管理レポジトリ設定ファイル KibanaのDashboard スキーママッピング各種管理スクリプト 24

25.

Elasiticsearchに保存されるデータ application access log application/staticの404/500なaccess log application log 25

26.

Kibana 26

27.

Kinaba3 ElasticsearchのWebフロントエンドツール JS + HTML 簡単な検索集計であれば、Elasticsearch のAPIを直接使わないでも充分最新バージョンは4 ただし3を使う 27

28.

利用方針基本的なログ検索に関してはKibanaで行う本当に必要であれば、Elasiticsearch のAPIを利用しても良いが、Kibanaの Dashboardをいじる方が工数が少ないと思います。アクセスログアラートに関しては Elasticsearchの検索結果を元にするように修正予定
28

29.

注意点/制限ディスク容量と負荷の関連で全てのログが検索できるわけでは無いです現状1台のサーバで大量のログをさばいているので、重いクエリを短時間で大量に発行すれば、普通にダウンします。 29

30.

Kibanaの Dashboard構成要素 Header ヘッダー部分 Query 検索条件 Filter 検索条件 Row 複数のPanelをまとめたもの
Panel 検索/集計結果 30

31.

Header ヘッダーです。 Dashboardの保存/読み込み、設定変更とかできます。 31

32.

QueryとFilter QueryもFilterも検索条件 Queryは複数の検索結果を比較するために使用するもの Filterはそれぞれの検索結果に対して条件をつけるもの 32

33.

主なPanelの種類 Histgram 単位時間当たりのデータのカウント/最大値/平均値などをグラフ化できます Table 実データに中身を参照できます Terms ファセット検索を用いてデータの集計ができます 33

34.

Histgram 34

35.

Table 35

36.

Terms 36

37.

そのたのPanel map bettermap goal hits sparklines stats trends 37

38.

Kibanaの画面を見つつ説明 38

39.

Dashboardの保存一時領域に保存企画者に検索結果を共有したいときとかローカルに保存 Elasiticsearchに保存 Dashboard作り中に一時的に保存するときとか他のユーザに簡単に上書き保存されかねない ElasiticsearchConfのレポジトリに保存明示的に消さない限りは消えないので恒久的に使いたいものとか
39

40.

まとめ適切にログ設定して適切にログ出力されていれば、快適なログ検索ができるようになった単純なログ検索/集計はKibanaでできる慣れるまでは、若干辛いのでDashboard をつかいこなしてみてくだしあ 40

41.

リソースドキュメント Elasticsearch Kibana 書籍サーバ／インフラエンジニア養成読本ログ収集～可視化編高速スケーラブル検索エンジン ElasticSearch
Server 41

42.

質疑応答 42

43.

43 おわり

2014-11-28_Elasticsearch

2014-11-28_Elasticsearch

Want more?

Transcript