てっくないと発表資料_山形さん

山形さんのAlibaba CloudのLogService構成についての発表

Transcript

1. Alibaba Cloud LogServiceのご紹介 SBクラウド株式会社 （2019/10/04）
2. 公開情報（今回はこの中からお話します） ～ログ収集編～ https://www.sbcloud.co.jp/entry/2019/07/16/logservice_unyo/ ～ログ検索編①～ - 条件を絞って検索 https://www.sbcloud.co.jp/entry/2019/07/26/log-service_unyo_2/ ～ログ検索編②～ - インデックス設定 - 集計作業 - グラフ化 https://www.sbcloud.co.jp/entry/2019/08/27/log-service_unyo_3/ ～ログ検索編③～ - ログダウンロード（GUI/CLI） https://www.sbcloud.co.jp/entry/2019/09/03/log-service_unyo_4/ ～ログ検索編④～ - ダッシュボード作成 https://www.sbcloud.co.jp/entry/2019/09/19/log-service_unyo_5/ •Engineers’Blog 実運用を想定したAlibaba CloudのLogService構成を考えてみる
3. 公開情報 •SlideShare Alibaba Cloud Elasticsearch・LogService構築手順 https://www.slideshare.net/sbcloud/alibaba-cloud-elasticsearchlogservice こちらは、Elasticserachの構築がメインとなりますが、 LogServiceについて【Logtail】ではなく、【Logstash】を使用した 収集方法をご紹介しております。
4. ▪ AlibabaCloudを活用したログ収集方法を知る 本セクションの目的 目的は下記の1つです！ AWSだと【CloudWatchLogs】、Azureだと【 LogAnalytics 】のように AlibabaCloudにもログ収集用のサービスとして、 【LogService】があります。 まずは、【LogService】がどういうものかをお伝えします。
5. AlibabaCloudを活用した ログ収集方法のご紹介
6. AlibabaCloud ECS LogService LogServiceとは・・・・ 一言でいうとログの収集・検索・可視化ができるサービスです。 サーバのログを収集して検索するだけでなく、集計やグラフ化も可能です。 ・ ・ ・ サーバ 作業拠点 検索・解析 ログ送付 ログ送付 ECS サーバ コンソール・ダッシュボード
7. LogServiceを構成するコンポーネント LogServiceは下記の用語があります。 - Project - Logstore - Logtail Config ここでは、下記のようにイメージします。 Logstore (サブディレクトリ) Project (ディレクトリ) Logstore (サブディレクトリ) Logtail Config (ログファイル) Logtail Config (ログファイル) Logtail Config (ログファイル) ログの保存期間は、Logstore毎に 1～3000日の間で設定可能
8. デモ構成 web1-logstore Logtail Config (/var/log/messages) Logtail Config (/var/log/httpd/access_log) webserver-project-01 apserver-project-01 Logtail Config (/var/log/messages) Logtail Config (/var/log/ap/ap1.log) Projectでサーバ種別を分けた想定 ap1-logstore
9. 事前準備 ECS（サーバ）にLogtailをインストールし、 LogServiceのマシングループステータスがOKになることを確認 設定詳細は、下記のEngineers’Blogを参照 ～ログ収集編～ https://www.sbcloud.co.jp/entry/2019/07/16/logservice_unyo/
10. 収集したログの見え方 下記のアクセスログを例にします。（/var/log/httpd/access_log） LogServiceでは、収集後にこのように見えます。 生ログ ログ収集元ホスト情報 Logtail Config（Logtail構成）にて定義した APACHEキーと生ログから抽出した値 生ログからキー毎に値が 割り当てられる
11. ログ収集時にどのように設定するか Logtail Configの設定 収集元ファイルパス 収集モードの設定 Keyの設定 （APACHEフォーマットの場合は自動反映）
12. Keyを設定するメリット インデックスを定義することによって、キー毎に集計ができるようになる 集計の有効化 キーの定義
13. Keyを設定するメリット インデックス設定時に【集計の有効化】を実施しておくと自動で集計される 押下するとグラフ画面へ遷移する キーとして定義したrequest_uriを 見るとよく閲覧されているページが分かる
14. Keyを設定するメリット 発行されたクエリ 作成されたグラフ 集計した値 下記のようにクエリを自動発行し、グラフが作成されます。
15. デモⅠ 下記の3点をデモ画面にてご説明します。 詳細な説明については、後述するブログURLをご参照下さい。 ① 画面の見方 詳細はEngineers’Blogの【ログ収集編】をご参照下さい ② 文字列検索 詳細はEngineers’Blog 【ログ検索編①、②】をご参照下さい ③ ログのダウンロード 詳細はEngineers’Blog 【ログ検索編③】をご参照下さい
16. ログ検索のクセ 検索例①（エラーパターン） 全く同じ文字列を検索 してもエラーが出る 201910*で検索しても 20191003-115938までが 検索される 検索例②（正常パターン） あいまい検索で使用できるクエリは * と ? のみ 使用できる構文は下記のドキュメントに 記載有 https://jp.alibabacloud.com/help/doc- detail/29060.htm
17. ログ検索のクセ ▪デフォルト値のトークンについて 下記の生ログが出力された場合を例とすると 20190505-121015 : 403 : error トークンに含まれている :(コロン)区切りでカラムが分けられて収集されます。 20190505-121015 : 403 : error 検索例①で検索できなかった理由はインデックス設定でカラムが分けられているため デフォルト設定 それぞれ、LogService上で値をクリックすることでクエリが 自動発行され、検索されます。
18. ログ検索のクセ 201910*で検索したら 20191003-141110までが 検索される 検索例③（前方一致パターン[検索可]） *141110で検索しても 検索エラーになる 検索例④（後方一致パターン[検索不可]）
19. 文字列検索するなら① 【コンテキスト表示】機能を使用する
20. 文字列検索するなら① 【コンテキスト表示】を使用する
21. 文字列検索するなら② ログをダウンロードする GUIでもCLIでもダウンロード可能 ※GUIの場合は、1度にダウンロードできる行数は最大100行まで
22. ▪ AlibabaCloudを活用したログ収集方法 まとめ ・AlibabaCloudでは【LogService】を使用してサーバのログ収集が可能 ・ログ収集だけではなく、検索・可視化が可能 ・各プロジェクトに合わせて、Project・Logstoreの設計を考える ・可視化も考慮する場合は、Keyを設計した上で、インデックスを設定する ・ログはGUI/CLIからダウンロードすることが可能
23. EoF