2014-10-11_chiba.pm5

アプリケーションのログ収集/監視ほかの会社はどうしてるのかしら?というお話

Transcript

1. ログ監視の話
   chiba.pm #5
   すずきまさし / @masasuz
   1
   

   View Slide

2. View Slide

3. ネタは特に話さないです
   3
   

   View Slide

4. ログ監視の話
   chiba.pm #5
   すずきまさし / @masasuz
   4
   

   View Slide

5. おまえだれよ
   すずきまさし / @masasuz
   五反田の辺りにある中小web企業
   開発基盤的なものを整備しているらし
   い
   zsh / perl / mysql / Ubuntu /
   Debian
   5
   

   View Slide

6. 最近江戸川区と葛飾区は千葉だっ
   てずっと言い続けていたら、西葛
   西在住の人に怒られたので自重し
   ます。
   6
   

   View Slide

7. ログ監視
   ログ収集
   7
   

   View Slide

8. コンテキスト
   ウェブサービス
   自社サービス
   物理サーバ
   数百台の中小規模
   8
   

   View Slide

9. ログ監視の話
   9
   

   View Slide

10. エラーログ監視
    定期的に
    アクセスログから4xx 5xxのログをvhost
    毎、path毎に集計し、
    一日あたりのᮢ値(デフォルト10件)越
    えたらIRC、メールで通知する
    当日ᮢ値は更新可能
    10
    

    View Slide

11. 問題
    ᮢ値が一律10件(デフォルト)なので、
    件数少ないけど重要なエラーを見逃す。
    syntaxエラーとか仕込んでしまうと全
    てのアクセスで500が上がるので、ᮢ値
    上げ大変。
    11
    

    View Slide

12. 別ソリューション
    単位時間当たりで5xx 4xxを集計すると
    か?
    12
    

    View Slide

13. ログ収集の話
    13
    

    View Slide

14. 昔の話
    監視サーバから
    各アプリケーションサーバに
    serverlist.sh | xargs -I% ssh %
    ‘egrep “status:(4|5)[0-9]{2}”
    access.log ‘
    14
    

    View Slide

15. 現在
    fluentdでログサーバに転送
    fluentdがごにょごにょして、vhost毎
    にアクセスログ分けてファイル保存
    15
    

    View Slide

16. 問題
    複数ファイルをzgrepするのであまり効
    率よくない
    結局logサーバにsshしないといけない
    webアプリでごにょごにょしにくい
    16
    

    View Slide

17. 将来?
    fluentd => elasticsearch
    検証し始めた
    aggrecationsがだいぶ使えそう
    kabana3良い
    kibana4???
    17
    

    View Slide

18. 緩募:
    事例
    ベタープラクティス
    18
    

    View Slide

19. ありがとう
    ございました
    19
    

    View Slide