$30 off During Our Annual Pro Sale. View Details »

2014-10-11_chiba.pm5

 2014-10-11_chiba.pm5

アプリケーションのログ収集/監視ほかの会社はどうしてるのかしら?というお話

SUZUKI Masashi

October 27, 2014
Tweet

More Decks by SUZUKI Masashi

Other Decks in Technology

Transcript

  1. ログ監視の話
    chiba.pm #5
    すずきまさし / @masasuz
    1

    View Slide

  2. 2

    View Slide

  3. ネタは特に話さないです
    3

    View Slide

  4. ログ監視の話
    chiba.pm #5
    すずきまさし / @masasuz
    4

    View Slide

  5. おまえだれよ
    すずきまさし / @masasuz
    五反田の辺りにある中小web企業
    開発基盤的なものを整備しているらし

    zsh / perl / mysql / Ubuntu /
    Debian
    5

    View Slide

  6. 最近江戸川区と葛飾区は千葉だっ
    てずっと言い続けていたら、西葛
    西在住の人に怒られたので自重し
    ます。
    6

    View Slide

  7. ログ監視
    ログ収集
    7

    View Slide

  8. コンテキスト
    ウェブサービス
    自社サービス
    物理サーバ
    数百台の中小規模
    8

    View Slide

  9. ログ監視の話
    9

    View Slide

  10. エラーログ監視
    定期的に
    アクセスログから4xx 5xxのログをvhost
    毎、path毎に集計し、
    一日あたりのᮢ値(デフォルト10件)越
    えたらIRC、メールで通知する
    当日ᮢ値は更新可能
    10

    View Slide

  11. 問題
    ᮢ値が一律10件(デフォルト)なので、
    件数少ないけど重要なエラーを見逃す。
    syntaxエラーとか仕込んでしまうと全
    てのアクセスで500が上がるので、ᮢ値
    上げ大変。
    11

    View Slide

  12. 別ソリューション
    単位時間当たりで5xx 4xxを集計すると
    か?
    12

    View Slide

  13. ログ収集の話
    13

    View Slide

  14. 昔の話
    監視サーバから
    各アプリケーションサーバに
    serverlist.sh | xargs -I% ssh %
    ‘egrep “status:(4|5)[0-9]{2}”
    access.log ‘
    14

    View Slide

  15. 現在
    fluentdでログサーバに転送
    fluentdがごにょごにょして、vhost毎
    にアクセスログ分けてファイル保存
    15

    View Slide

  16. 問題
    複数ファイルをzgrepするのであまり効
    率よくない
    結局logサーバにsshしないといけない
    webアプリでごにょごにょしにくい
    16

    View Slide

  17. 将来?
    fluentd => elasticsearch
    検証し始めた
    aggrecationsがだいぶ使えそう
    kabana3良い
    kibana4???
    17

    View Slide

  18. 緩募:
    事例
    ベタープラクティス
    18

    View Slide

  19. ありがとう
    ございました
    19

    View Slide