Kibanaでログ分析を1年続けてみたら業務システムの保守と運用が捗った / How&Why I have been leveraging Kibana for DevOps

2015/4/4, Elasticsearch勉強会 in 名古屋
https://elasticsearch.doorkeeper.jp/events/21984
ブログ
http://blog.exoego.net/2015/04/kibana4-use-case.html

Transcript

1. View Slide

2. •
   •
   •
   2
   

   View Slide

3. View Slide

4. View Slide

5. •
   •
   •
   5
   

   View Slide

6. •
   •
   •
   6
   

   View Slide

7. View Slide

8. •
   •
   •
   8
   

   View Slide

9. View Slide

10. •
    •
    •
    •
    10
    

    View Slide

11. View Slide

12. •
    •
    •
    •
    12
    

    View Slide

13. •
    •
    Javaプロセスがプロキシ経由してFW抜けられるように設定
    export set JAVA_OPTS="-Dhttp.proxyHost=XXX -Dhttp.proxyPort=XXX"
    13
    

    View Slide

14. 14
    さすがにelasticsearch使ってる時に他がもっさりするので、常時起動はキビシイ。
    が、ある程度の分量（数千万～数億行程度）のログ分析には開発PC一台でもイケました。
    分析で得られた知見をチームで活用し「もっと本格的にやるためサーバ欲しい」と上司に相談しましょう。
    

    View Slide

15. View Slide

16. View Slide

17. View Slide

18. View Slide

19. View Slide

20. 上（赤色）側が多い＝危険
    下（緑色）側が多い＝良好
    Kibana3だと範囲1つ1つに別のクエリを作成しなければいけなかったが
    Kibana4は1つのクエリで特定の値を範囲別に分類してくれるようになった！
    20
    

    View Slide

21. View Slide

22. View Slide

23. 25％までは
    123.96ミリ秒以内に完了
    50％までは
    577.5ミリ秒以内に完了
    23
    95％は
    X,XXXミリ秒以内に完了
    

    View Slide

24. View Slide

25. View Slide

26. •
    •
    •
    26
    4～5時間/月⇛十数分/月
    使われてない機能の改善や廃止を提案
    データにもとづいてるのでお客様も納得
    発見したボトルネックを次々つぶして
    システム全体のレスポンス30％向上
    

    View Slide

27. •
    •
    27
    

    View Slide

28. •
    •
    •
    28
    

    View Slide