Upgrade to Pro — share decks privately, control downloads, hide ads and more …

クラウド環境でのロギングとAlibaba Cloudでのロギングソリューション

mosuke5
September 14, 2017

クラウド環境でのロギングとAlibaba Cloudでのロギングソリューション

クラウド環境でどのようにロギングしていけばいいかを解説します。また、Alibaba Cloudでのロギングソリューションについて紹介します。

mosuke5

September 14, 2017
Tweet

More Decks by mosuke5

Other Decks in Technology

Transcript

  1. クラウド環境でのロギング
    と、Alibaba Cloudでのロギングソリューションについて
    MasterCloud #5 (2017/9/14)
    @mosuke5

    View full-size slide

  2. Who am I ?
    名前:もーすけ @mosuke5
    仕事:
     SBクラウド株式会社 クラウドアーキテクト
     Alibaba Cloudの日本サイトの運営。
     Alibaba Cloudの技術検証とかソリューション提案など。
     以前はソフトウェアエンジニア
    最近:
     Spotlight買いました!

    View full-size slide

  3. Alibaba Cloudとは

    View full-size slide

  4. 世界最大のトランザクションを支える基盤

    View full-size slide

  5. 2016年12月 AlibabaCloud日本リージョン開設
    2016年12月 東京リージョン開設

    View full-size slide

  6. そもそもログとは何か
    log
    「丸太、測程器、航海日誌、旅行日記、(エンジン・ボイラーなどの)工程日誌、(実験・業
    務などの)記録」
    「船の速度を測るのに丸太 (log) に一定間隔に結び目のある縄を括り付けて浮かべた
    ことに由来する」
    ログハウス

    View full-size slide

  7. ログの種類
    「ログ」と一言にいっても様々な種類がある。
    種類によって活用目的、活用方法も異なってくる。
    ● アクセスログ
    ● アプリケーションログ
    ● セキュリティログ
    ● アクションログ
    ● システムログ
    ● など

    View full-size slide

  8. なぜログが重要か
    「ログ」はシステム / ユーザが、
    いつどのように動いたか知る唯一の手段
    (といっても過言じゃない)
    システムの改善、グロースハック(もう死語??)という
    広い海をわたるためのコンパス

    View full-size slide

  9. クラウドという環境
    増減するサーバ 疎結合化
    マイクロサービス化

    View full-size slide

  10. クラウド環境で
    どうやってログを集めていくか

    View full-size slide

  11. 一度は経験したことあるはず…
    $ grep "^192.168.1.1" /var/log/nginx/access.log |
    grep -v hoge...
    Web01 Web02 Web03
    ターミナルを何個も立ち上げ、
    それぞれのサーバにログインして
    grepして目視したことを…

    View full-size slide

  12. ログデータはサーバの外部に
    集約して保存することが大事

    View full-size slide

  13. ログ収集場所に求められること
    1. ログデータが消失しないように堅牢性があること
    2. ログ送付がボトルネックにならないこと
    3. スケーリングすること
    4. 冗長化できていること

    View full-size slide

  14. 外部ストレージへの保存
    パターン1
    ログを外部ストレージに保存す
    る。RDBや外部ストレージへ。
    おすすめはオブジェクトスト
    レージの利用。可用性と耐久
    性の高さからログの保存に向
    いています。
    リレーショナル
    データベース
    オブジェクト
    ストレージ サーバ

    View full-size slide

  15. オブジェクトストレージ
    「オブジェクト単位(ファイル単位)で出し入れのできる、 ネット
    ワークストレージ」
    オブジェクトストレージでは直接にストレージ上のファイルをRead/Writeすることはでき
    ない。いうなれば、FTPサーバに近い存在。HTTP(S)で通信。
    一方、安価であり、保存したデータ量だけの課金、三重のサーバに保存されるので高い
    耐久性を誇る。
    オブジェクトストレージの仕組みについてはこちら参照
    「https://blog.mosuke.tech/entry/2017/03/18/182252/」 AWS S3 Alibaba Cloud
    OSS
    キー技術

    View full-size slide

  16. オブジェクトストレージの向き不向き
    ◯ ログの保管場所。アーカイブとしての置き場
    ◯ CSSやJSファイルなど静的ファイルの置き場
    ✕ リアルタイムでのログの書き込み
    ✕ データベースとしての利用
    キー技術

    View full-size slide

  17. 増減するサーバへの対応
    クラウド環境ではAuto Scaling等の
    機能によって、サーバを台数を必要
    に応じて増減させることがある。
    サーバが減る場合を想定して、
    シャットダウンスクリプトなどを利用
    して、ログごと消えないように注意す
    る必要がある。
    オブジェクト
    ストレージ
    シャットダウンス
    クリプト等でログ
    を退避
    Load Balancer
    キー技術

    View full-size slide

  18. ログコレクター
    Fluentdやlogstashなどのログコレクターの
    ソフトウェアを利用すると、オブジェクトスト
    レージ等へのログの保存はより簡単に実
    現できます。
    Inputプラグイン
    Filterプラグイン
    Outputプラグイン
    ファイル Syslog HTTP
    ファイル DB Cloud Service
    キー技術

    View full-size slide

  19. ログの監視
    ログはストレージへ保存できればいいとい
    うものでもない。システムの状態を知る手
    段でもある。
    ログの内容をみて担当エンジニアなどへ
    のアラートにも活用できる。この場合は、
    モニタリングシステムと組み合わせるとい
    い。
    AWS
    CloudWatch Logs
    Mackerel
    パターン2

    View full-size slide

  20. 大量のアクティビティログの書き込み
    例えばゲームアプリで、アクティビティログなど多くのユーザの書
    き込みが発生する場合がある。
    RDBへ保存することも考えられるが、RDBはボトルネックとなりや
    すく、スケールアウトも難しい。
    スケーラビリティに優れた、
    クラウドのマネージドNoSQLデータベースの利用がおすすめ。
    パターン3

    View full-size slide

  21. NoSQLデータベース
    フルマネージドのNoSQLデータベースも活
    用しよう。スケーラビリティに優れ、RDBへの
    書き込みではボトルネックになるような大量
    のログデータの書き込みには向いている。
    スケーラビリティと可用性を備えているのに
    は、それを支える技術がある。
    Alibaba Cloud
    Table Store
    AWS DynamoDB
    キー技術

    View full-size slide

  22. Consistent Hashing
    ● 分散ストレージにおけるデータの保
    存先を決定するアルゴリズム
    ● データとデータを保存するノードをリ
    ング上に管理する
    Node1
    Node2
    Node3
    Node4
    Data1
    Data2
    Data3
    Data4
    Data5
    Data6
    キー技術

    View full-size slide

  23. Consistent Hashing
    Node1
    Node2
    Node3
    Node4
    Data1
    Data2
    Data3
    Data4
    Data5
    Data6 Node1
    Node2
    Node3
    Node4
    Data1
    Data2
    Data3
    Data4
    Data5
    Data6
    New Node
    Data4がNode3から
    New Nodeに移動
    ノード追加
    キー技術

    View full-size slide

  24. Alibabaの分散ファイルシステム Pangu (盘古)
    ● Panguは中国の神様の名前(天と地を分けた神)
    ● Alibabaが独自に開発している分散ファイルシステム
    (Like GFS, HDFS but more advanced)
    ● Alibaba Cloudの多くのプロダクトのストレージレイヤーとして利用
    Master
    Master
    Master
    Paxos
    Chank
    Server
    Chank
    Server
    Chank
    Server
    Chank
    Server
    Chank
    Server
    Chank
    Server
    Block
    Storage
    Object
    Storage
    Table
    Store
    Bigdata
    Service
    Message
    Queue
    Persistent
    Storage
    Layer
    Alibaba Cloud
    Service
    Pangu

    View full-size slide

  25. Alibaba Cloudならではのロギングソリューション
    Table Store
    マネージドNoSQL
    リージョン間を結ぶ
    専用線サービス
    グローバル(中国含む)でIoTのソリューションを提供している例。
    中国特有のネットワーク事情に左右されず安定してロギングが可能。

    View full-size slide

  26. Alibaba Cloud
    Log Service
    日本での提供は
    いま準備中!

    View full-size slide

  27. まとめ
    ● ログと一言でいっても多種多様
    ● クラウド環境では今まで以上にログの扱い方が難しくなり、そ
    して重要性も増してきている
    ● クラウドプラットフォーム特有の特徴を活かしてロギングライフ
    をより充実へ
    ● クラウドサービスはそのサービスのもとになっているテクノロ
    ジーに注目すると一番いい活用方法が見えてくる

    View full-size slide

  28. We are hiring!!
    クラウドアーキテクト募集中!
    クラウドプラットフォームのテクノロジーを理解し、
    世界で勝負するパブリッククラウドを一緒に作っていきたいエンジ
    ニア一緒に働きましょう。
    SBクラウド Wantedly: https://www.wantedly.com/projects/91226

    View full-size slide