クラウド環境でのロギングとAlibaba Cloudでのロギングソリューション

クラウド環境でどのようにロギングしていけばいいかを解説します。また、Alibaba Cloudでのロギングソリューションについて紹介します。

Transcript

1. クラウド環境でのロギング と、Alibaba Cloudでのロギングソリューションについて MasterCloud #5 (2017/9/14) @mosuke5
2. Who am I ? 名前：もーすけ @mosuke5 仕事： 　SBクラウド株式会社 クラウドアーキテクト 　Alibaba Cloudの日本サイトの運営。 　Alibaba Cloudの技術検証とかソリューション提案など。 　以前はソフトウェアエンジニア 最近： 　Spotlight買いました！
3. Alibaba Cloudとは
4. 世界最大のトランザクションを支える基盤
5. 2016年12月 AlibabaCloud日本リージョン開設 2016年12月 東京リージョン開設
6. そもそもログとは何か log 「丸太、測程器、航海日誌、旅行日記、(エンジン・ボイラーなどの)工程日誌、(実験・業 務などの)記録」 「船の速度を測るのに丸太 (log) に一定間隔に結び目のある縄を括り付けて浮かべた ことに由来する」 ログハウス
7. ログの種類 「ログ」と一言にいっても様々な種類がある。 種類によって活用目的、活用方法も異なってくる。 • アクセスログ • アプリケーションログ • セキュリティログ • アクションログ • システムログ • など
8. なぜログが重要か 「ログ」はシステム / ユーザが、 いつどのように動いたか知る唯一の手段 (といっても過言じゃない) システムの改善、グロースハック（もう死語?？）という 広い海をわたるためのコンパス
9. クラウドという環境 増減するサーバ 疎結合化 マイクロサービス化
10. クラウド環境で どうやってログを集めていくか
11. 一度は経験したことあるはず… $ grep "^192.168.1.1" /var/log/nginx/access.log | grep -v hoge... Web01 Web02 Web03 ターミナルを何個も立ち上げ、 それぞれのサーバにログインして grepして目視したことを…
12. ログデータはサーバの外部に 集約して保存することが大事
13. ログ収集場所に求められること 1. ログデータが消失しないように堅牢性があること 2. ログ送付がボトルネックにならないこと 3. スケーリングすること 4. 冗長化できていること
14. 外部ストレージへの保存 パターン１ ログを外部ストレージに保存す る。RDBや外部ストレージへ。 おすすめはオブジェクトスト レージの利用。可用性と耐久 性の高さからログの保存に向 いています。 リレーショナル データベース オブジェクト ストレージ サーバ
15. オブジェクトストレージ 「オブジェクト単位（ファイル単位）で出し入れのできる、　ネット ワークストレージ」 オブジェクトストレージでは直接にストレージ上のファイルをRead/Writeすることはでき ない。いうなれば、FTPサーバに近い存在。HTTP(S)で通信。 一方、安価であり、保存したデータ量だけの課金、三重のサーバに保存されるので高い 耐久性を誇る。 オブジェクトストレージの仕組みについてはこちら参照 「https://blog.mosuke.tech/entry/2017/03/18/182252/」 AWS S3 Alibaba Cloud OSS キー技術
16. オブジェクトストレージの向き不向き ◯ ログの保管場所。アーカイブとしての置き場 ◯ CSSやJSファイルなど静的ファイルの置き場 ✕ リアルタイムでのログの書き込み ✕ データベースとしての利用 キー技術
17. 増減するサーバへの対応 クラウド環境ではAuto Scaling等の 機能によって、サーバを台数を必要 に応じて増減させることがある。 サーバが減る場合を想定して、 シャットダウンスクリプトなどを利用 して、ログごと消えないように注意す る必要がある。 オブジェクト ストレージ シャットダウンス クリプト等でログ を退避 Load Balancer キー技術
18. ログコレクター Fluentdやlogstashなどのログコレクターの ソフトウェアを利用すると、オブジェクトスト レージ等へのログの保存はより簡単に実 現できます。 Inputプラグイン Filterプラグイン Outputプラグイン ファイル Syslog HTTP ファイル DB Cloud Service キー技術
19. ログの監視 ログはストレージへ保存できればいいとい うものでもない。システムの状態を知る手 段でもある。 ログの内容をみて担当エンジニアなどへ のアラートにも活用できる。この場合は、 モニタリングシステムと組み合わせるとい い。 AWS CloudWatch Logs Mackerel パターン２
20. 大量のアクティビティログの書き込み 例えばゲームアプリで、アクティビティログなど多くのユーザの書 き込みが発生する場合がある。 RDBへ保存することも考えられるが、RDBはボトルネックとなりや すく、スケールアウトも難しい。 スケーラビリティに優れた、 クラウドのマネージドNoSQLデータベースの利用がおすすめ。 パターン３
21. NoSQLデータベース フルマネージドのNoSQLデータベースも活 用しよう。スケーラビリティに優れ、RDBへの 書き込みではボトルネックになるような大量 のログデータの書き込みには向いている。 スケーラビリティと可用性を備えているのに は、それを支える技術がある。 Alibaba Cloud Table Store AWS DynamoDB キー技術
22. Consistent Hashing • 分散ストレージにおけるデータの保 存先を決定するアルゴリズム • データとデータを保存するノードをリ ング上に管理する Node1 Node2 Node3 Node4 Data1 Data2 Data3 Data4 Data5 Data6 キー技術
23. Consistent Hashing Node1 Node2 Node3 Node4 Data1 Data2 Data3 Data4 Data5 Data6 Node1 Node2 Node3 Node4 Data1 Data2 Data3 Data4 Data5 Data6 New Node Data4がNode3から New Nodeに移動 ノード追加 キー技術
24. Alibabaの分散ファイルシステム Pangu (盘古） • Panguは中国の神様の名前（天と地を分けた神） • Alibabaが独自に開発している分散ファイルシステム (Like GFS, HDFS but more advanced) • Alibaba Cloudの多くのプロダクトのストレージレイヤーとして利用 Master Master Master Paxos Chank Server Chank Server Chank Server Chank Server Chank Server Chank Server Block Storage Object Storage Table Store Bigdata Service Message Queue Persistent Storage Layer Alibaba Cloud Service Pangu
25. Alibaba Cloudならではのロギングソリューション Table Store マネージドNoSQL リージョン間を結ぶ 専用線サービス グローバル（中国含む）でIoTのソリューションを提供している例。 中国特有のネットワーク事情に左右されず安定してロギングが可能。
26. Alibaba Cloud Log Service 日本での提供は いま準備中！
27. まとめ • ログと一言でいっても多種多様 • クラウド環境では今まで以上にログの扱い方が難しくなり、そ して重要性も増してきている • クラウドプラットフォーム特有の特徴を活かしてロギングライフ をより充実へ • クラウドサービスはそのサービスのもとになっているテクノロ ジーに注目すると一番いい活用方法が見えてくる
28. We are hiring!! クラウドアーキテクト募集中！ クラウドプラットフォームのテクノロジーを理解し、 世界で勝負するパブリッククラウドを一緒に作っていきたいエンジ ニア一緒に働きましょう。 SBクラウド Wantedly: https://www.wantedly.com/projects/91226