CloudNative Daysを支える Observabilityチームの取り組み 2023年度編 岡本 泰典 / IDC Frontier Inc. 2023/12/19 Mackerel Meetup #15 Tokyo #mackerelio

自己紹介 ● 岡本 泰典 Taisuke Okamoto (@taisuke_bigbaby) ● 株式会社IDCフロンティア ○ KaaSエンジニア (Storage, Network) ● Mackerel歴 ○ 1年弱 (主にKubernetes環境下で利用) ● 趣味 ○ DJ、VJ etc... ● 最近の出来事 ○ CNDTのCo-chairになりました 2

AGENDA 1. CloudNative Daysって？ 2. 今年のObservabilityチームの取り組み 3. 今後の目標 4. 最後に 3

CloudNative Daysとは？ CloudNative Daysとは、IT技術者にとって必携の技術となったクラウドネイティブの啓蒙と
 さらなる普及を目指してIT技術者自らが主催・企画する技術者コミュニティです。
 またコミュニティが主催する技術イベントの名称でもあります。
 
 クラウドネイティブ技術についての国際的組織である
 CloudNative Computing FoundationやLinux Foundation Japanと協力しながら
 技術採用事例や実践ノウハウの紹介といった講演形式のカンファレンス
 技術トレーニング、ミートアップ、オープンソースへのコントリビューション活動を
 日本全国で展開しています。
 
 クラウドネイティブ技術とは？ クラウドネイティブ技術は、パブリッククラウド、プライベートクラウド、ハイブリッドクラウドなどの近代的でダイナミックな環境において、スケーラブルなア プリケーションを構築および実行するための能力を組織にもたらします。 このアプローチの代表例に、コンテナ、サービスメッシュ、マイクロサービス、イ ミュータブルインフラストラクチャ、および宣言型 APIがあります。 これらの手法により、回復性、管理力、および可観測性のある疎結合システムが実現します。 これらを堅牢な自動化と組み合わせることで、エンジニア はインパクトのある変更を最小限の労力で頻繁かつ予測どおりに行うことができます。 https://github.com/cncf/toc/blob/main/DEFINITION.md

CNDT2023 実行委員会 チーム紹介 Dreamkast Broadcast Observability Promotion Secretariat Contents Creators

Observabilityチームの活動 ● 主な役割 ○ イベント運営に関するテレメトリを収集して可視化 ■ アプリケーションログ (EKS) ■ イベントログ (CFP, オンライン視聴者数) ■ オフラインログ (CO2, セッション会場の混雑状況) ● 今年やったこと ○ 「APMツールを使ってちゃんと監視しようぜ！！」 ■ Cloud Sentry の導入 ● でも、コストが結構かかるな.... 💸💸💸💸 ○ Self-Hosted Sentry の構築を決意 ■ (これが、戦いの始まりだった....) 6

この1年の激闘 ● Sentry自体の安定稼働に苦しめられた ○ 主にKafkaやRedisが非自明に暴れることが多く、メモリやディスクの枯渇などが 原因でサービスが定期的に止まってしまった ● カンファレンス本番会期中にも関わらずまともに動かないSentry ○ 本番のトラフィック増大に耐えられず、結果的にエラーやメトリクスを収集する 以前に、アプリケーション側にただ負担をかけるだけの結果になってしまった 7

この1年の激闘 (現在) ● カンファレンスでの失敗を期に構成の見直しや監視体制の充実を目指した ○ Sentryコンポーネントの分離を試みたり ○ PrometheusやLokiを中心にダッシュボードを作成したり ○ (何回、データをふっ飛ばしたことやら・・・) ● 頑張った結果、CNDTでは無事稼働 ✨ ● とはいえ監視インフラ自体のお守りも大変 ○ なので、MackerelやNew RelicなどのSaaS検討も同時に進めたい ■ Mackerelは導入も簡単で、プラグインで柔軟に拡張もできるので活用して いきたい ■ MackerelはDaemonSetでエージェントを動かせるようになってほしい ■ Otelも早くGAになってほしいなぁ・・・ 8

今後の目標 ● Sentryの運用がかなり板についてきた ● なので、これまでできていなかったカンファレンス自体のいろんなメトリクスを取得 していきたい ○ ただ監視するのではなく、皆も楽しめるような形で公開できるようにしたい ● 監視SaaSの導入は運用コストの軽減に繋がり、自分たちのやりたいことに注力するた めにも必須と考えている 9

最後に ● OpenTelemetry対応、ものすごく期待・応援しています！ 10 https://mackerel.io/ja/blog/entry/meetup14-1