Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
CloudNative Daysを支える Observabilityの取り組み 2023年度編
Search
Taisuke Okamoto
December 19, 2023
Technology
0
180
CloudNative Daysを支える Observabilityの取り組み 2023年度編
CloudNative Daysを支えるObservabilityチームが今年取り組んできたことについて紹介させていただきます
Taisuke Okamoto
December 19, 2023
Tweet
Share
More Decks by Taisuke Okamoto
See All by Taisuke Okamoto
情熱と工夫で走り抜け! コミュニティをささえるObservability実践録
b1gb4by
1
340
Rancherと出会って - BB流 初心者でもわかる、虜になる瞬間
b1gb4by
0
200
リアルイベントのパワー! オフラインイベントの不思議な魅力に迫る
b1gb4by
0
2.3k
BB流 golangci-lintのイロハ
b1gb4by
1
1.3k
Other Decks in Technology
See All in Technology
スプリントレビューを効果的にするために
miholovesq
9
1.7k
分散トレーシングによる コネクティッドカーのデータ処理見える化の試み
thatsdone
0
260
私とAWSとの関わりの歩み~意志あるところに道は開けるかも?~
nagisa53
1
130
Shadow DOM & Security - Exploring the boundary between light and shadow
masatokinugawa
0
740
ML Pipelineの開発と運用を OpenTelemetryで繋ぐ @ OpenTelemetry Meetup 2025-07
getty708
0
310
SAE J1939シミュレーション環境構築
daikiokazaki
1
190
claude codeでPrompt Engineering
iori0311
0
520
大規模イベントを支える ABEMA の アーキテクチャ 変遷 2025
nagapad
4
410
経理出身PdMがAIプロダクト開発を_ハンズオンで学んだ話.pdf
shunsukenarita
1
210
Webの技術とガジェットで那須の子ども達にワクワクを! / IoTLT_20250720
you
PRO
0
130
【CEDEC2025】現場を理解して実現!ゲーム開発を効率化するWebサービスの開発と、利用促進のための継続的な改善
cygames
PRO
0
240
Amazon CloudWatchのメトリクスインターバルについて / Metrics interval matters
ymotongpoo
3
270
Featured
See All Featured
Why Our Code Smells
bkeepers
PRO
337
57k
Side Projects
sachag
455
43k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Into the Great Unknown - MozCon
thekraken
40
1.9k
YesSQL, Process and Tooling at Scale
rocio
173
14k
The Cost Of JavaScript in 2023
addyosmani
51
8.6k
It's Worth the Effort
3n
185
28k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
850
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Building Applications with DynamoDB
mza
95
6.5k
Speed Design
sergeychernyshev
32
1k
Transcript
CloudNative Daysを支える Observabilityチームの取り組み 2023年度編 岡本 泰典 / IDC Frontier Inc.
2023/12/19 Mackerel Meetup #15 Tokyo #mackerelio
自己紹介 • 岡本 泰典 Taisuke Okamoto (@taisuke_bigbaby) • 株式会社IDCフロンティア ◦
KaaSエンジニア (Storage, Network) • Mackerel歴 ◦ 1年弱 (主にKubernetes環境下で利用) • 趣味 ◦ DJ、VJ etc... • 最近の出来事 ◦ CNDTのCo-chairになりました 2
AGENDA 1. CloudNative Daysって? 2. 今年のObservabilityチームの取り組み 3. 今後の目標 4. 最後に
3
CloudNative Daysとは? CloudNative Daysとは、IT技術者にとって必携の技術となったクラウドネイティブの啓蒙と さらなる普及を目指してIT技術者自らが主催・企画する技術者コミュニティです。 またコミュニティが主催する技術イベントの名称でもあります。 クラウドネイティブ技術についての国際的組織である CloudNative Computing
FoundationやLinux Foundation Japanと協力しながら 技術採用事例や実践ノウハウの紹介といった講演形式のカンファレンス 技術トレーニング、ミートアップ、オープンソースへのコントリビューション活動を 日本全国で展開しています。 クラウドネイティブ技術とは? クラウドネイティブ技術は、パブリッククラウド、プライベートクラウド、ハイブリッドクラウドなどの近代的でダイナミックな環境において、スケーラブルなア プリケーションを構築および実行するための能力を組織にもたらします。 このアプローチの代表例に、コンテナ、サービスメッシュ、マイクロサービス、イ ミュータブルインフラストラクチャ、および宣言型 APIがあります。 これらの手法により、回復性、管理力、および可観測性のある疎結合システムが実現します。 これらを堅牢な自動化と組み合わせることで、エンジニア はインパクトのある変更を最小限の労力で頻繁かつ予測どおりに行うことができます。 https://github.com/cncf/toc/blob/main/DEFINITION.md
CNDT2023 実行委員会 チーム紹介 Dreamkast Broadcast Observability Promotion Secretariat Contents Creators
Observabilityチームの活動 • 主な役割 ◦ イベント運営に関するテレメトリを収集して可視化 ▪ アプリケーションログ (EKS) ▪ イベントログ
(CFP, オンライン視聴者数) ▪ オフラインログ (CO2, セッション会場の混雑状況) • 今年やったこと ◦ 「APMツールを使ってちゃんと監視しようぜ!!」 ▪ Cloud Sentry の導入 • でも、コストが結構かかるな.... 💸💸💸💸 ◦ Self-Hosted Sentry の構築を決意 ▪ (これが、戦いの始まりだった....) 6
この1年の激闘 • Sentry自体の安定稼働に苦しめられた ◦ 主にKafkaやRedisが非自明に暴れることが多く、メモリやディスクの枯渇などが 原因でサービスが定期的に止まってしまった • カンファレンス本番会期中にも関わらずまともに動かないSentry ◦ 本番のトラフィック増大に耐えられず、結果的にエラーやメトリクスを収集する
以前に、アプリケーション側にただ負担をかけるだけの結果になってしまった 7
この1年の激闘 (現在) • カンファレンスでの失敗を期に構成の見直しや監視体制の充実を目指した ◦ Sentryコンポーネントの分離を試みたり ◦ PrometheusやLokiを中心にダッシュボードを作成したり ◦ (何回、データをふっ飛ばしたことやら・・・)
• 頑張った結果、CNDTでは無事稼働 ✨ • とはいえ監視インフラ自体のお守りも大変 ◦ なので、MackerelやNew RelicなどのSaaS検討も同時に進めたい ▪ Mackerelは導入も簡単で、プラグインで柔軟に拡張もできるので活用して いきたい ▪ MackerelはDaemonSetでエージェントを動かせるようになってほしい ▪ Otelも早くGAになってほしいなぁ・・・ 8
今後の目標 • Sentryの運用がかなり板についてきた • なので、これまでできていなかったカンファレンス自体のいろんなメトリクスを取得 していきたい ◦ ただ監視するのではなく、皆も楽しめるような形で公開できるようにしたい • 監視SaaSの導入は運用コストの軽減に繋がり、自分たちのやりたいことに注力するた
めにも必須と考えている 9
最後に • OpenTelemetry対応、ものすごく期待・応援しています! 10 https://mackerel.io/ja/blog/entry/meetup14-1