Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
CloudNative Daysを支える Observabilityの取り組み 2023年度編
Search
Taisuke Okamoto
December 19, 2023
Technology
0
170
CloudNative Daysを支える Observabilityの取り組み 2023年度編
CloudNative Daysを支えるObservabilityチームが今年取り組んできたことについて紹介させていただきます
Taisuke Okamoto
December 19, 2023
Tweet
Share
More Decks by Taisuke Okamoto
See All by Taisuke Okamoto
情熱と工夫で走り抜け! コミュニティをささえるObservability実践録
b1gb4by
1
190
Rancherと出会って - BB流 初心者でもわかる、虜になる瞬間
b1gb4by
0
180
リアルイベントのパワー! オフラインイベントの不思議な魅力に迫る
b1gb4by
0
2.2k
BB流 golangci-lintのイロハ
b1gb4by
1
1.2k
Other Decks in Technology
See All in Technology
Whats_new_in_Podman_and_CRI-O_2025-06
orimanabu
3
180
本部長の代わりに提案書レビュー! KDDI営業が毎日使うAIエージェント「A-BOSS」開発秘話
minorun365
PRO
14
1.9k
OAuth/OpenID Connectで実現するMCPのセキュアなアクセス管理
kuralab
2
330
Snowflake Intelligenceで実現できるノーコードAI活用
takumimukaiyama
1
260
What's new in OpenShift 4.19
redhatlivestreaming
1
300
Amplifyとゼロからはじめた AIコーディング 成果と展望
mkdev10
1
310
白金鉱業Meetup_Vol.19_PoCはデモで語れ!顧客の本音とインサイトを引き出すソリューション構築
brainpadpr
2
420
Long journey of Continuous Delivery at Mercari
hisaharu
1
220
"SaaS is Dead" は本当か!? 生成AI時代の医療 Vertical SaaS のリアル
kakehashi
PRO
3
230
Autonomous Database サービス・アップデート (FY25)
oracle4engineer
PRO
2
780
20250623 Findy Lunch LT Brown
3150
0
550
AIエージェントの継続的改善のためオブザーバビリティ
pharma_x_tech
6
1.3k
Featured
See All Featured
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.5k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
780
The Invisible Side of Design
smashingmag
299
51k
Embracing the Ebb and Flow
colly
86
4.7k
Faster Mobile Websites
deanohume
307
31k
The World Runs on Bad Software
bkeepers
PRO
68
11k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Agile that works and the tools we love
rasmusluckow
329
21k
Fireside Chat
paigeccino
37
3.5k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
How to train your dragon (web standard)
notwaldorf
92
6.1k
Transcript
CloudNative Daysを支える Observabilityチームの取り組み 2023年度編 岡本 泰典 / IDC Frontier Inc.
2023/12/19 Mackerel Meetup #15 Tokyo #mackerelio
自己紹介 • 岡本 泰典 Taisuke Okamoto (@taisuke_bigbaby) • 株式会社IDCフロンティア ◦
KaaSエンジニア (Storage, Network) • Mackerel歴 ◦ 1年弱 (主にKubernetes環境下で利用) • 趣味 ◦ DJ、VJ etc... • 最近の出来事 ◦ CNDTのCo-chairになりました 2
AGENDA 1. CloudNative Daysって? 2. 今年のObservabilityチームの取り組み 3. 今後の目標 4. 最後に
3
CloudNative Daysとは? CloudNative Daysとは、IT技術者にとって必携の技術となったクラウドネイティブの啓蒙と さらなる普及を目指してIT技術者自らが主催・企画する技術者コミュニティです。 またコミュニティが主催する技術イベントの名称でもあります。 クラウドネイティブ技術についての国際的組織である CloudNative Computing
FoundationやLinux Foundation Japanと協力しながら 技術採用事例や実践ノウハウの紹介といった講演形式のカンファレンス 技術トレーニング、ミートアップ、オープンソースへのコントリビューション活動を 日本全国で展開しています。 クラウドネイティブ技術とは? クラウドネイティブ技術は、パブリッククラウド、プライベートクラウド、ハイブリッドクラウドなどの近代的でダイナミックな環境において、スケーラブルなア プリケーションを構築および実行するための能力を組織にもたらします。 このアプローチの代表例に、コンテナ、サービスメッシュ、マイクロサービス、イ ミュータブルインフラストラクチャ、および宣言型 APIがあります。 これらの手法により、回復性、管理力、および可観測性のある疎結合システムが実現します。 これらを堅牢な自動化と組み合わせることで、エンジニア はインパクトのある変更を最小限の労力で頻繁かつ予測どおりに行うことができます。 https://github.com/cncf/toc/blob/main/DEFINITION.md
CNDT2023 実行委員会 チーム紹介 Dreamkast Broadcast Observability Promotion Secretariat Contents Creators
Observabilityチームの活動 • 主な役割 ◦ イベント運営に関するテレメトリを収集して可視化 ▪ アプリケーションログ (EKS) ▪ イベントログ
(CFP, オンライン視聴者数) ▪ オフラインログ (CO2, セッション会場の混雑状況) • 今年やったこと ◦ 「APMツールを使ってちゃんと監視しようぜ!!」 ▪ Cloud Sentry の導入 • でも、コストが結構かかるな.... 💸💸💸💸 ◦ Self-Hosted Sentry の構築を決意 ▪ (これが、戦いの始まりだった....) 6
この1年の激闘 • Sentry自体の安定稼働に苦しめられた ◦ 主にKafkaやRedisが非自明に暴れることが多く、メモリやディスクの枯渇などが 原因でサービスが定期的に止まってしまった • カンファレンス本番会期中にも関わらずまともに動かないSentry ◦ 本番のトラフィック増大に耐えられず、結果的にエラーやメトリクスを収集する
以前に、アプリケーション側にただ負担をかけるだけの結果になってしまった 7
この1年の激闘 (現在) • カンファレンスでの失敗を期に構成の見直しや監視体制の充実を目指した ◦ Sentryコンポーネントの分離を試みたり ◦ PrometheusやLokiを中心にダッシュボードを作成したり ◦ (何回、データをふっ飛ばしたことやら・・・)
• 頑張った結果、CNDTでは無事稼働 ✨ • とはいえ監視インフラ自体のお守りも大変 ◦ なので、MackerelやNew RelicなどのSaaS検討も同時に進めたい ▪ Mackerelは導入も簡単で、プラグインで柔軟に拡張もできるので活用して いきたい ▪ MackerelはDaemonSetでエージェントを動かせるようになってほしい ▪ Otelも早くGAになってほしいなぁ・・・ 8
今後の目標 • Sentryの運用がかなり板についてきた • なので、これまでできていなかったカンファレンス自体のいろんなメトリクスを取得 していきたい ◦ ただ監視するのではなく、皆も楽しめるような形で公開できるようにしたい • 監視SaaSの導入は運用コストの軽減に繋がり、自分たちのやりたいことに注力するた
めにも必須と考えている 9
最後に • OpenTelemetry対応、ものすごく期待・応援しています! 10 https://mackerel.io/ja/blog/entry/meetup14-1