Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
CloudNative Daysを支える Observabilityの取り組み 2023年度編
Search
Taisuke Okamoto
December 19, 2023
Technology
0
170
CloudNative Daysを支える Observabilityの取り組み 2023年度編
CloudNative Daysを支えるObservabilityチームが今年取り組んできたことについて紹介させていただきます
Taisuke Okamoto
December 19, 2023
Tweet
Share
More Decks by Taisuke Okamoto
See All by Taisuke Okamoto
情熱と工夫で走り抜け! コミュニティをささえるObservability実践録
b1gb4by
1
220
Rancherと出会って - BB流 初心者でもわかる、虜になる瞬間
b1gb4by
0
180
リアルイベントのパワー! オフラインイベントの不思議な魅力に迫る
b1gb4by
0
2.2k
BB流 golangci-lintのイロハ
b1gb4by
1
1.2k
Other Decks in Technology
See All in Technology
Github Copilot エージェントモードで試してみた
ochtum
0
110
登壇ネタの見つけ方 / How to find talk topics
pinkumohikan
5
540
mrubyと micro-ROSが繋ぐロボットの世界
kishima
2
350
AIとともに進化するエンジニアリング / Engineering-Evolving-with-AI_final.pdf
lycorptech_jp
PRO
0
110
【PHPカンファレンス 2025】PHPを愛するひとに伝えたい PHPとキャリアの話
tenshoku_draft
0
120
Delegating the chores of authenticating users to Keycloak
ahus1
0
130
GitHub Copilot の概要
tomokusaba
1
140
Amazon ECS & AWS Fargate 運用アーキテクチャ2025 / Amazon ECS and AWS Fargate Ops Architecture 2025
iselegant
17
5.8k
TechLION vol.41~MySQLユーザ会のほうから来ました / techlion41_mysql
sakaik
0
190
作曲家がボカロを使うようにPdMはAIを使え
itotaxi
0
140
Oracle Cloud Infrastructure:2025年6月度サービス・アップデート
oracle4engineer
PRO
2
280
セキュリティの民主化は何故必要なのか_AWS WAF 運用の 10 の苦悩から学ぶ
yoh
1
190
Featured
See All Featured
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.2k
Testing 201, or: Great Expectations
jmmastey
42
7.5k
What's in a price? How to price your products and services
michaelherold
246
12k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.8k
Visualization
eitanlees
146
16k
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Building an army of robots
kneath
306
45k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
670
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.3k
Faster Mobile Websites
deanohume
307
31k
Transcript
CloudNative Daysを支える Observabilityチームの取り組み 2023年度編 岡本 泰典 / IDC Frontier Inc.
2023/12/19 Mackerel Meetup #15 Tokyo #mackerelio
自己紹介 • 岡本 泰典 Taisuke Okamoto (@taisuke_bigbaby) • 株式会社IDCフロンティア ◦
KaaSエンジニア (Storage, Network) • Mackerel歴 ◦ 1年弱 (主にKubernetes環境下で利用) • 趣味 ◦ DJ、VJ etc... • 最近の出来事 ◦ CNDTのCo-chairになりました 2
AGENDA 1. CloudNative Daysって? 2. 今年のObservabilityチームの取り組み 3. 今後の目標 4. 最後に
3
CloudNative Daysとは? CloudNative Daysとは、IT技術者にとって必携の技術となったクラウドネイティブの啓蒙と さらなる普及を目指してIT技術者自らが主催・企画する技術者コミュニティです。 またコミュニティが主催する技術イベントの名称でもあります。 クラウドネイティブ技術についての国際的組織である CloudNative Computing
FoundationやLinux Foundation Japanと協力しながら 技術採用事例や実践ノウハウの紹介といった講演形式のカンファレンス 技術トレーニング、ミートアップ、オープンソースへのコントリビューション活動を 日本全国で展開しています。 クラウドネイティブ技術とは? クラウドネイティブ技術は、パブリッククラウド、プライベートクラウド、ハイブリッドクラウドなどの近代的でダイナミックな環境において、スケーラブルなア プリケーションを構築および実行するための能力を組織にもたらします。 このアプローチの代表例に、コンテナ、サービスメッシュ、マイクロサービス、イ ミュータブルインフラストラクチャ、および宣言型 APIがあります。 これらの手法により、回復性、管理力、および可観測性のある疎結合システムが実現します。 これらを堅牢な自動化と組み合わせることで、エンジニア はインパクトのある変更を最小限の労力で頻繁かつ予測どおりに行うことができます。 https://github.com/cncf/toc/blob/main/DEFINITION.md
CNDT2023 実行委員会 チーム紹介 Dreamkast Broadcast Observability Promotion Secretariat Contents Creators
Observabilityチームの活動 • 主な役割 ◦ イベント運営に関するテレメトリを収集して可視化 ▪ アプリケーションログ (EKS) ▪ イベントログ
(CFP, オンライン視聴者数) ▪ オフラインログ (CO2, セッション会場の混雑状況) • 今年やったこと ◦ 「APMツールを使ってちゃんと監視しようぜ!!」 ▪ Cloud Sentry の導入 • でも、コストが結構かかるな.... 💸💸💸💸 ◦ Self-Hosted Sentry の構築を決意 ▪ (これが、戦いの始まりだった....) 6
この1年の激闘 • Sentry自体の安定稼働に苦しめられた ◦ 主にKafkaやRedisが非自明に暴れることが多く、メモリやディスクの枯渇などが 原因でサービスが定期的に止まってしまった • カンファレンス本番会期中にも関わらずまともに動かないSentry ◦ 本番のトラフィック増大に耐えられず、結果的にエラーやメトリクスを収集する
以前に、アプリケーション側にただ負担をかけるだけの結果になってしまった 7
この1年の激闘 (現在) • カンファレンスでの失敗を期に構成の見直しや監視体制の充実を目指した ◦ Sentryコンポーネントの分離を試みたり ◦ PrometheusやLokiを中心にダッシュボードを作成したり ◦ (何回、データをふっ飛ばしたことやら・・・)
• 頑張った結果、CNDTでは無事稼働 ✨ • とはいえ監視インフラ自体のお守りも大変 ◦ なので、MackerelやNew RelicなどのSaaS検討も同時に進めたい ▪ Mackerelは導入も簡単で、プラグインで柔軟に拡張もできるので活用して いきたい ▪ MackerelはDaemonSetでエージェントを動かせるようになってほしい ▪ Otelも早くGAになってほしいなぁ・・・ 8
今後の目標 • Sentryの運用がかなり板についてきた • なので、これまでできていなかったカンファレンス自体のいろんなメトリクスを取得 していきたい ◦ ただ監視するのではなく、皆も楽しめるような形で公開できるようにしたい • 監視SaaSの導入は運用コストの軽減に繋がり、自分たちのやりたいことに注力するた
めにも必須と考えている 9
最後に • OpenTelemetry対応、ものすごく期待・応援しています! 10 https://mackerel.io/ja/blog/entry/meetup14-1