Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
CloudNative Daysを支える Observabilityの取り組み 2023年度編
Search
Taisuke Okamoto
December 19, 2023
Technology
0
82
CloudNative Daysを支える Observabilityの取り組み 2023年度編
CloudNative Daysを支えるObservabilityチームが今年取り組んできたことについて紹介させていただきます
Taisuke Okamoto
December 19, 2023
Tweet
Share
More Decks by Taisuke Okamoto
See All by Taisuke Okamoto
リアルイベントのパワー! オフラインイベントの不思議な魅力に迫る
b1gb4by
0
1.7k
BB流 golangci-lintのイロハ
b1gb4by
1
660
Other Decks in Technology
See All in Technology
Efficient zero-copy networking using io_uring
ennael
PRO
0
360
Product Utilization of Large Language Models Starting Today
ymatsuwitter
3
1.4k
入社半年(合計1年)でGoogle Cloud 認定を全冠した秘訣🤫
risatube
1
200
Grafana エコシステムの活用事例 on ABEMA
tetsuya28
2
160
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリングシステム
shownet
PRO
0
380
分析者起点の企画を成功させた連携面の工夫
lycorptech_jp
PRO
1
250
【㈱アイモバイル】エンジニア向け会社説明資料
imobile
0
470
【shownet.conf_】トポロジ図の歩き方
shownet
PRO
0
520
DenoでもViteしたい!インポートパスのエイリアスを指定してラクラクアプリ開発
bengo4com
2
2k
【shownet.conf_】ShowNet x 宇宙ネットワーク
shownet
PRO
0
410
【shownet.conf_】ShowNet伝送改めShowNet APN 2024
shownet
PRO
0
450
ガバメントクラウド開発と変化と成長する組織 / Organizational change and growth in developing a government cloud
kazeburo
4
770
Featured
See All Featured
Pencils Down: Stop Designing & Start Developing
hursman
119
11k
Typedesign – Prime Four
hannesfritz
39
2.3k
Mobile First: as difficult as doing things right
swwweet
222
8.8k
Thoughts on Productivity
jonyablonski
67
4.2k
Intergalactic Javascript Robots from Outer Space
tanoku
268
27k
The Language of Interfaces
destraynor
154
24k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9k
Learning to Love Humans: Emotional Interface Design
aarron
272
40k
No one is an island. Learnings from fostering a developers community.
thoeni
19
2.9k
Building Your Own Lightsaber
phodgson
102
6k
What's new in Ruby 2.0
geeforr
341
31k
Music & Morning Musume
bryan
46
6.1k
Transcript
CloudNative Daysを支える Observabilityチームの取り組み 2023年度編 岡本 泰典 / IDC Frontier Inc.
2023/12/19 Mackerel Meetup #15 Tokyo #mackerelio
自己紹介 • 岡本 泰典 Taisuke Okamoto (@taisuke_bigbaby) • 株式会社IDCフロンティア ◦
KaaSエンジニア (Storage, Network) • Mackerel歴 ◦ 1年弱 (主にKubernetes環境下で利用) • 趣味 ◦ DJ、VJ etc... • 最近の出来事 ◦ CNDTのCo-chairになりました 2
AGENDA 1. CloudNative Daysって? 2. 今年のObservabilityチームの取り組み 3. 今後の目標 4. 最後に
3
CloudNative Daysとは? CloudNative Daysとは、IT技術者にとって必携の技術となったクラウドネイティブの啓蒙と さらなる普及を目指してIT技術者自らが主催・企画する技術者コミュニティです。 またコミュニティが主催する技術イベントの名称でもあります。 クラウドネイティブ技術についての国際的組織である CloudNative Computing
FoundationやLinux Foundation Japanと協力しながら 技術採用事例や実践ノウハウの紹介といった講演形式のカンファレンス 技術トレーニング、ミートアップ、オープンソースへのコントリビューション活動を 日本全国で展開しています。 クラウドネイティブ技術とは? クラウドネイティブ技術は、パブリッククラウド、プライベートクラウド、ハイブリッドクラウドなどの近代的でダイナミックな環境において、スケーラブルなア プリケーションを構築および実行するための能力を組織にもたらします。 このアプローチの代表例に、コンテナ、サービスメッシュ、マイクロサービス、イ ミュータブルインフラストラクチャ、および宣言型 APIがあります。 これらの手法により、回復性、管理力、および可観測性のある疎結合システムが実現します。 これらを堅牢な自動化と組み合わせることで、エンジニア はインパクトのある変更を最小限の労力で頻繁かつ予測どおりに行うことができます。 https://github.com/cncf/toc/blob/main/DEFINITION.md
CNDT2023 実行委員会 チーム紹介 Dreamkast Broadcast Observability Promotion Secretariat Contents Creators
Observabilityチームの活動 • 主な役割 ◦ イベント運営に関するテレメトリを収集して可視化 ▪ アプリケーションログ (EKS) ▪ イベントログ
(CFP, オンライン視聴者数) ▪ オフラインログ (CO2, セッション会場の混雑状況) • 今年やったこと ◦ 「APMツールを使ってちゃんと監視しようぜ!!」 ▪ Cloud Sentry の導入 • でも、コストが結構かかるな.... 💸💸💸💸 ◦ Self-Hosted Sentry の構築を決意 ▪ (これが、戦いの始まりだった....) 6
この1年の激闘 • Sentry自体の安定稼働に苦しめられた ◦ 主にKafkaやRedisが非自明に暴れることが多く、メモリやディスクの枯渇などが 原因でサービスが定期的に止まってしまった • カンファレンス本番会期中にも関わらずまともに動かないSentry ◦ 本番のトラフィック増大に耐えられず、結果的にエラーやメトリクスを収集する
以前に、アプリケーション側にただ負担をかけるだけの結果になってしまった 7
この1年の激闘 (現在) • カンファレンスでの失敗を期に構成の見直しや監視体制の充実を目指した ◦ Sentryコンポーネントの分離を試みたり ◦ PrometheusやLokiを中心にダッシュボードを作成したり ◦ (何回、データをふっ飛ばしたことやら・・・)
• 頑張った結果、CNDTでは無事稼働 ✨ • とはいえ監視インフラ自体のお守りも大変 ◦ なので、MackerelやNew RelicなどのSaaS検討も同時に進めたい ▪ Mackerelは導入も簡単で、プラグインで柔軟に拡張もできるので活用して いきたい ▪ MackerelはDaemonSetでエージェントを動かせるようになってほしい ▪ Otelも早くGAになってほしいなぁ・・・ 8
今後の目標 • Sentryの運用がかなり板についてきた • なので、これまでできていなかったカンファレンス自体のいろんなメトリクスを取得 していきたい ◦ ただ監視するのではなく、皆も楽しめるような形で公開できるようにしたい • 監視SaaSの導入は運用コストの軽減に繋がり、自分たちのやりたいことに注力するた
めにも必須と考えている 9
最後に • OpenTelemetry対応、ものすごく期待・応援しています! 10 https://mackerel.io/ja/blog/entry/meetup14-1