Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ログストレージコスパ最強!?OpenObserveを試してみた

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for YouYou YouYou
June 27, 2023
Programming
6.4k
0

 ログストレージコスパ最強!?OpenObserveを試してみた

関連記事↓
https://zenn.dev/yuta28/articles/openobserve-tutorial

Avatar for YouYou

YouYou

June 27, 2023

More Decks by YouYou

See All by YouYou
AWSマネコンに複数のアカウントで入れるようになりました
Avatar for YouYou yuhta28
2
310
今インフラ技術をイチから学び直すなら
Avatar for YouYou yuhta28
1
310
AWSに詳しくない人でも始められるコスト最適化ガイド
Avatar for YouYou yuhta28
3
680
Datadog外形監視基盤をEC2から ECSへ移行してみた
Avatar for YouYou yuhta28
0
1.8k
アウトプット頑張ったら企業からLT登壇の依頼がきた話
Avatar for YouYou yuhta28
1
1.9k
小さなことから始めるAWSコスト最適入門
Avatar for YouYou yuhta28
1
1.5k
Datadogのコストも監視しよう
Avatar for YouYou yuhta28
1
1.1k
Rcloneを使った定期的なストレージ同期
Avatar for YouYou yuhta28
0
860
Pulumiを触ってみよう
Avatar for YouYou yuhta28
1
2.7k

Other Decks in Programming

See All in Programming
Google Apps Script で Ruby を動かす
Avatar for Shogo Kawahara kawahara
0
260
Laravel Boostに学ぶ、AIにPHPを書かせる技術 〜OSSの実装から蒸留するエージェント制御の王道〜
Avatar for 武田 憲太郎 kentaroutakeda
3
710
「人を評価する AI」の 設計と実装 
Avatar for 奈良亮耶 ryoyanara
0
210
in-process GraphQL のすすめ #ginzajs
Avatar for izumin5210 izumin5210
4
1.3k
属人化した知識を、 AIが辿れる地図にする
Avatar for PKSHA Technology（パークシャテクノロジー） pkshadeck
PRO
1
180
S3 を使うアプリケーションをローカル完結で動かすことに全力を注いでみた / Running S3 Apps Offline
Avatar for Daisuke Garaike contour_gara
0
520
運用ダッシュボードの設計を誰も教えてくれないのだけど みなさんどうしてるんですか？ - チームに監視するという文化を根付かせるための第一歩を踏みたい -
Avatar for Satoshi Kaneyasu satoshi256kbyte
1
130
楽しそうなつよつよエンジニアと目が死んでる僕/A brilliant engineer having a blast, and dead-eyed me.
Avatar for Ryusei Ohkura 3l4l5
2
190
自動化したのに回らない テスト運用の壁 ―AI時代の品質責任と生産性
Avatar for Masahiko Funaki(舟木 将彦) mfunaki
0
270
関東Kaggler会_NVIDIA_Nemotron_コンペ_振り返り
Avatar for rick rick_ds
0
640
Flow は今どうなっているか
Avatar for mizdra mizdra
PRO
0
600
php-fpmのプロセスが枯渇した日-調査・対処・そして本当にやるべきだったこと-
Avatar for にわ shibuchaaaan
0
300

Featured

See All Featured
Heart Work Chapter 1 - Part 1
Avatar for Lake Fama lfama
PRO
8
36k
The Psychology of Web Performance [Beyond Tellerrand 2023]
Avatar for Tammy Everts tammyeverts
49
3.5k
Improving Core Web Vitals using Speculation Rules API
Avatar for Sergey Chernyshev sergeychernyshev
21
1.6k
Chasing Engaging Ingredients in Design
Avatar for Sebastian Deterding codingconduct
0
270
A brief & incomplete history of 
UX Design for the World Wide Web: 1989–2019
Avatar for Jason CranfordTeague jct
2
470
Building the Perfect Custom Keyboard
Avatar for Naoto Takai takai
2
840
Sam Torres - BigQuery for SEOs
Avatar for Tech SEO Connect techseoconnect
PRO
0
490
How to Get Subject Matter Experts Bought In and Actively Contributing to SEO & PR Initiatives.
Avatar for Liv Day livdayseo
0
170
Applied NLP in the Age of Generative AI
Avatar for Ines Montani inesmontani
PRO
4
2.4k
Lightning Talk: Beautiful Slides for Beginners
Avatar for Ines Montani inesmontani
PRO
2
630
Noah Learner - AI + Me: how we built a GSC Bulk Export data pipeline
Avatar for Tech SEO Connect techseoconnect
PRO
0
390
ReactJS: Keep Simple. Everything can be a component!
Avatar for Pedro Nauck pedronauck
666
130k

Transcript

  1. ログストレージコスパ最強!? OpenObserveを試してみた 1

  2. Name：ユータ Occupation：SRE Twitter：@Y0u281 （オーでなくゼロです） ブログ：https://zenn.dev/yuta28 自己紹介 Twitter 2

  3. 皆さんはこう思ったことはあり ませんか？ 3

  4. ログの保存料金が高い 4

  5. 5

  6. 6

  7. 聴講者 • ログのコストを気にしている人 • 監視基盤構築担当者 • 新しいもの好き 7

  8. 目次 • OpenObserveとは？ • OpenObserveの利点 • 低コストについて • 課題 •

    まとめ 8

  9. OpenObserveとは？ • ログ、メトリクス、トレース監視を一元管理できるプラットフォーム • セルフホスト利用かクラウドサービスが提供されている • ストレージコストが他のサービスと比較して1/140(!!!) • ペタバイト相当のスケーリングが可能 9

  10. OpenObserveの利点 • 高い圧縮率によって実現した圧倒的な低コスト • すぐに始めることができる無償クラウドプラン • 日本語表示もある 10

  11. 低コストについて 1/140はHA構成のElasticSearchと比較した場合 • 3台のEBSを使うESとS3を使うOpenObserve 11

  12. 低コストについて 1/140はHA構成のElasticSearchと比較した場合 • 3台のEBSを使うESとS3を使うOpenObserve 12

  13. 低コストについて 1/140はHA構成のElasticSearchと比較した場合 • 3台のEBSを使うESとS3を使うOpenObserve 13

  14. 低コストについて 1/140はHA構成のElasticSearchと比較した場合 • 3台のEBSを使うESとS3を使うOpenObserve 14

  15. 課題 • ログ転送は自前で実装しなければならない • インデックスを作成しないため検索速度は遅い • メトリクス/トレースも他OSSからの情報を自前で収集しなければ ならない • ログ検索はやや学習コスト高

    15

  16. まとめ 16

  17. まとめ 17 • コスト　　　安 • 学習難易度　高　

  18. ありがとうございました より詳しい内容は以下のブログで↓ ログコスパ最強!?OpenObserveを触って みた 18