Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ログ集約基盤をCloudWatchからOpenSearchに変えてみた

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers. →
Avatar for YouYou YouYou
August 02, 2022
Technology
490
0

 ログ集約基盤をCloudWatchからOpenSearchに変えてみた

詳細ブログ↓
https://cuebic.hatenablog.com/entry/2022/07/11/154446

Avatar for YouYou

YouYou

August 02, 2022

More Decks by YouYou

See All by YouYou
AWSマネコンに複数のアカウントで入れるようになりました
Avatar for YouYou yuhta28
2
290
今インフラ技術をイチから学び直すなら
Avatar for YouYou yuhta28
1
300
AWSに詳しくない人でも始められるコスト最適化ガイド
Avatar for YouYou yuhta28
3
670
Datadog外形監視基盤をEC2から ECSへ移行してみた
Avatar for YouYou yuhta28
0
1.8k
アウトプット頑張ったら企業からLT登壇の依頼がきた話
Avatar for YouYou yuhta28
1
1.8k
小さなことから始めるAWSコスト最適入門
Avatar for YouYou yuhta28
1
1.4k
Datadogのコストも監視しよう
Avatar for YouYou yuhta28
1
1.1k
Rcloneを使った定期的なストレージ同期
Avatar for YouYou yuhta28
0
830
Pulumiを触ってみよう
Avatar for YouYou yuhta28
1
2.7k

Other Decks in Technology

See All in Technology
「コーディング」しない人のための Claude Code 入門　ChatGPT の次の一歩 — 業務に組み込む 育成・共有・自動化
Avatar for ふくだ（fukuda ryu） rfdnxbro
2
570
イベントストーミングとKiroの仕様駆動開発で実現する要件の認識合わせプロセス
Avatar for syobochim syobochim
7
990
Strands Agents超入門
Avatar for KintoTech_Dev kintotechdev
1
150
サプライチェーンセキュリティの空白地帯 - 信頼できる”依存性”の未来を考える
Avatar for Hiroki Suezawa (@rung) rung
PRO
2
560
AI-DLCを活用した高品質・安全なAI駆動開発実践 / AI Driven Development
Avatar for 吉田真吾 yoshidashingo
1
270
long-running-tasks
Avatar for cipepser cipepser
2
450
Diagnosing performance problems without the guesswork
Avatar for Elena Tanasoiu elenatanasoiu
0
130
Cloud Run のアップデート 触ってみる＆紹介
Avatar for Gre212 gre212
0
270
Ruby::Boxでできること、Refinementsでできること
Avatar for Tomohiro Hashidate joker1007
2
110
オンコールの負荷軽減のためのBits Assistant 活用方法 / How to Use Bits Assistant to Reduce the Workload on On-Call Staff
Avatar for SMS tech sms_tech
1
360
NFLコンペ2026 解法
Avatar for LINEヤフーTech (LY Corporation Tech) lycorptech_jp
PRO
0
130
組織の中で自分を経営する技術
Avatar for shoota shoota
0
230

Featured

See All Featured
AI Search: Implications for SEO and How to Move Forward - #ShenzhenSEOConference
Avatar for Aleyda Solis aleyda
1
1.3k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
Avatar for Kevin Liebholz kevinliebholz
37
6.5k
Principles of Awesome APIs and How to Build Them.
Avatar for Keavy McMinn keavy
128
17k
Navigating the moral maze — ethical principles for Al-driven product design
Avatar for Skipper Chong Warson skipperchong
2
370
Digital Projects Gone Horribly Wrong (And the UX Pros Who Still Save the Day) - Dean Schuster
Avatar for UX Y'all uxyall
0
1.5k
Visualization
Avatar for Eitan Lees eitanlees
152
17k
Avoiding the “Bad Training, Faster” Trap in the Age of AI
Avatar for Mike Taylor tmiket
0
160
So, you think you're a good person
Avatar for Per Axbom axbom
PRO
2
2k
svc-hook: hooking system calls on ARM64 by binary rewriting
Avatar for Akira Moroo retrage
2
280
Digital Ethics as a Driver of Design Innovation
Avatar for Per Axbom axbom
PRO
1
300
エンジニアに許された特別な時間の終わり
Avatar for watany watany
107
240k
Stop Working from a Prison Cell
Avatar for Chris Michel hatefulcrawdad
274
21k

Transcript

  1. ログ集約基盤をCloudWatchから OpenSearchに変えてみた 1

  2. Name：ユータ Occupation：SRE Twitter：@Y0u281 （オーでなくゼロです） ブログ：https://zenn.dev/yuta28 自己紹介 Twitter 2

  3. 目次 • 背景 • 実装 • 課題 • 改善 •

    よかったこと • まとめ 3

  4. 背景 4

  5. 背景 5 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  6. 実装 6 AWS側でCloudWatchのログを OpenSearchに転送してくれる

  7. 課題 7 すべてのレコードが文字列型で登 録される!!

  8. 改善 8

  9. 改善 9 すべてのレコードが文字列型で登 録される!!

  10. 改善 10 数値型に変換! Fluentdの設定はブログを 御覧ください

  11. よかったこと 11 専用のIAMユーザーを 発行する必要がなくなった

  12. よかったこと 12 ステータスコード割合

  13. よかったこと 13 解決 • ほぼリアルタイムで検索 • 全文検索で検索性向上 • ダッシュボード作成 •

    Google認証で簡単ログイン 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  14. まとめ 14

  15. より詳しい内容は弊社ブログに 15 CloudWatch LogsからOpenSearchへログ集 約を移行した - CUEBiC TEC BLOG (hatenablog.com)

  16. ありがとうございました 16