Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

ログ集約基盤をCloudWatchからOpenSearchに変えてみた

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for YouYou YouYou
August 02, 2022
Technology
510
0

 ログ集約基盤をCloudWatchからOpenSearchに変えてみた

詳細ブログ↓
https://cuebic.hatenablog.com/entry/2022/07/11/154446

Avatar for YouYou

YouYou

August 02, 2022

More Decks by YouYou

See All by YouYou
AWSマネコンに複数のアカウントで入れるようになりました
Avatar for YouYou yuhta28
2
320
今インフラ技術をイチから学び直すなら
Avatar for YouYou yuhta28
1
320
AWSに詳しくない人でも始められるコスト最適化ガイド
Avatar for YouYou yuhta28
3
700
Datadog外形監視基盤をEC2から ECSへ移行してみた
Avatar for YouYou yuhta28
0
1.9k
アウトプット頑張ったら企業からLT登壇の依頼がきた話
Avatar for YouYou yuhta28
1
1.9k
小さなことから始めるAWSコスト最適入門
Avatar for YouYou yuhta28
1
1.5k
Datadogのコストも監視しよう
Avatar for YouYou yuhta28
1
1.1k
Rcloneを使った定期的なストレージ同期
Avatar for YouYou yuhta28
0
890
Pulumiを触ってみよう
Avatar for YouYou yuhta28
1
2.8k

Other Decks in Technology

See All in Technology
S3 Filesで挑む！ 八戸せんべい汁の食べ頃問題
Avatar for usanchuu usanchuu
0
130
20261017福岡devIO 「AIは"良いダッシュボード"を作れるか？
Avatar for 武田 jtakeda
0
210
LLM Content Moderationを支える評価・改善ループの実践
Avatar for suikabar suikabar
1
210
AI コーディングと人間の認知スループット / CTO Night & Day 2026 Morning Session / AI Coding and Human Cognitive Throughput
Avatar for Tamirlan 893 Torgayev prog893
5
1.4k
1つのリクエストを追って理解する - llm-dのP/D分離
Avatar for akhino akhino
1
180
宣言型部分更新は何を解決しどこへ向かうのか
Avatar for did0es shuta13
1
510
PHPカンファレンス関西の招待状 / Invitation to PHP Conference Kansai
Avatar for Y-KANOH ykanoh
0
220
古い指輪から広がった JAVA コミュニティ とのつながり
Avatar for Daisuke Yamazaki yamad
0
130
Claude の新機能を、 出た日に触って社内に届けるまで
Avatar for ふくだ（fukuda ryu） rfdnxbro
1
200
事業成長とデータ活用を止めないためのマネジメントへ挑戦
Avatar for Noriaki Hiraki hiracky16
0
420
Conditional PED-ANOVA: Hyperparameter Importance in Hierarchical & Dynamic Search Spaces
Avatar for Preferred Networks pfn
PRO
0
140
Getting Started with Google Antigravity
Avatar for Guillaume Laforge glaforge
0
340

Featured

See All Featured
SEO in 2025: How to Prepare for the Future of Search
Avatar for Michael King ipullrank
3
3.9k
A brief & incomplete history of 
UX Design for the World Wide Web: 1989–2019
Avatar for Jason CranfordTeague jct
2
540
Practical Tips for Bootstrapping Information Extraction Pipelines
Avatar for Matthew Honnibal honnibal
25
2.1k
Principles of Awesome APIs and How to Build Them.
Avatar for Keavy McMinn keavy
128
18k
The Power of CSS Pseudo Elements
Avatar for Geoffrey Crofte geoffreycrofte
82
6.6k
How to build an LLM SEO readiness audit: a practical framework
Avatar for Nick Samuel nmsamuel
2
950
Git: the NoSQL Database
Avatar for Brandon Keepers bkeepers
PRO
433
67k
Heart Work Chapter 1 - Part 1
Avatar for Lake Fama lfama
PRO
10
37k
Designing Dashboards & Data Visualisations in Web Apps
Avatar for Des Traynor destraynor
232
55k
The Cult of Friendly URLs
Avatar for Andy Hume andyhume
79
7k
Game over? The fight for quality and originality in the time of robots
Avatar for Wayne Barker wayneb77
1
310
Writing Fast Ruby
Avatar for Erik Berlin sferik
630
63k

Transcript

  1. ログ集約基盤をCloudWatchから OpenSearchに変えてみた 1

  2. Name：ユータ Occupation：SRE Twitter：@Y0u281 （オーでなくゼロです） ブログ：https://zenn.dev/yuta28 自己紹介 Twitter 2

  3. 目次 • 背景 • 実装 • 課題 • 改善 •

    よかったこと • まとめ 3

  4. 背景 4

  5. 背景 5 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  6. 実装 6 AWS側でCloudWatchのログを OpenSearchに転送してくれる

  7. 課題 7 すべてのレコードが文字列型で登 録される!!

  8. 改善 8

  9. 改善 9 すべてのレコードが文字列型で登 録される!!

  10. 改善 10 数値型に変換! Fluentdの設定はブログを 御覧ください

  11. よかったこと 11 専用のIAMユーザーを 発行する必要がなくなった

  12. よかったこと 12 ステータスコード割合

  13. よかったこと 13 解決 • ほぼリアルタイムで検索 • 全文検索で検索性向上 • ダッシュボード作成 •

    Google認証で簡単ログイン 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  14. まとめ 14

  15. より詳しい内容は弊社ブログに 15 CloudWatch LogsからOpenSearchへログ集 約を移行した - CUEBiC TEC BLOG (hatenablog.com)

  16. ありがとうございました 16