1B+ /day規模のログを管理する技術

1B+ / day規模のログを管理する技術左近充裕樹株式会社ブロードリーフ Fukuoka.sre#0 2026/06/19

## 名前左近充裕樹 _さこんじゅうひろき_ ## 所属株式会社ブロードリーフ ##
役割インフラエンジニア # 自己紹介

社名株式会社ブロードリーフ上場市場東京証券取引所プライム市場 (3673) 連結従業員数 920人 (2024年12月末時点) 開発拠点
3拠点 (札幌・東京・福岡) 開発体制: 全国約100人のうち、福岡には約35人が在籍福岡拠点: 中洲川端駅直結のビルに位置会社概要

会社紹介 4

本編

ログの管理が辛い

どのシステムにおいてもログは非常に大事なテレメトリーデータです。しかし、コスパがちょうどいい塩梅で管理するのは難しいです。超巨大サービスのログ管理術は参考になるものの 🙄「はえ〜、すっごい」となってしまうこともあると思います。 1B+/day 程度の規模のログをどう扱っているかを紹介します。はじめに

こんな感じの構成にしている

Elasticsearchはコストを最適化している直近はSSD 長期保存はHDD さらにスナップショットを GCSに取得する事により任意の時点のログも復元可能にしている

この構成のメリット 1. 低コストな運用 OSSのみで構成されているため、ライセンス費用を抑えることが出来る。この規模だとDatadogにログを集約すると課金がヤバい。

この構成のメリット 1. 低コストな運用 OSSのみで構成されているため、ライセンス費用を抑えることが出来る。この規模だとDatadogにログを集約すると課金がヤバい。 2. 高い柔軟性自由なconfig設定が可能。DatadogやCloud Loggingの
上限を超えるような大規模なログも保存可能。

上限を超えるような大規模なログも保存可能。 3. 運用の容易さ Kubernetes Operatorを採用しているため、管理や運用が比較的容易。

上限を超えるような大規模なログも保存可能。 3. 運用の容易さ Kubernetes Operatorを採用しているため、管理や運用が比較的容易。 4. 健全なライフサイクル Kubernetesのバージョンに追従する必要があるため、「塩漬け」を防ぐことができる。

🤔 DatadogとElasticsearchだとコンテキストが散らばってて問題発生時にAIで調査しづらくない？

AI活用の現時点の現実解それはそう。コンテキスト不足でBits AIの精度も悪い。 AI Agentがハブとなる Skillを使って両方のコンテキストを取得最近はAgentが賢いので、この構成でも精度が高い

まとめ • ある程度の規模だとセルフホストになる ◦ ただ、塩漬け出来ない仕組みにしておくと、強制力が働く • 最近のAI Agentは賢いので、コンテキストがバラバラでも何とかなる • Bits
AI使いたい

1B+ /day規模のログを管理する技術

1B+ /day規模のログを管理する技術

Broadleaf Co., Ltd.

More Decks by Broadleaf Co., Ltd.

Other Decks in Programming

Featured

Transcript