OpenSearch Warm Tier設計の実践 / Practical Implementation of OpenSearch Warm Tier Design

OpenSearch Tokyo meetup #1
https://www.meetup.com/opensearch-project-tokyo/events/312364230/

Transcript

1. © 2026 Yayoi Co., Ltd. All rights reserved. OpenSearch Warm Tier設計の実践 2026.02.05 弥生株式会社 プラットフォームエンジニアリング部 エンジニア 今泉 和馬
2. © 2026 Yayoi Co., Ltd. All rights reserved. • 弥生株式会社 プラットフォームエンジニアリング部 • 今泉 和馬 （Kazuma Imaizumi） • 弥生での業務 • AWSマルチアカウント環境のセキュリティとガ バナンス • AWSのネットワーク運用保守 自己紹介 自己紹介 2
3. © 2025 Yayoi Co., Ltd. All rights reserved. 1.弥生の会社概要
4. © 2026 Yayoi Co., Ltd. All rights reserved. Mission,Vision,Values 会社概要 4 中小企業を元気にすることで、日本の好循環をつくる。 さまざまな中小企業が元気になれば、そこで働く人びとの気持ちも未来も元気になる。 それは、日本の経済が成長し、社会が元気になることにつながる。 弥生は、中小企業の活力を生み出すことで、日本の活力を生み出すことに貢献します。 現場に力を、経営に可能性を。 知とテクノロジーの融合で道筋を照らし 事業によい巡りを生み出す 「お客さま視点」で考えよう 「好奇心」を燃やそう 「挑戦」し続けよう 「スピード」にこだわろう 「誠実」であろう Mission 弥生の使命/理念 Vision 弥生のありたい姿 Values 弥生の価値基準/行動指針
5. © 2026 Yayoi Co., Ltd. All rights reserved. 会社概要 会社概要 ※1 株式会社KKRジャパン ※2 株式会社KKRキャップストーン・ジャパン ※3 ラクスル株式会社 上級執行役員 グループCIO 兼 CDO ※4 塚田英樹公認会計士・税理士事務所 所長 5 社名 弥生株式会社(Yayoi Co., Ltd.) 代表者 代表取締役 社長執行役員 兼 CEO 武藤 健一郎 役員 本社所在地 東京都千代田区外神田4-14-1 秋葉原UDX21F 拠点 大阪カスタマーセンター、札幌カスタマーセンター 東京支店、大阪支店、札幌営業所、仙台営業所、 関東営業所、名古屋営業所、広島営業所、福岡営業所 従業員数 801名（2025年9月末現在） 事業内容 業務ソフトウェアおよび関連サービスの開発・販売・サポート 創業 1978年 決算期 9月30日 株主 KKRグループ グループ会社 アラームボックス株式会社 創業手帳株式会社 Miletos株式会社（持分法適用会社） 取締役会長（非常勤） 平野 拓也 社外取締役 谷田川 英治※1 社外取締役 猪野 壮太郎※2 社外取締役就任 藤門千明※3 副社長執行役員 前山 貴弘（公認会計士・税理士） 副社長執行役員 COO 山本潔 執行役員 CEnO 橋本 武志 執行役員 杉浦 雅幸 執行役員 土肥 渉 執行役員 CStO 渡邉 博和 執行役員 小川 康秀 執行役員 CHRO 大野 道子 執行役員 CMO 西村 亮 監査役 八木 健次 監査役 何思寧※1 社外監査役 塚田 英樹※4（公認会計士・税理士）
6. © 2026 Yayoi Co., Ltd. All rights reserved. スモールビジネス(個人事業主・小規模法人1～20名規模)がメイン 業種、地域、世代を問わず、幅広い方々にご利用いただいています 弥生のお客さま 出典：2023年 自社調査 6 ユーザー業種別分布
7. © 2026 Yayoi Co., Ltd. All rights reserved.
8. © 2025 Yayoi Co., Ltd. All rights reserved. 2.お客さまと製品・サービス
9. © 2026 Yayoi Co., Ltd. All rights reserved. 業務効率化支援：業務ソフトウエア 事業を軌道に乗せ、安定的な経営の実現を業務面から支援 事業内容 9 クラウド デスクトップ 事業成長に不可欠な経営プラットフォーム クラウド エントリーレベルのクラウドサービス 使い慣れたベーシックなデスクトップソフト 法人登録件数10,000件突破
10. © 2025 Yayoi Co., Ltd. All rights reserved. 業務支援：カスタマーサポート 製品の導入や操作方法の案内だけでなく、各種「業務相談」まで対応 事業内容 ※2025年9月時点 自社調べ 10 座席数業界最大 692席 お客さま満足度 88.5％ 弥生の サポート・サービスを 周囲に奨めたい 83 ％ 推奨度 電話サポート メールサポート チャットサポート WebFAQ 画面共有サポート 仕訳相談 経理業務相談 マイナンバー相談 年間問い合わせ数 120万件以上 ※サポート・サービス内容は契約プランによって異なる 弥生の 製品を周囲に奨めたい 81 ％ 推奨度
11. © 2025 Yayoi Co., Ltd. All rights reserved. 事業支援サービス 起業時のお困りごとや、事業の継続・成長・拡大に役立つサービスの提供 事業内容 11 事業開始 創業期 成長期 成熟期 再生期 事業承継 事業開始に必要な情報や手続き、モノ・サービスを提供 さまざまな種類の資金調達を詳しく学べるほか、 利用できる資金調達の手段の検索も可能 弥生が厳選した豊富な経験と実績のある 税理士・会計事務所を無料で紹介 事業承継を検討中の中小企業向けに、 事業承継について基礎からご案内 M&A・事業承継 相談窓口 by BATONZ 小規模・中小企業をはじめとした幅広い企業と第三者のマッチングを支援し、 M&Aによる事業継承をサポート
12. © 2025 Yayoi Co., Ltd. All rights reserved. FinTechサービス データと信用を活用し、スモールビジネスの資金繰りやキャッシュフロー改善のためのサービス提供 事業内容 12 弥生 請求書カード払いを利用すると、取引先から受けとった請求書をカード （クレジット・デビット）で支払えるサービス。借入なしで資金繰りを改善。 弥生Bank（仮称） 弥生製品と「弥生Bank」専用口座を連携することで、 製品内で預金や振込といった銀行取引までを完結できるサービス。 25年秋 提供予定 「Misoca」と連携することで、カード決済可能な請求書を発行できるように。 請求書の支払い手段を多様化し、取引先の拡大や資金回収の確実化を支援 25年7月 リリース 24年9月 リリース カード決済+ by 弥生株式会社 請求書カード払い by 弥生株式会社
13. © 2025 Yayoi Co., Ltd. All rights reserved. パートナーサービス 中小企業の欠かせないパートナーである会計事務所に向けて、業務効率化支援と経営支援を行う 事業内容 ※13,011事務所(2024年12月末時点) 13 弥生と会計事務所がパートナーシップを組み、弥生製品・サービスを活用して、 中小企業・個人事業主・起業家の発展に寄与するパートナープログラム ※弥生PAP: 弥生Professional Advisor Program 提携会計事務所数 13,000 事務所以上 会計事務所の記帳代行業務を自動化・効率化するサービス インボイス制度、電子帳簿保存法にも対応 会計事務所の業務に特化したクラウドサービス 「顧問先管理」「生産性向上」「顧問先の経営支援」の三つの機能群で成り立ち、 会計事務所の定常業務の効率化から顧問先との継続的な関係構築を支援 25年8月 リリース
14. 〈お問い合わせ先〉 Confidential © 2026 Yayoi Co., Ltd. All rights reserved. 1. 私たちが直面した課題 2. WarmTierについてと基礎知識 3. 移行時検討事項について 4. トラブルシューティング・アップデートについて 目次 目次
15. © 2026 Yayoi Co., Ltd. All rights reserved. P.0 実運用の規模 直面した問題 • 利用用途：SIEM (SIEM on Amazon OpenSearch Service) 、主にはCloudTrailやVPC Flow logsなど のサービスログ分析 • データ量: 週2.5~3TB、年間170TB • インデックス数: 228 / シャード数: 1,051 • 保持期間: 90日 • インデックスは1週間ごとにローテーション • AWSアカウント数: 60アカウント+ (本番環境のみ) • インシデントがあった際にはすぐに利用できること • ストレージコストの増大 全データを高速ストレージに保存は高コストす ぎる • 古いデータも高速ストレージ 検索頻度が低いのに占有している • ディスク容量の逼迫 一部ノードで使用率100%に達することも 私たちが直面した課題: 大量ログデータ管理の現実 課題 15
16. © 2026 Yayoi Co., Ltd. All rights reserved. • 【Warm Tierの定義】 • 過去データ用のストレージ層 • Hot Tierより低コスト • 読み取り専用 • 検索頻度: 中程度 Warm Tier Warm Tier • 期待される効果 1. コスト削減 • SSD → HDD でストレージコスト50-70%削減 1. データ保持期間の延長 • 低コストで長期間データを保持可能 2. 検索は継続可能 1. 読み取り専用だが検索はできる 2. 過去データの分析・調査に対応 16
17. © 2026 Yayoi Co., Ltd. All rights reserved. 実運用設定例 命名規則: log-ocsf-network-2026-w04 ローテーション: 週次 (Weekly) 保持期間: 90日 • Indexの役割 • データを格納する論理的な単位 (RDBのテーブル相当) • 時系列データにおける管理単位 基礎知識① Index: データの入れ物 基礎知識 • 時系列Index戦略 • 日次 (Daily): 細かく管理、削除容易 • 週次 (Weekly): ★実運用で採用 logs-2026-w04, logs-2026-w05... • 月次 (Monthly): 大規模データ向け 17
18. © 2026 Yayoi Co., Ltd. All rights reserved. 実運用の現実: 約100GB/Shard 理由: 週1TBのデータ量のため、管理簡素化を優先 • Shardの役割 • Indexを物理的に分割した単位 • 複数ノードに分散配置して並列処理 基礎知識② Shard: Indexを分割したもの • サイズのベストプラクティス • 推奨: 20GB - 50GB • 理由: 移行・復旧が高速、メモリ効率 出典：Introduction to OpenSearch 18 基礎知識
19. © 2026 Yayoi Co., Ltd. All rights reserved. • ISMの役割 • 自動的なライフサイクル管理 • 手動運用からの解放 • コスト削減の鍵 基礎知識③ Index State Management(ISM) 19 → → Hot Tier (最新データ) SSD 高速 書き込み可 7日間 Warm Tier (過去データ) HDD 低コスト 読み取り専用 90日間 Cold Tier (アーカイブ) S3 最安 長期保存 180日以上 基礎知識
20. © 2026 Yayoi Co., Ltd. All rights reserved. トレードオフ: 検索速度は低下します (50ms → 500ms) 考慮点1: いつ移行するか 考慮点2: どのくらいのサイズで管理するか 考慮点3: パフォーマンスへの影響 Hot → Warm の移行タイミング。書き込みがなくなるのは？検索頻度が下がるのはいつ？（例: 7日後） シャードサイズの設計。大きすぎると移行に時間がかかり、小さすぎると管理が複雑化。 書き込み不可（Read Only）になる点を許容できるか。 → 1週間ローテーションのため問題なし 3つの考慮点 考慮点 20
21. © 2026 Yayoi Co., Ltd. All rights reserved. • Hot期間 (30日間) • 書き込み: ローテーションが1週間のため • 検索頻度: 中 いつWarm Tierに移行すべきか？ 検討事項 • Warm期間 (60日間) • 書き込み: なし (Read Only) • 範囲外の過去ログはHotノードで別名で作成 • 検索頻度: 低 21 "states": [ { "name": "hot", "transitions": [{ "state_name": "warm", "conditions": { "min_index_age": "30d" } }] }, { "name": "warm", "actions": [{ "retry": { "count": 3, "backoff": "exponential", "delay": "1h" }, "warm_migration": {} // ← UltraWarm移行アクション }], "transitions": [{ "state_name": "delete", "conditions": { "min_index_age": "90d" } }] },
22. © 2026 Yayoi Co., Ltd. All rights reserved. ↓ ↓ ↓ ステップ1 読み取り専用化 → ステップ2 Force Merge → ステップ3 レプリカ調整 → → ステップ4 シャード移行 → → 状態 index.blocks.write = true 所要時間 即座（数秒） ダウンタイム なし 状態 セグメント統合中 所要時間 数時間〜24時間 影響 検索継続可 (CPU/IO増) 状態 replica_count 変更 所要時間 数秒〜数分 ダウンタイム なし 状態 シャード再配置(Hot→Warm) 所要時間 数分〜数時間 影響 NWトラフィック増 Hot → Warm 移行プロセスの詳細 22 検討事項
23. © 2026 Yayoi Co., Ltd. All rights reserved. シャードサイズと数 23 例: 週1.1TBの場合（VPC Flow logsの場合） ※ 実運用では管理の簡素化を優先し、大きめのサイズを選択 トレードオフ比較 • 理想 (30GB/Shard): 1100GB ÷ 30GB = 約37シャード • 実際 (100GB/Shard): 1100GB ÷ 100GB = 12シャード • 但しAWS環境にシャードサイズ制限に注意 シャード数 = データ量 ÷ 目標シャードサイズ 検討事項
24. © 2026 Yayoi Co., Ltd. All rights reserved. • Force Merge時の容量不足 • エラー: "isn't enough disk space to perform force merge" トラブルと解決策 トラブルと解決策 • 原因 • Force Mergeは一時的に元のサイズの最大2 倍必要（圧縮率による） • 例: 1TBのインデックス → 最大2TB必要 • AWS環境であればシャードサイズ制限 （100GiB）があるためそちらにも注意 24 ギリギリではなく容量には余裕を持ちましょう！
25. © 2026 Yayoi Co., Ltd. All rights reserved. • 新機能: リモートストア（S3など）上のデータに対して、直接読み書きを可能にす る機能 • OpenSearch 3.0 にて実験的機能 (Experimental Release) として提供予定 • https://github.com/opensearch-project/OpenSearch/issues/12809 • AWSではMulti-Tier Storage with OpenSearch Optimized Instances (OI2)とし て先んじて実装済み • 「OI2インスタンス」を使用したWarm層では、S3をバックエンドにしつつ直接的な書き込み（イ ンデキシング）が可能 Writable Warm Indices の導入 (OpenSearch Issue #12809) 25 アップデート
26. © 2026 Yayoi Co., Ltd. All rights reserved. Thank you !