Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon OpenSearchのコスト最適化とZeroETLへの期待 / Amazon O...
Search
yayoi_dd
January 29, 2025
Technology
1
96
Amazon OpenSearchのコスト最適化とZeroETLへの期待 / Amazon OpenSearch Cost Optimization and ZeroETL Expectations
弥生株式会社 もくテク
AWS re:Invent 2024 参加報告会(2025/01/29)
https://connpass.com/dashboard/
yayoi_dd
January 29, 2025
Tweet
Share
More Decks by yayoi_dd
See All by yayoi_dd
“お客さま視点”を手に入れろ!! / Get the Customer’s Perspective!!
yayoi_dd
0
85
プロジェクト改善、まずは“ネタ出しの文化”から / Improving Projects Starts with a Culture of Idea Generation
yayoi_dd
0
83
使いにくい仕様を改善した件 / How We Improved a Difficult-to-Use Feature
yayoi_dd
0
78
弥生のQAエンジニア 品質保証活動と今後の課題 / Yayoi QA engineers, Quality assurance activities and future challenges
yayoi_dd
0
110
【弥生】20250130_AWSマルチアカウント運用セミナー登壇資料
yayoi_dd
2
3.4k
フロントエンドとバックエンド非同期連携パターンのセッションを見てきた話 / Talk about seeing a session on front-end and back-end asynchronous coordination patterns
yayoi_dd
0
81
reInventで学んだWebシステム運用のBadDayへの備え方 / How to Prepare for BadDay in Web System Operations Learned at reInvent
yayoi_dd
0
61
AWS reInventで感じた世界に見る生成AIの競争 / Competition in Generative AI as Seen Around the World at AWS reInvent
yayoi_dd
0
73
データの意味を適切に伝えましょう データ可視化のお手本/Conveying the Meaning of Data Appropriately: Exemplary Data Visualization
yayoi_dd
0
95
Other Decks in Technology
See All in Technology
無意味な開発生産性の議論から抜け出すための予兆検知とお金とAI
i35_267
4
13k
LLM時代の検索
shibuiwilliam
2
160
AI専用のリンターを作る #yumemi_patch
bengo4com
5
4.3k
United airlines®️ USA Contact Numbers: Complete 2025 Support Guide
unitedflyhelp
0
310
Backlog ユーザー棚卸しRTA、多分これが一番早いと思います
__allllllllez__
1
150
AIの全社活用を推進するための安全なレールを敷いた話
shoheimitani
2
520
タイミーのデータモデリング事例と今後のチャレンジ
ttccddtoki
6
2.4k
開発生産性を組織全体の「生産性」へ! 部門間連携の壁を越える実践的ステップ
sudo5in5k
2
7.2k
B2C&B2B&社内向けサービスを抱える開発組織におけるサービス価値を最大化するイニシアチブ管理
belongadmin
1
7k
MobileActOsaka_250704.pdf
akaitadaaki
0
130
Getting to Know Your Legacy (System) with AI-Driven Software Archeology (WeAreDevelopers World Congress 2025)
feststelltaste
1
130
IPA&AWSダブル全冠が明かす、人生を変えた勉強法のすべて
iwamot
PRO
2
140
Featured
See All Featured
The Invisible Side of Design
smashingmag
301
51k
Automating Front-end Workflow
addyosmani
1370
200k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
Practical Orchestrator
shlominoach
189
11k
Writing Fast Ruby
sferik
628
62k
Typedesign – Prime Four
hannesfritz
42
2.7k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Navigating Team Friction
lara
187
15k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
Raft: Consensus for Rubyists
vanstee
140
7k
Faster Mobile Websites
deanohume
307
31k
Transcript
Amazon OpenSearchのコスト最適化と ZeroETLへの期待
© 2025 Yayoi Co., Ltd. All rights reserved. 2 自己紹介
開発本部 サービスプラットフォーム部 エンジニア 今泉 和馬 (いまいずみ かずま) 弥生での業務 AWSのセキュリティとガバナンス オンプレ - AWSのネットワーク運用保守 好きなアマゾン ウェブ サービス(AWS)サービス AWS Control Tower 、AWS Transit Gateway、 Amazon OpenSearch Service 職歴 2018 ~ 2020:独立系SIer 2021 ~ 2022:APNパートナー企業 2023 ~ : 弥生
◼ 初海外・初re:Invent ◼ ずっと楽しい ◼ 睡眠時間が短い ◆ 帰ってきて体調不良(溶連菌→気管支炎のダブルコンボ) ◼ ワークショップをメインにセッションに参加
弊社でも導入しているOpensSearchのコスト最適化の セッションの内容について ◼ [ANT310] Amazon OpenSearch Service による低コストのログ記録と監視 re:Invent現地初参加しました~
Amazon OpenSearch Serviceの概要 ◼ OpenSearchベースの完全マネージドサービス ◼ コスト、セキュリティ、スケーラビリティを最適化 ◼ リアルタイムアプリケーション監視、ウェブサイト検索、インタラクティブロ グ分析などに活用可能
弊社利用例
OpensSearchのコストについて •基本 • データノードで利用するインスタンス • インスタンスタイプ×利用するノード数 • ストレージ料金 • EBS
• OR1インスタンス利用であればS3 •オプション • UltraWarmデータノード • ウォームデータストレージ (低頻度アクセス データ) • コールドデータストレージ(長期アーカイブ データ) • 専用マスターノード • インスタンスタイプ×利用するノード数
◼ レプリカシャードを利用で、単純に保管するログの倍のインスタンスが必要 ◆ レプリカシャードとはプライマリシャードが壊れたとき用のバックアップ ◼ インスタンス毎に最大容量が決まっているので、容量が増え続けるだけでスペッ クの高いインスタンスタイプを選択する必要がある ◼ 3つのストレージティア (ホット、ウルトラウォーム、コールド)
を提供 ◆ ホットストレージに約 2.5 TiB ある場合にUltraWarmのコストメリットが見込まれる ◆ ポリシーベースの自動化で、ログのライフサイクルを最適化可能 ◆ UltraWarmを利用するにもインスタンスの費用はかかるので注意 ログの保管量の増大に伴い、コストと可用性のバランスが重要 コストのかかると思われる要因
◼ re:Invent2023で発表 ◼ 料金パフォーマンスが最大 30% 向上し、Amazon S3 を使用してイレブンナイン の耐久性が実現 ◆
EBS ボリュームをプライマリストレージとして使用し、データが書き込まれるとすぐS3 に同期 的にコピー ◼ 高い耐久性と共に、インデックスへのスループットも向上 ◼ プライマリでのみドキュメント操作が実行されるため、書き込みレイテンシが低 い ◆ 弊社環境でもOR1インスタンスを今季から利用 ◆ 統合環境に関してはノード数見直しとOR1インスタンスを利用しコスト50%減 ◼ これまでレプリカシャードで利用していたEBSボリュームをS3に置き換えること ができる OR1インスタンス
◼ 2.15以前の既存ドメインは他のインスタンスタイプからOR1インスタンスへ切り 替えることができないため、スナップショットから復元するなど移行が必要 ◼ レプリカシャードは0に設定するインデックスの設定が必要 ◆ データは Amazon S3 から自動的に復元されるが、修復操作中は一部のデータアクセスができ
なくなる ◆ アクティブに書き込まれていないインデックスの検索に高可用性が必要な場合レプリカを利用 しつつ、アクティブに書き込まれなくなったインデックスは0にするという形でログのライフ サイクルを設定する必要はある OR1の注意点
◼ OpenSearch Service からS3 上のデータにクエリを実行できる Direct Query が 利用可能 ◼
複雑な抽出、変換、ロード (ETL) パイプラインを構築する必要がなくなる ◼ OpenSearch Service と Amazon S3 ストレージの両方にデータを複製するコス トがかからなくなる ◼ 現状のゼロETLは2種類 ◆ Amazon OpenSearch Service zero-ETL integration with Amazon S3(re:Invent2023で発表) ◆ Amazon OpenSearch Service zero-ETL integration with Amazon Security Lake. (re:Invent2024で発表) ◼ 弊社でも利用を検討 ◼ OpenSearch ドメインはバージョン 2.13 以上 ゼロETL
弊社で利用するなら。。。
◼ EBSボリュームを気にする必要がなくなることはすごくいい ◆ ボリュームが増える→インスタンスの過剰スペックを選択しなければならないことにおびえな くていい ◼ Dashboardが準備されていたりするので使いやすい ◼ 高速にクエリする方法が3つ準備されている ◼
普通の状態と検索するよりは遅かったり、何をカラムとして指定するかなど検討 することは増える ゼロETLの操作感・所感 https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2024_Amazon-OpenSearch- Service-Best-Practice-Logging_1210_v1.pdf から引用
◼ Skipping indexes ◆ S3 に保存されたデータのメタデータのみをインデックス化するオプション ◼ Materialized views ◆
集計などの複雑なクエリを使用するダッシュボードの Visualize を作成するときに使うオプ ション ◼ Covering Indexes ◆ 指定されたカラムのデータを全てインデックス化。ストレージを多く使うが、パフォーマンス 効果は最も高いオプション 高速クエリ Skipping Materialized views Covering Indexes ユースケース クエリ Visualize作成 ほぼOpensSearchの機 能が利用可能 パフォーマンス 15-30 s 1-5 s 1-5 s インデックス作成有 無 メタデータのみ Dashboard作成などの Aggregationで利用 新しくインデックスを 作成 ストレージ保存 小 小 大
◼ ログの用途に合わせて使い分けが必要 ◆ 全部をゼロETLに置き換えることは難しいので、S3 Tablesとかと連携してEBSと遜色なく検索 できればいいなあ ◼ 新しいサービスに触れたのはすごくよかったです! ◆ 必要な情報やサンプルログで操作でき、日本で利用を検討できる状態に持って行けたのはすご
くよかった まとめ
ご清聴ありがとうございました!