【re:Invent 2023 re:cap】OpenSearchとS3のゼロETL統合してみた

Storage-JAWS #2（2023/12/13 開催）で発表した資料です。
タイトル：【re:Invent 2023 re:cap】OpenSearchとS3のゼロETL統合してみた

re:Invent 2023注目のアップデート「OpenSearchとS3のゼロETL統合」をテーマに、JAWS-UG初登壇した資料です。
「Zero ETLとは何か」から始まり、ゼロETL統合のメリット、アーキテクチャ解説、ハンズオン手順までまとめています。

Transcript

1. © 2023 NTT DATA Japan Corporation © 2023 NTT DATA Japan Corporation Storage-JAWS #2 re:Invent 2023で発表された OpenSearchとS3の ゼロETL統合してみた 2023 年 12 月 13 日
2. © 2023 NTT DATA Japan Corporation 2 自己紹介 ・名前：長澤 美波（ながさわ みなみ） ・所属：NTTデータ ・業務： 公共機関向けのAWS基盤運用、設計、構築 ・キーワード： AWS、公共機関向けシステム、Jr.Champion ・趣味： ラーメン、お笑い、国内旅行 etc…​ JAWS-UG 初登壇です！
3. © 2023 NTT DATA Japan Corporation 3 Jr. Champions 枠で登壇です！ https://aws.amazon.com/jp/blogs/psa/2023-japan-aws-jr-champions/ • AWS Partner Network (APN) 参加企業に所属 • 応募時、社会人歴 1 ～ 3 年目 • AWS を積極的に学び、アクションを起こし、 周囲に影響を与えている APN 若手エンジニア
4. © 2023 NTT DATA Japan Corporation 4 re:Invent に初参加してきました！
5. © 2023 NTT DATA Japan Corporation 5 今日お話しすること 本日は、re:Invent 2023で発表されたストレージ関連サービスを実際に操作して得た学びを共有します！ ストレージの アップデート おさらい 気になる アップデートを体験 得られた学び
6. © 2023 NTT DATA Japan Corporation © 2023 NTT DATA Japan Corporation 6 ストレージサービス注目のアップデート 6
7. © 2023 NTT DATA Japan Corporation 7 ストレージサービスの主なアップデート サービス アップデート内容 S3 Amazon S3 Express One Zone Amazon OpenSearch ServiceとAmazon S3の zero-ETL統合 Amazon S3からのトレーニングデータ転送が高速化 新しいアクセス制御方式Amazon S3 Access Grantsを発表 Mountpoint for Amazon S3がS3 Express One Zoneに対応 Mountpoint for Amazon S3 CSI driverが一般利用開始に EFS Amazon EFSのアーカイブクラスを発表 Amazon EFSでファイルシステム単位でのIOPS性能上限が向上 Amazon EFS Replicationがフェイルバックをサポート FSx Amazon FSx for ONTAPがスケールアウトに対応 Amazon FSx for ONTAPで2つの機能強化 Amazon FSx for OpenZFSがOn-demand replicationに対応 DRS AWS Elastic Disaster Recoveryのアップデート Backup AWS Backupの2つのアップデート ※ 赤字はKeynoteで発表 14+ Updates
8. © 2023 NTT DATA Japan Corporation 8 キーワード 「Zero ETL」 • Zero ETLとは ETL（データの抽出、変換、ロード）のプロセスを一切必要としないデータ処理プロセス。 • Zero ETLのメリット リアルタイム分析を可能にし、AI・機械学習におけるデータ活用促進等につなげることができる Zero ETL 関連のアップデート内容 Amazon Redshiftに対するzero-ETL機能の展開 を発表 DynamoDBからOpenSearch ServiceとのzeroETL対応を発表 Amazon OpenSearch ServiceとAmazon S3の zero-ETL統合 Amazon AthenaがCloudTrail LakeのZero-ETL分析に対応 Amazon Connect analytics data lakeを発表 ※ 赤字はKeynoteで発表 “Zero ETL”
9. © 2023 NTT DATA Japan Corporation 9 中でも気になったアップデート https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_reInvent2023digest_1201_v1.pdf OpenSearch Serviceとは？ データ分析＆可視化サービス ・ログ分析 ・リアルタイムのAPモニタリング ・ウェブサイト検索 etc
10. © 2023 NTT DATA Japan Corporation 10 中でも気になったアップデート https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_reInvent2023digest_1201_v1.pdf 気になった理由 自社案件でログ設計担当をしている中で、 ・運用ログのリアルタイム分析・可視化 ・コスト最適化 を実現するアップデート！！
11. © 2023 NTT DATA Japan Corporation 11 「いままで」 と 「これから」 Amazon OpenSearch Service Amazon Simple Storage Service (Amazon S3) サードパーティ等の データ変換ツール Amazon OpenSearch Service Amazon Simple Storage Service (Amazon S3) いままで これから
12. © 2023 NTT DATA Japan Corporation 12 何が嬉しいか Amazon OpenSearch Service Amazon Simple Storage Service (Amazon S3) ✓ S3からデータを読み込む必要なし。直接クエリでリアルタイムな分析・可視化が可能。 ✓ S3以外でデータ保管をする必要がないため、データ保管コストが抑えられる。 →「Undifferentiated Heavy Lifting（付加価値を生まない作業）」を解消。
13. © 2023 NTT DATA Japan Corporation © 2023 NTT DATA Japan Corporation 13 1 気になるアップデートのアーキテクチャは…？！
14. © 2023 NTT DATA Japan Corporation 14 実際のところのアーキテクチャ Amazon OpenSearch Service Amazon Simple Storage Service (Amazon S3) OpenSearch Dashboards Observability AWS Glue Data Catalog ログデータ ・VPCフローログ ・WAFログ etc
15. © 2023 NTT DATA Japan Corporation 15 実際のところのアーキテクチャ Amazon OpenSearch Service Amazon Simple Storage Service (Amazon S3) OpenSearch Dashboards Observability AWS Glue Data Catalog ログデータ ・VPCフローログ ・WAFログ etc 直接クエリ可能
16. © 2023 NTT DATA Japan Corporation 16 実際のところのアーキテクチャ Amazon Simple Storage Service (Amazon S3) AWS Glue Data Catalog ログデータ ・VPCフローログ ・WAFログ etc OpenSearch Dashboards Observability Amazon OpenSearch Service Point データソースとして S3を指定
17. © 2023 NTT DATA Japan Corporation 17 実際のところのアーキテクチャ Amazon OpenSearch Service Amazon Simple Storage Service (Amazon S3) OpenSearch Dashboards Observability AWS Glue Data Catalog ログデータ ・VPCフローログ ・WAFログ etc Point インデックス高速化 ・スキッピング ・マテリアライズドビュー ・カバリング
18. © 2023 NTT DATA Japan Corporation © 2023 NTT DATA Japan Corporation 18 帰国後、実際にさわってみました
19. © 2023 NTT DATA Japan Corporation 19 簡単 3 Step Amazon OpenSearch Service Amazon Simple Storage Service (Amazon S3) AWS Glue Data Catalog ②データソースを作成 ③データソースを構成 ①事前準備 OpenSearch Dashboards
20. © 2023 NTT DATA Japan Corporation 20 ①事前準備 分析対象のS3と、分析で用いるOpenSearchドメインがあることが前提。 （すでにOpenSearchでログ分析をしている場合、対応不要。） • 最新バージョン（バージョン 2.11 以降）の OpenSearch ドメイン ✓ バージョンはデフォルトのままでOK ✓ 権限設定は公式ドキュメントを参照 https://docs.aws.amazon.com/ja_jp/opensearch-service/latest/developerguide/direct-query-s3-creating.html • AWS Glue データカタログのターゲット Amazon S3 テーブル ① 事前準備 ② データソース 作成 ③ データソース 構成
21. © 2023 NTT DATA Japan Corporation 21 ②データソースを作成 • OpenSearch上で、データソースを作成 ① 事前準備 ② データソース 作成 ③ データソース 構成 今回アップデート （東京Rプレビュー中）
22. © 2023 NTT DATA Japan Corporation 22 ③データソースを構成 ✓ クエリを実行しているときのみコンピューティング料金が発生 ✓ クエリの高速化も指定可能 ① 事前準備 ② データソース 作成 ③ データソース 構成 ②で作成したデータソースが 自動で読み込まれる • OpenSearch Dashboards上で、読み込まれたデータソースに対してクエリ実行する
23. © 2023 NTT DATA Japan Corporation 23 簡単 3 Step ✓ ３StepでSQL実行が可能。 ✓ データソースの削除も数クリック。 Amazon OpenSearch Service Amazon Simple Storage Service (Amazon S3) AWS Glue Data Catalog ②データソースを作成 ③データソースを構成 ①事前準備 OpenSearch Dashboards
24. © 2023 NTT DATA Japan Corporation © 2023 NTT DATA Japan Corporation 24 2 まとめ
25. © 2023 NTT DATA Japan Corporation 25 まとめ ✓ AWSは2022年より「zero-ETL」に注力。AI・機械学習等、リアルタイムのデータ分析が必 要なアプリケーションで活用。 ✓ S3保管している大容量データのリアルタイム分析・可視化が容易に。 ✓ S3以外のストレージ・データベースサービスにも拡張されていくことを期待。