Amazon Aurora MySQL と Amazon Redshift の Zero-ETL Integration について使い所を考えてみた！

https://aws-startup-lofts.com/apj/loft/tokyo/event/59fad664-2bc4-4705-b959-1be1a585c88e

超早口になりすぎた回　

Transcript

1. Kayac. Inc Amazon Aurora MySQL と Amazon Redshift の Zero-ETL Integration について使い所を考えてみた！ AWS for Games Live: これからのゲームデータ分析環境を考える 2023/10/19 19:35-20:05 面白法人カヤック 池田将士 (@mashiike)
2. Kayac. Inc @mashiike 面白法人カヤック その他事業部 SREチーム データエンジニア Amazon S3 Amazon Kinesis Data Firehose Amazon Redshift 好きなAWSサービス 最近ハマったゲーム • ARMORED CORE VI • City Skylines • Pay Day 2
3. Kayac. Inc 主にWeb技術を得意とする ゲームやコミュニティなど 多種多様な事業を展開する おもちゃ箱のような会社。 経営理念『つくる人を増やす』
4. Kayac. Inc アジェンダ • Zero ETL Integrationとは？ • 使い所は？ ◦ VPC超えが必要な場合 ◦ VPC超えが不要な場合 • まとめ
5. Kayac. Inc Zero ETL Integrationとは？ 2023年10月時点でPublic Previewの機能 https://aws.amazon.com/jp/blogs/news/getting-started-guide-for-near-real-time-operational-analytics-using -amazon-aurora-zero-etl-integration-with-amazon-redshift/
6. Kayac. Inc Zero ETL Integrationとは？ 少ないステップでAurora MySQLのデータを Redshiftへニアリアルタイムで転送
7. Kayac. Inc 箸休め:実際にお試ししてみた。 慌てすぎてBinlog設定し忘れたり
8. Kayac. Inc 箸休め:実際にお試ししてみた。
9. Kayac. Inc Zero ETL Integrationスゲーぞ！ GAが待ち遠しいですね。 https://aws.amazon.com/jp/blogs/news/getting-started-guide-for-near-real-time-operational-analytics-using -amazon-aurora-zero-etl-integration-with-amazon-redshift/
10. Kayac. Inc 🤔使い所 は？
11. Kayac. Inc 『VPC超え』 キーワードは ※ジャガーノートを倒す必要はありません
12. Kayac. Inc 使い所を考える上で大事なポイント。 『VPC超え』が必要か？否か？これで旨味が変わる VPC超えが必要 クロスアカウントなど VPC超えが不要
13. Kayac. Inc 使い所を考える上で大事なポイント。 『VPC超え』が必要か？否か？これで旨味が変わる VPC超えが必要 クロスアカウントなど VPC超えが不要 まずはこちら
14. Kayac. Inc Case.『VPC超え』が必要 １つの会社で 複数のGame運営を行っている場合 単一の統合分析アカウントを持って いるケースが多いと思います。
15. Kayac. Inc 既存手法1. S3 を経由
16. Kayac. Inc 既存手法1. S3 を経由 • スナップショットなので リアルタイムではない。 • StepFunctionsなど地味に色々な ものが必要。
17. Kayac. Inc 既存手法2. VPC Peering を活用
18. Kayac. Inc 既存手法2. VPC Peering を活用 • VPC Peering: 2 つの VPC 間でト ラフィックをルーティングするこ とを可能にするネットワーク接続 • Redshift Federated Queryや Binlog Clientを使うことができ る。 • しかし、IP Range等の設定で気 をつける必要があり、結構面倒。
19. Kayac. Inc 『VPC超え』の難点 どうやって異なるネットワーク上にある Aurora MySQLのデータを取ってくるか？ ここに難所がある。 他にもPublic Access + IAM認証などの手もある
20. Kayac. Inc Zero ETL Integrationがあるとどうなる？
21. Kayac. Inc Zero-ETLは別アカウントでもOK アカウントが違っても OKということは、 VPCが異なっていても 転送できるということ。
22. Kayac. Inc 『VPC超え』が必要なケースの旨味 Aurora MySQLも RedshiftもStorageは AWS Managedな管理 AWS Managedな領域で ニアリアルタイム転送を やってくれるので 異なるネットワークに あることを考えなくていい。
23. Kayac. Inc 使い所を考える上で大事なポイント。 『VPC超え』が必要か？否か？これで旨味が変わる VPC超えが必要 クロスアカウントなど VPC超えが不要
24. Kayac. Inc 使い所を考える上で大事なポイント。 『VPC超え』が必要か？否か？これで旨味が変わる VPC超えが必要 クロスアカウントなど VPC超えが不要 今度はこちら
25. Kayac. Inc Case.『VPC超え』が不要 １つのゲームの運用チームが ログ分析やゲーム運用のために Redshiftを持っているケース。 同一ネットワークにあるので リアルタイムのデータを見たいときはFederated Queryで十分
26. Kayac. Inc Federated Queryについて詳しく 同一ネットワークにあるMySQLを外部スキーマという形で定義できる。
27. Kayac. Inc Federated Queryについて詳しく 普通のスキーマ 外部スキーマ：MySQL側のテーブルがそのまま並ぶ
28. Kayac. Inc Federated Queryについて詳しく MySQLに次のクエリが発行される SELECT * FROM organization WHERE id = 1
29. Kayac. Inc Federated Queryについて詳しく MySQLに次のクエリが発行された後に、Redshift上で集計する SELECT * FROM organization 全行ロード！！！！！ 負荷！！！？大丈夫？
30. Kayac. Inc Tips: とある本番環境のAurora MySQL １時間毎にスパイクがありますね 1時間ごとにFederated QueryでKPIを集計した結果
31. Kayac. Inc 『VPC超え』が不要なケースでは 同一ネットワークにあるので、 RedshiftからMySQLにクエリを発行して データを取ってくるFederated Queryが あれば十分だが、 大量のデータを取り扱うときに MySQL側の負荷が気になるかも？
32. Kayac. Inc Zero ETL Integrationがあるとどうなる？
33. Kayac. Inc Zero-ETLのある場合 Hyblid Transactional/ Analytical Processing ２種類のストレージを使い分け
34. Kayac. Inc ズバリ、HTAPが嬉しいのは？ 『ログデータ』へのクエリ
35. Kayac. Inc CREATE TABLE game_action_log ( action_timestamp TIMESTAMP,　　 player_id BIGINT, action_type VARCHAR(50), — 省略 purchase_value BIGINT, purchase_unit VARCHAR(6), PRIMARY KEY (action_timestamp, player_id, action_type) ); Aurora MySQLにこんなテーブルを用意
36. Kayac. Inc 用意したテーブルにLogをInsertしちゃう
37. Kayac. Inc OLTPなクエリはFederated Queryで SELECT * FROM federated.game_action_log WHERE action_timestamp >= getdate() - interval ’1 hour’ AND player_id IN (1234, 5678) MySQLのKeyやIndexが 有効的である。
38. Kayac. Inc OLAPなクエリはZero-ETLで WITH game_action_log as ( SELECT action_timestamp , player_id, purchase_value , purchase_unit FROM zero_etl.prod.game_action_log WHERE action_timestamp >= getdate() - interval '1 year' AND action_type = 'purchase' ), monthly_player as ( SELECT DATE_TRUNC ( 'MONTH', DATE(action_timestamp ) ) AS action_month, player_id, purchase_unit , SUM(purchase_value ) AS total_purchase_value FROM game_action_log GROUP BY 1,2,3 ) SELECT action_month , COUNT(distinct player_id) as paid_players, AVG(total_purchase_value ) as arppu FROM monthly_player GROUP BY 1
39. Kayac. Inc 『VPC超え』が不要なケースの旨味 行指向と列指向という ２種類のストレージを活用して用い 効率よく分析をすることができる Redshiftはアクセスするカラム数が多いとク エリに時間がかかるので、 Federated Queryと併用することで効率UP！
40. Kayac. Inc まとめ • Zero-ETL IntegraionはAWS Managedな領域で CDC(Change Data Capture)をして Aurora MySQLからRedshiftへ ニアリアルタイムにデータを運んでくれるすごい機能 • この機能の旨味は… ◦ VPC超えが必要だった場合は、単純に楽になる！ ◦ Federated Queryとの併用でHTAPな使い方ができる。
41. Kayac. Inc ご清聴 ありがとうございました