zero-ETLが金融業界にもたらすものとは？

Transcript

1. zero-ETLが金融業界にもたらすものとは？ 2024/1/10 @Fin-JAWS re:Invent 金融 re:Cap シンプレクス株式会社 河越光 1
2. 2 かわごえ / Hikaru KAWAGOE • Simplex Inc. • Architect/CCoE/育成 等… • Community Builder (DevTool) • 2023 Japan AWS Top Engineer
3. おことわり 発言は個人の見解に基づくものであり、所属組織 を代表するものではありません 3
4. 4 アイスブレイク 今年(2024) ラスベガスへ行く人へ
5. WynnのBuffetは美味いぞ 5
6. WynnのBuffetは美味いぞ 6
7. 7 ここからやっと本題
8. 2022年のAWS re:Invent 8
9. 2022年のAWS re:Inventから約1年 2023年11月 9
10. そしてその1ヶ月後のAWS re:Invent 2023 10
11. zero-ETLと名前がつくものたち(2024/01/10現在) 11 Amazon DynamoDB Amazon Aurora Amazon S3 Amazon Redshift Amazon OpenSearch Service Amazon RDS
12. re:Invent期間中に私が考えていたzero-ETLの概念 12 ETL
13. re:Invent期間中に私が考えていたzero-ETLの概念 ETLの「管理」が不要 13 ETL Managed by AWS
14. re:Invent期間中に私が考えていたzero-ETLの概念 ETLの「管理」が不要 14 ETL Managed by AWS 半分正解だったけど 半分ぐらいはどうやら不正解だった
15. ETLの課題 15 データのマッピング、異常検 知、データの不整合・競 合・・・などなどそもそもメ ンテナンスが手間 大容量のデータを高速に処理 をするためには料金が膨れ上 がる、DBからデータを読み取 る際にはDBに負荷がかかるた めワークロードに影響が出る 増え続けるデータの種類やシ ステムに対応するためにコー ドの変更やデプロイなど時間 を要する。結果、データ分析 や機械学習で利用できるまで にかかる時間が増加しデータ の鮮度が劣化していく
16. ETLの課題 16 データのマッピング、異常検 知、データの不整合・競 合・・・などなどそもそもメ ンテナンスが手間 大容量のデータを高速に処理 をするためには大きなサイズ のインフラを並列に。結果と して料金が膨れ上がる 増え続けるデータの種類やシ ステムに対応するためにコー ドの変更やデプロイなど時間 を要する。結果、データ分析 や機械学習で利用できるまで にかかる時間が増加 手間もコストも時間もかかる苦痛な作業 （AWS re:Invent 2022 Keynote）
17. zero-ETLとは何か@公式ドキュメント 17 https://aws.amazon.com/jp/what-is/zero-etl/ “ETLデータパイプラインを構築する必要性を排除し または最小限に抑える一連の統合”
18. zero-ETLとは何か@公式ドキュメント “ETLデータパイプラインを構築する必要性を排除し または最小限に抑える一連の統合” 18 https://aws.amazon.com/jp/what-is/zero-etl/ Federated Querying Streaming ingestion Instant replication データの移動させる必要がな く、さまざまなデータソース に対してクエリを実行可能 複数のデータソースからリア ルタイムデータをストリーミ ングし、瞬時に分析可能に データベースからデータウェ アハウスへデータを即座に継 続的にレプリケーションする
19. パターン1 Federated querying 19 Amazon OpenSearch Service Amazon Simple Storage Service (Amazon S3) AWS Lambda データの取り込み OpenSearch w/ S3
20. パターン1 Federated querying 20 Amazon OpenSearch Service Amazon Simple Storage Service (Amazon S3) AWS Glue Data Catalog Amazon OpenSearch Service Amazon Simple Storage Service (Amazon S3) AWS Lambda データの取り込み 直接クエリ OpenSearch w/ S3
21. パターン1 Federated querying 21 https://speakerdeck.com/nagamina96/re-invent-2023-re-cap- opensearchtos3nozeroetltong-he-sitemita https://www.youtube.com/watch?v=ol-UBfYcKUI
22. パターン2 Streaming ingestion 22
23. パターン3 Instant replication 23 https://aws.amazon.com/jp/blogs/big-data/announcing-zero-etl-integrations-with-aws-databases-and-amazon-redshift/ Redshift w/ Aurora w/ RDS w/ DynamoDB
24. パターン3 Instant replication 24 https://www.docswell.com/s/hmatsu47/ZGX4PM-2023-12-17-160927 https://www.youtube.com/watch?v=5g8KJbvSCJ4
25. あらためてzero-ETLとは(私見) AWSのどこかにデータがあれば ワークロードに可能な限り影響を与えずに 最小の作業・メンテナンスで ニアリアルタイムでデータの鮮度を落とさずに データ分析を可能にする統合 25
26. あらためてzero-ETLとは(私見) AWSのどこかにデータがあれば ワークロードに可能な限り影響を与えずに 最小の作業・メンテナンスで ニアリアルタイムでデータの鮮度を落とさずに データ分析を可能にする統合 26 zero-ETLって名前はついてないけど zero-ETLなサービスってそれなりにいるのでは？
27. zero-ETLじゃないけど あなたはひょっとしてzero-ETL？ • Redshift • auto-copy from Amazon S3 • Streaming Ingestion(w/ MSK and Kinesis Data Stream) • OpenSearch • Amazon OpenSearch Ingestion • w/ DynamoDBのzero-ETLも実際はこれ • zero-ETLと名前をつけたものと付けてないものの違いってなんなんだろか （単なるタイミング？） 27 https://dev.classmethod.jp/articles/dynamodb-to-opensearch-cdk/
28. zero-ETL の全体像 28 Amazon DynamoDB Amazon Aurora Amazon S3 Amazon Redshift Amazon OpenSearch Service Amazon RDS Kinesis Data Stream Amazon MSK Replication Streaming Ingestion Replication 不明 Replication Federated Querying ※ OpenSearch Ingestionは割愛
29. 29 zero-ETLが金融業界にもたらすものとは？
30. zero-ETLが金融業界にもたらすものとは データを利用した金融ビジネスの展開が容易になっていく • AIでも分析でも、データが一元化されていることが大前提 • ニアリアルタイムかつ複数のシステムを横断してデータを活用することによっ て、よりパーソナライズされた金融サービスの展開などが可能に • 既存のワークロードには影響を出さないようにこれを実現するのは非常に難易 度が高く、実現に踏み込みきれていない金融機関もあるのでは 30
31. System C zero-ETLが金融業界にもたらすものとは 31 System A System D System B
32. System C zero-ETLが金融業界にもたらすものとは 32 System A System D System B Amazon Redshift
33. System C zero-ETLが金融業界にもたらすものとは 33 System A System D System B Amazon Redshift
34. System C zero-ETLが金融業界にもたらすものとは 34 System A System D System B Amazon Redshift そもそもリアルタイム性を 捨てている データベースにクエリ実行 すると負荷がかかり本番 ワークロードに影響が 高速に処理するためにコス トが 複雑すぎて運用が辛い 作り込みのオンパレード ランタイムのサポート終了 使いこなせる人どこ？
35. System C zero-ETLが金融業界にもたらすものとは 35 System A System D System B Amazon Redshift zero-ETL
36. 一方で・・・ • zero-ETLでデータの統合に関する課題は解消できるかもしれないが、AIやアナリティ クスといったETL以外の部分がより課題として浮き出てくるのでは？ • データ分析の民主化にむけて・・・ • SQLや可視化などのアナリティクスに関するスキル • 正しくデータの読み解き議論するためのベースライン • データに基づいた意思決定を行う文化の醸成 36
37. まとめ(1) • zero-ETLはそれぞれのデータソースの特性に合わせて、ニアリアルタイムかつワーク ロードに影響が出ない形での分析が可能な実装がされていそう • ETLの辛い箇所をいい感じに解消できる統合だと思うので今後も注目していきたい • zero-ETLによって、簡単にニアリアルタイムでのデータ統合が可能になることで、よ り高度なデータドリブンな金融サービスの展開が容易に 37
38. まとめ(2) WynnのBuffetは美味いぞ 38
39. 39 ご清聴ありがとうございました