革新的な新しいウルトラ・ハイ・パフォーマンス並列処理クエリーエンジン、HeatWaveの仕組み / How HeatWave works

2021年10月8日に開催された、Cloud Native Database Meetup #2 でのLT資料です。
https://cndata.connpass.com/event/222535/

革新的な新しいウルトラ・ハイ・パフォーマンス並列処理クエリーエンジンである、HeatWaveの仕組みについて紹介しています。

Transcript

1. 革新的な新しいウルトラ・ハイ・パフォーマンス 並列処理クエリーエンジン、HeatWaveの仕組み Cloud Native Database Meetup #2 LT 2021年10月8日 MySQL Global Business Unit 山﨑 由章 / Yoshiaki Yamasaki
2. Copyright © 2021, Oracle and/or its affiliates 2 タイトルの元ネタ
3. Copyright © 2021, Oracle and/or its affiliates 3 FY21の年間の決算報告での Larry Ellisonの発言より ※FY：Financial Year (会計年度)
4. Copyright © 2021, Oracle and/or its affiliates 4 "The world's two most popular databases are the Oracle Autonomous Database and Oracle MySQL," said Oracle Chairman and CTO, Larry Ellison. "The Oracle Database once again delivered solid revenue growth in FY21. And while our Oracle Database business as measured by revenue currently dwarfs our MySQL database business— that is about to change because the latest version of Oracle MySQL has been upgraded to include a revolutionary new ultra-high- performance parallel processing query engine called HeatWave.” 出典：https://investor.oracle.com/investor-news/news-details/2021/Oracle-Announces-Fiscal-2021-Fourth-Quarter-and-Fiscal-Full-Year-Financial-Results/default.aspx
5. Copyright © 2021, Oracle and/or its affiliates 5 "a revolutionary new ultra-high-performance parallel processing query engine called HeatWave.” 出典：https://investor.oracle.com/investor-news/news-details/2021/Oracle-Announces-Fiscal-2021-Fourth-Quarter-and-Fiscal-Full-Year-Financial-Results/default.aspx
6. Copyright © 2021, Oracle and/or its affiliates 6 革新的な新しい ウルトラ・ハイ・パフォーマンス 並列処理クエリーエンジン
7. Copyright © 2021, Oracle and/or its affiliates 7 HeatWave
8. Copyright © 2021, Oracle and/or its affiliates 8 HeatWaveとは？
9. Copyright © 2021, Oracle and/or its affiliates 9 MySQL Database Service 専用の クエリーアクセラレーター
10. Copyright © 2021, Oracle and/or its affiliates 10 MySQL Database Serviceとは？
11. Copyright © 2021, Oracle and/or its affiliates 11 オラクルクラウド上で提供している MySQLのマネージドサービス
12. Copyright © 2021, Oracle and/or its affiliates 12 HeatWaveの仕組み
13. Copyright © 2021, Oracle and/or its affiliates 13 MySQL Database Serviceの バックエンドで動作する
14. Copyright © 2021, Oracle and/or its affiliates 14 HeatWaveノード × 2台～64台 HeatWave専用の MySQL Database Service オラクルクラウド上の サーバー (クライアント) HeatWave バックグラウンド通信 ユーザーによるアクセス
15. Copyright © 2021, Oracle and/or its affiliates 15 ユーザーはMySQLに接続して SQLを実行するだけで、 自動的に高速化される
16. Copyright © 2021, Oracle and/or its affiliates 16 更新処理を実行した場合は、 HeatWaveノード上のデータも 自動的に更新される
17. Copyright © 2021, Oracle and/or its affiliates 17 HeatWaveノードでの データの持ち方
18. Copyright © 2021, Oracle and/or its affiliates 18 列指向
19. Copyright © 2021, Oracle and/or its affiliates 19 インメモリ
20. Copyright © 2021, Oracle and/or its affiliates 20 複数ノードに分散配置 (最低ノード数2台、最大64台)
21. Copyright © 2021, Oracle and/or its affiliates 21 HeatWaveノードでの処理
22. Copyright © 2021, Oracle and/or its affiliates 22 超並列処理
23. Copyright © 2021, Oracle and/or its affiliates 23 ベースになっている技術
24. Copyright © 2021, Oracle and/or its affiliates 24 RAPID
25. Copyright © 2021, Oracle and/or its affiliates 25 RAPID Analytics Processing In DRAM (メモリ上での高速分析処理)
26. Copyright © 2021, Oracle and/or its affiliates 26 Oracle Labsで長年研究していた技術 https://labs.oracle.com/pls/apex/f?p=94065:12:2257546553334:14
27. Copyright © 2021, Oracle and/or its affiliates 27 RAPIDでは
28. Copyright © 2021, Oracle and/or its affiliates 28 最大限並列処理できる アーキテクチャーになっている
29. Copyright © 2021, Oracle and/or its affiliates 29 例えば、、、
30. Copyright © 2021, Oracle and/or its affiliates 30 列指向でデータを持つ時に、 マルチコアで並列処理できるように チャンク分割
31. Copyright © 2021, Oracle and/or its affiliates 31 column 1 column 2 column 3 column N partition 1 partition P . . . . . . Chunk M Chunk 1 . . . vector 1 vector 2 vector 3 vector N tile 1 tile K RAPID Column-store ノード数追加に よる性能拡張性 チャンク分割に よりマルチコア 環境で性能向上 チャンク単位で 複数レコードを 1度に処理
32. Copyright © 2021, Oracle and/or its affiliates 32 CPU Core CPU Core CPU Core Chunk n Results チャンク単位で処理した結果を集約
33. Copyright © 2021, Oracle and/or its affiliates 33 待ち時間を最小限にする最適化
34. Copyright © 2021, Oracle and/or its affiliates 34 ※次の資料はHeatWave開発中に 作成された資料なので、 秒数の絶対値は気にせずに見て下さい (2018年秋頃の資料)
35. Copyright © 2021, Oracle and/or its affiliates 35 ネットワーク通信による待ちが発生
36. Copyright © 2021, Oracle and/or its affiliates 36 待ちが発生しないようにタスクを最適化
37. Copyright © 2021, Oracle and/or its affiliates 37 オラクルクラウドの ハードウェアに合わせた最適化
38. Copyright © 2021, Oracle and/or its affiliates 38 例：JOIN処理
39. Copyright © 2021, Oracle and/or its affiliates 39 Each CPU core executes a join kernel between small R and S partitions Hash tables are typically compact and fits into lower level CPU caches k S h1 (key) . . . 1 p . . . . . . R h1 (key) 1 p k . . . ① Partition ① Partition ② Build ③ Probe h2 (k) join kernel このデータが通常はCPUの下位のキャッシュに収まるサイズ
40. Copyright © 2021, Oracle and/or its affiliates 40 などなど、
41. Copyright © 2021, Oracle and/or its affiliates 41 HeatWaveでは
42. Copyright © 2021, Oracle and/or its affiliates 42 ハードウェアリソースを 最大限活用して超並列処理できる アーキテクチャーになっています
43. Copyright © 2021, Oracle and/or its affiliates 43 今日の話を聞いて HeatWaveに興味を持って頂けた方へ
44. HeatWave、オラクルクラウドのチュートリアルがあります！！ Copyright © 2021, Oracle and/or its affiliates 44 オラクルクラウドのチュートリアルページにMySQL Database Service、HeatWaveのチュートリアルも掲載されています！ 画面キャプチャー付きで詳細に手順を解説しています！ 入門編 - Oracle Cloud Infrastructure を使ってみよう https://oracle-japan.github.io/ocitutorials/beginners/ チュートリアル : Oracle Cloud Infrastructure を使ってみよう https://oracle-japan.github.io/ocitutorials/
45. Copyright © 2021, Oracle and/or its affiliates 45 今月ハンズオンセミナーを 開催します！！
46. • ハンズオン1：HeatWaveを活用した驚異的なパフォーマンスを持つ分析基盤構築 • 開催日：2021年10月15日(金) 15:00 – 17:00 • ハンズオン2：オンプレミスのMySQLからOracle Cloud Infrastructure上の MySQL Database Serviceへのレプリケーションによるデータ連携 • 開催日：2021年10月20日(水) 15:00 – 17:00 • ハンズオン3：Oracle Analytics CloudとMySQL HeatWaveによるデータ分析 • 開催日：2021年10月27日(水) | 15:00 – 17:00 • セミナー詳細、申し込み：https://go.oracle.com/LP=116603 • 参加費は無料 HeatWaveハンズオンセミナー Copyright © 2021, Oracle and/or its affiliates 46
47. Copyright © 2021, Oracle and/or its affiliates 47 HeatWaveの速さを 是非体感してください！！
48. 48 Copyright © 2021, Oracle and/or its affiliates. ご清聴ありがとう ございました！！