Slide 1

Slide 1 text

革新的な新しいウルトラ・ハイ・パフォーマンス 並列処理クエリーエンジン、HeatWaveの仕組み Cloud Native Database Meetup #2 LT 2021年10月8日 MySQL Global Business Unit 山﨑 由章 / Yoshiaki Yamasaki

Slide 2

Slide 2 text

Copyright © 2021, Oracle and/or its affiliates 2 タイトルの元ネタ

Slide 3

Slide 3 text

Copyright © 2021, Oracle and/or its affiliates 3 FY21の年間の決算報告での Larry Ellisonの発言より ※FY:Financial Year (会計年度)

Slide 4

Slide 4 text

Copyright © 2021, Oracle and/or its affiliates 4 "The world's two most popular databases are the Oracle Autonomous Database and Oracle MySQL," said Oracle Chairman and CTO, Larry Ellison. "The Oracle Database once again delivered solid revenue growth in FY21. And while our Oracle Database business as measured by revenue currently dwarfs our MySQL database business— that is about to change because the latest version of Oracle MySQL has been upgraded to include a revolutionary new ultra-high- performance parallel processing query engine called HeatWave.” 出典:https://investor.oracle.com/investor-news/news-details/2021/Oracle-Announces-Fiscal-2021-Fourth-Quarter-and-Fiscal-Full-Year-Financial-Results/default.aspx

Slide 5

Slide 5 text

Copyright © 2021, Oracle and/or its affiliates 5 "a revolutionary new ultra-high-performance parallel processing query engine called HeatWave.” 出典:https://investor.oracle.com/investor-news/news-details/2021/Oracle-Announces-Fiscal-2021-Fourth-Quarter-and-Fiscal-Full-Year-Financial-Results/default.aspx

Slide 6

Slide 6 text

Copyright © 2021, Oracle and/or its affiliates 6 革新的な新しい ウルトラ・ハイ・パフォーマンス 並列処理クエリーエンジン

Slide 7

Slide 7 text

Copyright © 2021, Oracle and/or its affiliates 7 HeatWave

Slide 8

Slide 8 text

Copyright © 2021, Oracle and/or its affiliates 8 HeatWaveとは?

Slide 9

Slide 9 text

Copyright © 2021, Oracle and/or its affiliates 9 MySQL Database Service 専用の クエリーアクセラレーター

Slide 10

Slide 10 text

Copyright © 2021, Oracle and/or its affiliates 10 MySQL Database Serviceとは?

Slide 11

Slide 11 text

Copyright © 2021, Oracle and/or its affiliates 11 オラクルクラウド上で提供している MySQLのマネージドサービス

Slide 12

Slide 12 text

Copyright © 2021, Oracle and/or its affiliates 12 HeatWaveの仕組み

Slide 13

Slide 13 text

Copyright © 2021, Oracle and/or its affiliates 13 MySQL Database Serviceの バックエンドで動作する

Slide 14

Slide 14 text

Copyright © 2021, Oracle and/or its affiliates 14 HeatWaveノード × 2台~64台 HeatWave専用の MySQL Database Service オラクルクラウド上の サーバー (クライアント) HeatWave バックグラウンド通信 ユーザーによるアクセス

Slide 15

Slide 15 text

Copyright © 2021, Oracle and/or its affiliates 15 ユーザーはMySQLに接続して SQLを実行するだけで、 自動的に高速化される

Slide 16

Slide 16 text

Copyright © 2021, Oracle and/or its affiliates 16 更新処理を実行した場合は、 HeatWaveノード上のデータも 自動的に更新される

Slide 17

Slide 17 text

Copyright © 2021, Oracle and/or its affiliates 17 HeatWaveノードでの データの持ち方

Slide 18

Slide 18 text

Copyright © 2021, Oracle and/or its affiliates 18 列指向

Slide 19

Slide 19 text

Copyright © 2021, Oracle and/or its affiliates 19 インメモリ

Slide 20

Slide 20 text

Copyright © 2021, Oracle and/or its affiliates 20 複数ノードに分散配置 (最低ノード数2台、最大64台)

Slide 21

Slide 21 text

Copyright © 2021, Oracle and/or its affiliates 21 HeatWaveノードでの処理

Slide 22

Slide 22 text

Copyright © 2021, Oracle and/or its affiliates 22 超並列処理

Slide 23

Slide 23 text

Copyright © 2021, Oracle and/or its affiliates 23 ベースになっている技術

Slide 24

Slide 24 text

Copyright © 2021, Oracle and/or its affiliates 24 RAPID

Slide 25

Slide 25 text

Copyright © 2021, Oracle and/or its affiliates 25 RAPID Analytics Processing In DRAM (メモリ上での高速分析処理)

Slide 26

Slide 26 text

Copyright © 2021, Oracle and/or its affiliates 26 Oracle Labsで長年研究していた技術 https://labs.oracle.com/pls/apex/f?p=94065:12:2257546553334:14

Slide 27

Slide 27 text

Copyright © 2021, Oracle and/or its affiliates 27 RAPIDでは

Slide 28

Slide 28 text

Copyright © 2021, Oracle and/or its affiliates 28 最大限並列処理できる アーキテクチャーになっている

Slide 29

Slide 29 text

Copyright © 2021, Oracle and/or its affiliates 29 例えば、、、

Slide 30

Slide 30 text

Copyright © 2021, Oracle and/or its affiliates 30 列指向でデータを持つ時に、 マルチコアで並列処理できるように チャンク分割

Slide 31

Slide 31 text

Copyright © 2021, Oracle and/or its affiliates 31 column 1 column 2 column 3 column N partition 1 partition P . . . . . . Chunk M Chunk 1 . . . vector 1 vector 2 vector 3 vector N tile 1 tile K RAPID Column-store ノード数追加に よる性能拡張性 チャンク分割に よりマルチコア 環境で性能向上 チャンク単位で 複数レコードを 1度に処理

Slide 32

Slide 32 text

Copyright © 2021, Oracle and/or its affiliates 32 CPU Core CPU Core CPU Core Chunk n Results チャンク単位で処理した結果を集約

Slide 33

Slide 33 text

Copyright © 2021, Oracle and/or its affiliates 33 待ち時間を最小限にする最適化

Slide 34

Slide 34 text

Copyright © 2021, Oracle and/or its affiliates 34 ※次の資料はHeatWave開発中に 作成された資料なので、 秒数の絶対値は気にせずに見て下さい (2018年秋頃の資料)

Slide 35

Slide 35 text

Copyright © 2021, Oracle and/or its affiliates 35 ネットワーク通信による待ちが発生

Slide 36

Slide 36 text

Copyright © 2021, Oracle and/or its affiliates 36 待ちが発生しないようにタスクを最適化

Slide 37

Slide 37 text

Copyright © 2021, Oracle and/or its affiliates 37 オラクルクラウドの ハードウェアに合わせた最適化

Slide 38

Slide 38 text

Copyright © 2021, Oracle and/or its affiliates 38 例:JOIN処理

Slide 39

Slide 39 text

Copyright © 2021, Oracle and/or its affiliates 39 Each CPU core executes a join kernel between small R and S partitions Hash tables are typically compact and fits into lower level CPU caches k S h1 (key) . . . 1 p . . . . . . R h1 (key) 1 p k . . . ① Partition ① Partition ② Build ③ Probe h2 (k) join kernel このデータが通常はCPUの下位のキャッシュに収まるサイズ

Slide 40

Slide 40 text

Copyright © 2021, Oracle and/or its affiliates 40 などなど、

Slide 41

Slide 41 text

Copyright © 2021, Oracle and/or its affiliates 41 HeatWaveでは

Slide 42

Slide 42 text

Copyright © 2021, Oracle and/or its affiliates 42 ハードウェアリソースを 最大限活用して超並列処理できる アーキテクチャーになっています

Slide 43

Slide 43 text

Copyright © 2021, Oracle and/or its affiliates 43 今日の話を聞いて HeatWaveに興味を持って頂けた方へ

Slide 44

Slide 44 text

HeatWave、オラクルクラウドのチュートリアルがあります!! Copyright © 2021, Oracle and/or its affiliates 44 オラクルクラウドのチュートリアルページにMySQL Database Service、HeatWaveのチュートリアルも掲載されています! 画面キャプチャー付きで詳細に手順を解説しています! 入門編 - Oracle Cloud Infrastructure を使ってみよう https://oracle-japan.github.io/ocitutorials/beginners/ チュートリアル : Oracle Cloud Infrastructure を使ってみよう https://oracle-japan.github.io/ocitutorials/

Slide 45

Slide 45 text

Copyright © 2021, Oracle and/or its affiliates 45 今月ハンズオンセミナーを 開催します!!

Slide 46

Slide 46 text

• ハンズオン1:HeatWaveを活用した驚異的なパフォーマンスを持つ分析基盤構築 • 開催日:2021年10月15日(金) 15:00 – 17:00 • ハンズオン2:オンプレミスのMySQLからOracle Cloud Infrastructure上の MySQL Database Serviceへのレプリケーションによるデータ連携 • 開催日:2021年10月20日(水) 15:00 – 17:00 • ハンズオン3:Oracle Analytics CloudとMySQL HeatWaveによるデータ分析 • 開催日:2021年10月27日(水) | 15:00 – 17:00 • セミナー詳細、申し込み:https://go.oracle.com/LP=116603 • 参加費は無料 HeatWaveハンズオンセミナー Copyright © 2021, Oracle and/or its affiliates 46

Slide 47

Slide 47 text

Copyright © 2021, Oracle and/or its affiliates 47 HeatWaveの速さを 是非体感してください!!

Slide 48

Slide 48 text

48 Copyright © 2021, Oracle and/or its affiliates. ご清聴ありがとう ございました!!