Save 37% off PRO during our Black Friday Sale! »

革新的な新しいウルトラ・ハイ・パフォーマンス並列処理クエリーエンジン、HeatWaveの仕組み / How HeatWave works

革新的な新しいウルトラ・ハイ・パフォーマンス並列処理クエリーエンジン、HeatWaveの仕組み / How HeatWave works

2021年10月8日に開催された、Cloud Native Database Meetup #2 でのLT資料です。
https://cndata.connpass.com/event/222535/

革新的な新しいウルトラ・ハイ・パフォーマンス並列処理クエリーエンジンである、HeatWaveの仕組みについて紹介しています。

7fb060398b26ed622d34921bd64e4f5d?s=128

YoshiakiYamasaki

October 08, 2021
Tweet

Transcript

  1. 革新的な新しいウルトラ・ハイ・パフォーマンス 並列処理クエリーエンジン、HeatWaveの仕組み Cloud Native Database Meetup #2 LT 2021年10月8日 MySQL

    Global Business Unit 山﨑 由章 / Yoshiaki Yamasaki
  2. Copyright © 2021, Oracle and/or its affiliates 2 タイトルの元ネタ

  3. Copyright © 2021, Oracle and/or its affiliates 3 FY21の年間の決算報告での Larry

    Ellisonの発言より ※FY:Financial Year (会計年度)
  4. Copyright © 2021, Oracle and/or its affiliates 4 "The world's

    two most popular databases are the Oracle Autonomous Database and Oracle MySQL," said Oracle Chairman and CTO, Larry Ellison. "The Oracle Database once again delivered solid revenue growth in FY21. And while our Oracle Database business as measured by revenue currently dwarfs our MySQL database business— that is about to change because the latest version of Oracle MySQL has been upgraded to include a revolutionary new ultra-high- performance parallel processing query engine called HeatWave.” 出典:https://investor.oracle.com/investor-news/news-details/2021/Oracle-Announces-Fiscal-2021-Fourth-Quarter-and-Fiscal-Full-Year-Financial-Results/default.aspx
  5. Copyright © 2021, Oracle and/or its affiliates 5 "a revolutionary

    new ultra-high-performance parallel processing query engine called HeatWave.” 出典:https://investor.oracle.com/investor-news/news-details/2021/Oracle-Announces-Fiscal-2021-Fourth-Quarter-and-Fiscal-Full-Year-Financial-Results/default.aspx
  6. Copyright © 2021, Oracle and/or its affiliates 6 革新的な新しい ウルトラ・ハイ・パフォーマンス

    並列処理クエリーエンジン
  7. Copyright © 2021, Oracle and/or its affiliates 7 HeatWave

  8. Copyright © 2021, Oracle and/or its affiliates 8 HeatWaveとは?

  9. Copyright © 2021, Oracle and/or its affiliates 9 MySQL Database

    Service 専用の クエリーアクセラレーター
  10. Copyright © 2021, Oracle and/or its affiliates 10 MySQL Database

    Serviceとは?
  11. Copyright © 2021, Oracle and/or its affiliates 11 オラクルクラウド上で提供している MySQLのマネージドサービス

  12. Copyright © 2021, Oracle and/or its affiliates 12 HeatWaveの仕組み

  13. Copyright © 2021, Oracle and/or its affiliates 13 MySQL Database

    Serviceの バックエンドで動作する
  14. Copyright © 2021, Oracle and/or its affiliates 14 HeatWaveノード ×

    2台~64台 HeatWave専用の MySQL Database Service オラクルクラウド上の サーバー (クライアント) HeatWave バックグラウンド通信 ユーザーによるアクセス
  15. Copyright © 2021, Oracle and/or its affiliates 15 ユーザーはMySQLに接続して SQLを実行するだけで、

    自動的に高速化される
  16. Copyright © 2021, Oracle and/or its affiliates 16 更新処理を実行した場合は、 HeatWaveノード上のデータも

    自動的に更新される
  17. Copyright © 2021, Oracle and/or its affiliates 17 HeatWaveノードでの データの持ち方

  18. Copyright © 2021, Oracle and/or its affiliates 18 列指向

  19. Copyright © 2021, Oracle and/or its affiliates 19 インメモリ

  20. Copyright © 2021, Oracle and/or its affiliates 20 複数ノードに分散配置 (最低ノード数2台、最大64台)

  21. Copyright © 2021, Oracle and/or its affiliates 21 HeatWaveノードでの処理

  22. Copyright © 2021, Oracle and/or its affiliates 22 超並列処理

  23. Copyright © 2021, Oracle and/or its affiliates 23 ベースになっている技術

  24. Copyright © 2021, Oracle and/or its affiliates 24 RAPID

  25. Copyright © 2021, Oracle and/or its affiliates 25 RAPID Analytics

    Processing In DRAM (メモリ上での高速分析処理)
  26. Copyright © 2021, Oracle and/or its affiliates 26 Oracle Labsで長年研究していた技術

    https://labs.oracle.com/pls/apex/f?p=94065:12:2257546553334:14
  27. Copyright © 2021, Oracle and/or its affiliates 27 RAPIDでは

  28. Copyright © 2021, Oracle and/or its affiliates 28 最大限並列処理できる アーキテクチャーになっている

  29. Copyright © 2021, Oracle and/or its affiliates 29 例えば、、、

  30. Copyright © 2021, Oracle and/or its affiliates 30 列指向でデータを持つ時に、 マルチコアで並列処理できるように

    チャンク分割
  31. Copyright © 2021, Oracle and/or its affiliates 31 column 1

    column 2 column 3 column N partition 1 partition P . . . . . . Chunk M Chunk 1 . . . vector 1 vector 2 vector 3 vector N tile 1 tile K RAPID Column-store ノード数追加に よる性能拡張性 チャンク分割に よりマルチコア 環境で性能向上 チャンク単位で 複数レコードを 1度に処理
  32. Copyright © 2021, Oracle and/or its affiliates 32 CPU Core

    CPU Core CPU Core Chunk n Results チャンク単位で処理した結果を集約
  33. Copyright © 2021, Oracle and/or its affiliates 33 待ち時間を最小限にする最適化

  34. Copyright © 2021, Oracle and/or its affiliates 34 ※次の資料はHeatWave開発中に 作成された資料なので、

    秒数の絶対値は気にせずに見て下さい (2018年秋頃の資料)
  35. Copyright © 2021, Oracle and/or its affiliates 35 ネットワーク通信による待ちが発生

  36. Copyright © 2021, Oracle and/or its affiliates 36 待ちが発生しないようにタスクを最適化

  37. Copyright © 2021, Oracle and/or its affiliates 37 オラクルクラウドの ハードウェアに合わせた最適化

  38. Copyright © 2021, Oracle and/or its affiliates 38 例:JOIN処理

  39. Copyright © 2021, Oracle and/or its affiliates 39 Each CPU

    core executes a join kernel between small R and S partitions Hash tables are typically compact and fits into lower level CPU caches k S h1 (key) . . . 1 p . . . . . . R h1 (key) 1 p k . . . ① Partition ① Partition ② Build ③ Probe h2 (k) join kernel このデータが通常はCPUの下位のキャッシュに収まるサイズ
  40. Copyright © 2021, Oracle and/or its affiliates 40 などなど、

  41. Copyright © 2021, Oracle and/or its affiliates 41 HeatWaveでは

  42. Copyright © 2021, Oracle and/or its affiliates 42 ハードウェアリソースを 最大限活用して超並列処理できる

    アーキテクチャーになっています
  43. Copyright © 2021, Oracle and/or its affiliates 43 今日の話を聞いて HeatWaveに興味を持って頂けた方へ

  44. HeatWave、オラクルクラウドのチュートリアルがあります!! Copyright © 2021, Oracle and/or its affiliates 44 オラクルクラウドのチュートリアルページにMySQL

    Database Service、HeatWaveのチュートリアルも掲載されています! 画面キャプチャー付きで詳細に手順を解説しています! 入門編 - Oracle Cloud Infrastructure を使ってみよう https://oracle-japan.github.io/ocitutorials/beginners/ チュートリアル : Oracle Cloud Infrastructure を使ってみよう https://oracle-japan.github.io/ocitutorials/
  45. Copyright © 2021, Oracle and/or its affiliates 45 今月ハンズオンセミナーを 開催します!!

  46. • ハンズオン1:HeatWaveを活用した驚異的なパフォーマンスを持つ分析基盤構築 • 開催日:2021年10月15日(金) 15:00 – 17:00 • ハンズオン2:オンプレミスのMySQLからOracle Cloud

    Infrastructure上の MySQL Database Serviceへのレプリケーションによるデータ連携 • 開催日:2021年10月20日(水) 15:00 – 17:00 • ハンズオン3:Oracle Analytics CloudとMySQL HeatWaveによるデータ分析 • 開催日:2021年10月27日(水) | 15:00 – 17:00 • セミナー詳細、申し込み:https://go.oracle.com/LP=116603 • 参加費は無料 HeatWaveハンズオンセミナー Copyright © 2021, Oracle and/or its affiliates 46
  47. Copyright © 2021, Oracle and/or its affiliates 47 HeatWaveの速さを 是非体感してください!!

  48. 48 Copyright © 2021, Oracle and/or its affiliates. ご清聴ありがとう ございました!!