革新的な新しいウルトラ・ハイ・パフォーマンス並列処理クエリーエンジン、HeatWaveの仕組み / How HeatWave works

2021年10月8日に開催された、Cloud Native Database Meetup #2 でのLT資料です。
https://cndata.connpass.com/event/222535/

革新的な新しいウルトラ・ハイ・パフォーマンス並列処理クエリーエンジンである、HeatWaveの仕組みについて紹介しています。

Transcript

1. 革新的な新しいウルトラ・ハイ・パフォーマンス
   並列処理クエリーエンジン、HeatWaveの仕組み
   Cloud Native Database Meetup #2 LT
   2021年10月8日
   MySQL Global Business Unit
   山﨑 由章 / Yoshiaki Yamasaki
   

   View Slide

2. Copyright © 2021, Oracle and/or its affiliates
   2
   タイトルの元ネタ
   

   View Slide

3. Copyright © 2021, Oracle and/or its affiliates
   3
   FY21の年間の決算報告での
   Larry Ellisonの発言より
   ※FY：Financial Year (会計年度)
   

   View Slide

4. Copyright © 2021, Oracle and/or its affiliates
   4
   "The world's two most popular databases are the Oracle Autonomous
   Database and Oracle MySQL," said Oracle Chairman and CTO, Larry
   Ellison. "The Oracle Database once again delivered solid revenue
   growth in FY21. And while our Oracle Database business as measured
   by revenue currently dwarfs our MySQL database business—
   that is about to change because the latest version of Oracle MySQL
   has been upgraded to include a revolutionary new ultra-high-
   performance parallel processing query engine called HeatWave.”
   出典：https://investor.oracle.com/investor-news/news-details/2021/Oracle-Announces-Fiscal-2021-Fourth-Quarter-and-Fiscal-Full-Year-Financial-Results/default.aspx
   

   View Slide

5. Copyright © 2021, Oracle and/or its affiliates
   5
   "a revolutionary new ultra-high-performance
   parallel processing query engine called
   HeatWave.”
   出典：https://investor.oracle.com/investor-news/news-details/2021/Oracle-Announces-Fiscal-2021-Fourth-Quarter-and-Fiscal-Full-Year-Financial-Results/default.aspx
   

   View Slide

6. Copyright © 2021, Oracle and/or its affiliates
   6
   革新的な新しい
   ウルトラ・ハイ・パフォーマンス
   並列処理クエリーエンジン
   

   View Slide

7. Copyright © 2021, Oracle and/or its affiliates
   7
   HeatWave
   

   View Slide

8. Copyright © 2021, Oracle and/or its affiliates
   8
   HeatWaveとは？
   

   View Slide

9. Copyright © 2021, Oracle and/or its affiliates
   9
   MySQL Database Service 専用の
   クエリーアクセラレーター
   

   View Slide

10. Copyright © 2021, Oracle and/or its affiliates
    10
    MySQL Database Serviceとは？
    

    View Slide

11. Copyright © 2021, Oracle and/or its affiliates
    11
    オラクルクラウド上で提供している
    MySQLのマネージドサービス
    

    View Slide

12. Copyright © 2021, Oracle and/or its affiliates
    12
    HeatWaveの仕組み
    

    View Slide

13. Copyright © 2021, Oracle and/or its affiliates
    13
    MySQL Database Serviceの
    バックエンドで動作する
    

    View Slide

14. Copyright © 2021, Oracle and/or its affiliates
    14
    HeatWaveノード × 2台～64台
    HeatWave専用の
    MySQL Database Service
    オラクルクラウド上の
    サーバー
    (クライアント)
    HeatWave
    バックグラウンド通信
    ユーザーによるアクセス
    

    View Slide

15. Copyright © 2021, Oracle and/or its affiliates
    15
    ユーザーはMySQLに接続して
    SQLを実行するだけで、
    自動的に高速化される
    

    View Slide

16. Copyright © 2021, Oracle and/or its affiliates
    16
    更新処理を実行した場合は、
    HeatWaveノード上のデータも
    自動的に更新される
    

    View Slide

17. Copyright © 2021, Oracle and/or its affiliates
    17
    HeatWaveノードでの
    データの持ち方
    

    View Slide

18. Copyright © 2021, Oracle and/or its affiliates
    18
    列指向
    

    View Slide

19. Copyright © 2021, Oracle and/or its affiliates
    19
    インメモリ
    

    View Slide

20. Copyright © 2021, Oracle and/or its affiliates
    20
    複数ノードに分散配置
    (最低ノード数2台、最大64台)
    

    View Slide

21. Copyright © 2021, Oracle and/or its affiliates
    21
    HeatWaveノードでの処理
    

    View Slide

22. Copyright © 2021, Oracle and/or its affiliates
    22
    超並列処理
    

    View Slide

23. Copyright © 2021, Oracle and/or its affiliates
    23
    ベースになっている技術
    

    View Slide

24. Copyright © 2021, Oracle and/or its affiliates
    24
    RAPID
    

    View Slide

25. Copyright © 2021, Oracle and/or its affiliates
    25
    RAPID Analytics Processing In DRAM
    (メモリ上での高速分析処理)
    

    View Slide

26. Copyright © 2021, Oracle and/or its affiliates
    26
    Oracle Labsで長年研究していた技術
    https://labs.oracle.com/pls/apex/f?p=94065:12:2257546553334:14
    

    View Slide

27. Copyright © 2021, Oracle and/or its affiliates
    27
    RAPIDでは
    

    View Slide

28. Copyright © 2021, Oracle and/or its affiliates
    28
    最大限並列処理できる
    アーキテクチャーになっている
    

    View Slide

29. Copyright © 2021, Oracle and/or its affiliates
    29
    例えば、、、
    

    View Slide

30. Copyright © 2021, Oracle and/or its affiliates
    30
    列指向でデータを持つ時に、
    マルチコアで並列処理できるように
    チャンク分割
    

    View Slide

31. Copyright © 2021, Oracle and/or its affiliates
    31
    column 1
    column 2
    column 3
    column N
    partition 1
    partition P
    . . .
    . . .
    Chunk M
    Chunk 1
    . . .
    vector 1
    vector 2
    vector 3
    vector N
    tile 1
    tile K
    RAPID
    Column-store
    ノード数追加に
    よる性能拡張性
    チャンク分割に
    よりマルチコア
    環境で性能向上
    チャンク単位で
    複数レコードを
    1度に処理
    

    View Slide

32. Copyright © 2021, Oracle and/or its affiliates
    32
    CPU
    Core
    CPU
    Core
    CPU
    Core
    Chunk
    n
    Results
    チャンク単位で処理した結果を集約
    

    View Slide

33. Copyright © 2021, Oracle and/or its affiliates
    33
    待ち時間を最小限にする最適化
    

    View Slide

34. Copyright © 2021, Oracle and/or its affiliates
    34
    ※次の資料はHeatWave開発中に
    作成された資料なので、
    秒数の絶対値は気にせずに見て下さい
    (2018年秋頃の資料)
    

    View Slide

35. Copyright © 2021, Oracle and/or its affiliates
    35
    ネットワーク通信による待ちが発生
    

    View Slide

36. Copyright © 2021, Oracle and/or its affiliates
    36
    待ちが発生しないようにタスクを最適化
    

    View Slide

37. Copyright © 2021, Oracle and/or its affiliates
    37
    オラクルクラウドの
    ハードウェアに合わせた最適化
    

    View Slide

38. Copyright © 2021, Oracle and/or its affiliates
    38
    例：JOIN処理
    

    View Slide

39. Copyright © 2021, Oracle and/or its affiliates
    39
    Each CPU core executes a join kernel between small R and S partitions
    Hash tables are typically compact and fits into lower level CPU caches
    k
    S
    h1
    (key)
    .
    .
    .
    1
    p
    .
    .
    .
    .
    .
    .
    R
    h1
    (key)
    1
    p
    k
    .
    .
    .
    ① Partition ① Partition
    ② Build ③ Probe
    h2
    (k)
    join kernel
    このデータが通常はCPUの下位のキャッシュに収まるサイズ
    

    View Slide

40. Copyright © 2021, Oracle and/or its affiliates
    40
    などなど、
    

    View Slide

41. Copyright © 2021, Oracle and/or its affiliates
    41
    HeatWaveでは
    

    View Slide

42. Copyright © 2021, Oracle and/or its affiliates
    42
    ハードウェアリソースを
    最大限活用して超並列処理できる
    アーキテクチャーになっています
    

    View Slide

43. Copyright © 2021, Oracle and/or its affiliates
    43
    今日の話を聞いて
    HeatWaveに興味を持って頂けた方へ
    

    View Slide

44. HeatWave、オラクルクラウドのチュートリアルがあります！！
    Copyright © 2021, Oracle and/or its affiliates
    44
    オラクルクラウドのチュートリアルページにMySQL Database Service、HeatWaveのチュートリアルも掲載されています！
    画面キャプチャー付きで詳細に手順を解説しています！
    入門編 - Oracle Cloud Infrastructure を使ってみよう
    https://oracle-japan.github.io/ocitutorials/beginners/
    チュートリアル : Oracle Cloud Infrastructure を使ってみよう
    https://oracle-japan.github.io/ocitutorials/
    

    View Slide

45. Copyright © 2021, Oracle and/or its affiliates
    45
    今月ハンズオンセミナーを
    開催します！！
    

    View Slide

46. • ハンズオン1：HeatWaveを活用した驚異的なパフォーマンスを持つ分析基盤構築
    • 開催日：2021年10月15日(金) 15:00 – 17:00
    • ハンズオン2：オンプレミスのMySQLからOracle Cloud Infrastructure上の
    MySQL Database Serviceへのレプリケーションによるデータ連携
    • 開催日：2021年10月20日(水) 15:00 – 17:00
    • ハンズオン3：Oracle Analytics CloudとMySQL HeatWaveによるデータ分析
    • 開催日：2021年10月27日(水) | 15:00 – 17:00
    • セミナー詳細、申し込み：https://go.oracle.com/LP=116603
    • 参加費は無料
    HeatWaveハンズオンセミナー
    Copyright © 2021, Oracle and/or its affiliates
    46
    

    View Slide

47. Copyright © 2021, Oracle and/or its affiliates
    47
    HeatWaveの速さを
    是非体感してください！！
    

    View Slide

48. 48 Copyright © 2021, Oracle and/or its affiliates.
    ご清聴ありがとう
    ございました！！
    

    View Slide