オラクルクラウド上のMySQLマネージドサービスを使ってみよう！ / OCI MySQL 202310

2023年10月28日(土)に開催された「Open Source Conference 2023 Shimane」でのLT資料です。
https://event.ospn.jp/osc2023-shimane/

オラクルクラウド上で提供しているMySQLのマネージドサービスについて紹介しています。

Transcript

1. オラクルクラウド上のMySQLマネージドサービスを 使ってみよう︕ Open Source Conference 2023 Shimane MySQL Master Principal Solution Engineer / MySQL Cloud Evangelist MySQL Global Business Unit ⽇本オラクル株式会社 2023年10⽉28⽇ ⼭﨑 由章 / Yoshiaki YAMASAKI
2. • 名前︓⼭﨑 由章（やまさき よしあき） • 所属︓⽇本オラクル株式会社 MySQL Community Team / MySQL Global Business Unit • 役割︓MySQLのプリセールス、MySQL 及び MySQL HeatWave Database Service の 普及促進活動、など • Twitter ID︓@yyamasaki1 • 出⾝地︓明⽯市 • 趣味︓美味しいものを⾷べること、 ⾊々な所に⾏くこと、ボードゲーム、など ⾃⼰紹介 Copyright © 2023, Oracle and/or its affiliates 2
3. Copyright © 2023, Oracle and/or its affiliates. 3 MySQLをオラクル社が 開発・管理している ことを知っている⽅︖
4. Copyright © 2023, Oracle and/or its affiliates. 4 オラクルクラウドを知っている⽅︖
5. Copyright © 2023, Oracle and/or its affiliates. 5 オラクルクラウド上で MySQLのマネージドサービスを 提供していることを知っている⽅︖
6. Oracle MySQL Database Service (MDS) の特徴 Copyright © 2023, Oracle and/or its affiliates 6 MySQL開発ベンダーであるオラクル社からのサポートも受けられる ⾼性能かつコストパフォーマンスも⾼いフルマネージドデータベース︕︕ MDSでは⾼パフォーマンスなブロック・ボリュームを標準採⽤ (ブロック・ボリュームのIOPS︓75 IOPS/GB) ⾼性能 同等スペック(CPU、Memory)で⽐較すると、 他社製のMySQLマネージドサービスの1/2〜1/3程度 低価格 オラクルのMySQLチームが100%開発、運⽤、サポート MySQL部分についてもコアなサポートを受けられる MySQL開発 ベンダーが提供
7. Copyright © 2023, Oracle and/or its affiliates. 7 更に、MySQLを拡張した MySQL HeatWave Database Service というものも提供しています︕︕
8. Copyright © 2023, Oracle and/or its affiliates 8 MySQL HeatWave Database Service MySQLだけでトランザクション処理、データ分析、機械学習、データレイクを実現 Transactions Analytics Machine Leaning Lakehouse
9. Copyright © 2023, Oracle and/or its affiliates. 9 Analytics
10. • MDS にインメモリー分散並列処理エンジンである HeatWave がクエリーアクセラレーターとして統合されたもの • HeatWaveの制限事項に該当しないクエリーはHeatWaveで⾼速に処理可能 MySQL HeatWave Database Service とは︖ Copyright © 2023, Oracle and/or its affiliates 10 => MySQLの⾼速化だけでなく、性能が良くてコストパフォーマンスが⾼いMySQLベースの DWHサービスとしても利⽤可能 ※現時点ではHeatWaveの制限事項がOLTPワークロードの場合に課題となるケースも多いが、今後制限事項を解消していき、 将来的にはOLTPワークロードのクエリーアクセラレーターとしても利⽤できるように機能拡張していく予定
11. Copyright © 2023, Oracle and/or its affiliates 11 • MySQL HeatWaveを使⽤する時は、ユーザーはMySQLに接続してSQLを実⾏する • 使い勝⼿はMySQLそのもの • ユーザーはHeatWaveノードへは直接アクセスしない • MySQL HeatWaveを使う時は、事前にHeatWaveノードにデータをロードしておく • その後、MySQL上でデータを更新した場合は、HeatWaveノード上のデータも⾃動的に更新される MySQL HeatWave Database Service の使い⽅ HeatWaveノード × 1台～64台 HeatWave専用の MySQL Database Service オラクルクラウド上の サーバー (クライアント) MySQL HeatWave Database Service バックグラウンド通信 ユーザーによるアクセス
12. Copyright © 2023, Oracle and/or its affiliates. 12 • MySQLに対してSQLを実⾏するだけで⾃動的に⾼速化される (HeatWaveの制限事項に該当する場合は、フロントにあるMDSで処理される) • データの更新はフロントにあるMDSで処理され、更新データは随時HeatWaveノードに反映される MySQL HeatWave Database Service のアーキテクチャ MySQL Database Service 分析 クエリ 結果 セット MySQL コンパイラ & オプティマイザー 分析クエリ 最適化 Insert/ Update OLTPクエリ 最適化 リアルタイム 更新 InnoDB ストレージエンジン MySQL クエリ実⾏ HeatWave Node インメモリデータ管理 分析クエリ実⾏ 分析ジョブスケジューラ 結果 クエリ プッシュダウン 並列化 Object Storage リロード ※HeatWaveの制限事項 https://dev.mysql.com/doc/heatwave/en/heatwave-limitations.html
13. • インメモリデータベースである • カラムナーデータベース(列指向データベース)である • 複数ノードで分散処理できる • 最低ノード数は1台、最⼤ノード数は64台 • Oracle Labsで⻑年研究していたProject RAPIDの 成果を活⽤している https://labs.oracle.com/pls/apex/f?p=94065:12:103385944489261:14 • RAPID Analytics Processing In DRAM (メモリ上での⾼速分析処理) • RAPIDでは、ハードウェアリソースを最⼤限活⽤して、 超並列処理できるアーキテクチャーになっている HeatWave が⾼速に処理できる理由 Copyright © 2023, Oracle and/or its affiliates. 13
14. Copyright © 2023, Oracle and/or its affiliates. 14 Machine Learning
15. MySQL HeatWave AutoML Copyright © 2023, Oracle and/or its affiliates • 機械学習特有の複雑さを排除したIn Databaseの 機械学習機能 • 誰でも容易に扱える、⾃動化された機械学習の ワークフロー • 追加コスト不要(PaaSのみの課⾦) • Jupyter、Zeppelin notebooksとの統合による ⽣産性の向上 • 予測モデルの解釈を⽀援し、ブラックボックス化を排除 15 15
16. MySQL HeatWave AutoMLのインデータベース機械学習 完全に⾃動化され、モデルとデータはデータベース内で管理、追加コストなし 16 Copyright © 2023, Oracle and/or its affiliates モデル クエリプッシュダウン 学習データのロード テストデータのロード 予測、説明 mysqlsh, mysql client HW Node HW Node HW Node 学習 予測 説明 HeatWave Cluster モデルの管理 MySQL Database MySQL Workbench SQL
17. 機械学習の⼯程と各⼯程での課題 Copyright © 2023, Oracle and/or its affiliates 17 ⼤量のデータを 収集 結論を導く アルゴリズムを選択 パラーメーター を選択 統計的な演算を⾏ってモデルを 作成するためのアルゴリズムを 「トレーニング」 実際のデータに対して 推論を実⾏ データの移動と加⼯は⼿間 とコスト、時間がかかる⾯倒 な作業 正しいアルゴリズムと パラーメーターを選択できる か︖ 推論や予測の精度に⼤きな影響があるため 重要ではあるが、トレーニングに⾮常に ⻑い時間がかかる (※) ブラックボックス化、 なぜそのモデルがその 選択をしたのか分からない ⼯ 程 ※トレーニングは、推論に⽐べて⾮常に時間がかかる
18. 機械学習の⼯程と各⼯程での課題 Copyright © 2023, Oracle and/or its affiliates 18 ⼤量のデータを 収集 結論を導く アルゴリズムを選択 パラーメーター を選択 統計的な演算を⾏ってモデルを 作成するためのアルゴリズムを 「トレーニング」 実際のデータに対して 推論を実⾏ ⼯ 程 既にDBにあるデータを活⽤ AutoMLの活⽤ 圧倒的に⾼速な「トレーニング」 全てのモデルに対して 「説明」可能 機械学習の悩みをHeatWaveが解決
19. 分類、回帰に加えて、異常検知、時系列予測、リコメンダーシステムの構築に活⽤可能 HeatWave AutoMLで実現できるタスクと活⽤の例 Copyright © 2023, Oracle and/or its affiliates 19 回帰 時系列予測 異常検知 分類 リコメンダー(推奨)システム 広告費⽤のROI予測 需要予測 クレジットカードの 不正使⽤検知 悪意のある ゲームハッカーの特定 類似したユーザーの特定 債務不履⾏ の予想 フライト遅延の予測 降⾬予報 おすすめの動画 データベース データ オブジェクト・ストア データ Database エクスポート NEW
20. Copyright © 2023, Oracle and/or its affiliates. 20 これらを簡単に試せるチュートリアルが 公開されています︕︕ (Machine Learningのチュートリアルは今後追加予定)
21. OCIのチュートリアルページにMySQL Database Service、HeatWaveのチュートリアルも掲載されています︕(⼊⾨編︓その9、その10) 画⾯キャプチャー付きで詳細に⼿順を解説しています︕ MySQL Database Service & HeatWave のチュートリアル Copyright © 2023, Oracle and/or its affiliates 21 ⼊⾨編 - Oracle Cloud Infrastructure を使ってみよう https://oracle-japan.github.io/ocitutorials/beginners/ チュートリアル : Oracle Cloud Infrastructure を使ってみよう https://oracle-japan.github.io/ocitutorials/
22. Copyright © 2023, Oracle and/or its affiliates. 22 ぜひお試し下さい︕
23. Copyright © 2023, Oracle and/or its affiliates. 23 ちなみに、
24. Copyright © 2023, Oracle and/or its affiliates. 24 先⽉ラスベガスで開催された Oracle CloudWorld 2023で⽣成AIと ベクトルストア関連の発表がありました︕
25. ⽣成AIとMySQL HeatWaveベクトル・ストア MySQL HeatWave OLTP 分析 ⽣成AI Autopilot オブジェクト・ストア Database exports ベクトル・ストア • ユーザは⾃然⾔語でクエリ実⾏と情報収集が可能 • HeatWave Lakehouse による効率的な⽂書の検索 PRIVATE PREVIEW Copyright © 2023, Oracle and/or its affiliates 25
26. ベクトル・ストアがLLMにコンテキストを提供し、より関連性の⾼い結果を⽣成 Copyright © 2023, Oracle and/or its affiliates 26 検索 エージェント 内部⽂書等 LLM ベクトル・サーチ ⾔語 エンコーダー 類似性検索 拡張プロンプト ?
27. Copyright © 2023, Oracle and/or its affiliates. 27 そして、 HeatWaveのユーザー会もあります︕
28. HeatWavejp (MySQL HeatWave Japan User Group) は、 MySQL HeatWave Database Service の⽇本での普及と発展を ⽬的としたユーザーグループです。 ユーザー同⼠でノウハウやナレッジを共有できるコミュニティ活動を⾏っていきます。 MySQL HeatWave をより良く知り、学びあい、盛り上げていきましょう。 https://join.slack.com/t/heatwavejp/ shared_invite/zt-1n3vprmly- N3Si6Y7IuGVXx9KNTmjdZg @HeatWavejp https://twitter.com/Heatwavejp https://heatwavejp.connpass.com/ Copyright © 2023 HeatWavejp All Rights Reserved. ユーザーグループへの参加 イベント情報 & イベント参加 SNSフォロー & 情報収集
29. Copyright © 2023, Oracle and/or its affiliates. 29 もちろん、 ⽇本MySQLユーザ会もあります︕︕
30. Copyright © 2023, Oracle and/or its affiliates. 30 ご清聴ありがとうございました︕︕