Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Microsoft Build 2023 で発表された Cosmos DB の注目アップデート / Microsoft Build 2023 Cosmos DB update

miyake
June 01, 2023

Microsoft Build 2023 で発表された Cosmos DB の注目アップデート / Microsoft Build 2023 Cosmos DB update

Microsoft Startup Tech Meetup #0 kick off で発表させていただいた「Build 2023 で発表された Cosmos DB の注目アップデート」のスライドです。

miyake

June 01, 2023
Tweet

More Decks by miyake

Other Decks in Technology

Transcript

  1. Microsoft Build 2023 で発表された
    Cosmos DB 注目アップデート

    View Slide

  2. About Me
    三宅 和之 @kazuyukimiyake
    • 株式会社ゼンアーキテクツ 代表
    • Microsoft MVP(for Microsoft Azure)
    • 専門分野: Azure アーキテクチャ設計
    • Vue.js 日本ユーザーグループ コアスタッフ
    • Blog: https://k-miyake.github.io/blog/

    View Slide

  3. Microsoft Build 2023 に現地参戦しました

    View Slide

  4. Azure Cosmos DB の概要
    保証された速度と
    10ms 以下の
    レイテンシ
    99.999%の
    可用性を実現可能
    即時スケール可能
    なフルマネージド
    DBaaS
    “無限”のスケーラビリティ、低レイテンシ、ファイブナインの可用性を提供するマネージド DBaaS として、一般的な
    NoSQL データベースを”すべて”サポートし、財務的な裏付けのあるSLAを提供。
    Guaranteed <10 ms
    latency backed by SLA.
    Automatic scaling with
    instant limitless elasticity.
    Auto-sharding, auto-
    scaling and auto-
    indexing for blazing fast
    queries and low TCO
    Guaranteed 99.999%
    availability, zero RPO &
    RTO, backed by SLA and
    enterprise-level security.
    主要な NoSQL
    DBをサポート
    Native and open API
    support for MongoDB,
    Cassandra, Gremlin,
    PostgreSQL data and
    models
    NoSQL
    Azure の各サービス
    と統合が可能
    Azure Functions,
    Azure Synapse Link
    (HTAP) etc.
    MongoDB

    View Slide

  5. Cosmos DB は ChatGPT を支えるデータストア

    View Slide

  6. Build 2023 では 大量の Cosmos DB アップデートが!
     Burst capacity (GA)
     Hierarchical partition keys (GA)
     Materialized views for Azure Cosmos DB for NoSQL (preview)
     Vector Search in Azure Cosmos DB for MongoDB vCore (preview)
     Azure Cosmos DB all versions and deletes change feed mode (preview)
     TTL on absolute path (API for MongoDB)
     Computed properties (preview)
     .NET and Java SDKs OpenTelemetry and Application Insights integration (preview)
     KQL Transformation support in Log Analytics (GA)
     In account restore (preview)
     Continuous 7 days backup (GA)
     Serverless 1 TB container available as default (GA)
     Synapse Link Time-Travel for NoSQL and MongoDB APIs

    View Slide

  7. Cosmos DB がベクトル検索をサポート!
    • Mongo DB vCore モデルで Public Preview
    • 公式ドキュメント:
    • https://learn.microsoft.com/ja-jp/azure/cosmos-db/mongodb/vcore/vector-search
    • サンプルコード
    • https://github.com/AzureCosmosDB/VectorSearchAiAssistant/tree/MongovCore
    • ベクトル検索の仕様
    • 距離メトリック: L2、内積,、コサイン
    • インデックス: IVFFLAT
    • 最大 2,000 次元

    View Slide

  8. RAG(retrieval augmented generation) としてのベクトル検索
    Copilot Stack では Data grounding の実現手段のひとつ

    View Slide

  9. (参考) Azure のベクトル検索対応データストア
     [NEW] Azure Cosmos DB (Mongo DB vCore)
     [NEW] Azure Cognitive Search
     https://github.com/Azure/cognitive-search-vector-pr
     Azure Cache for Redis Enterprise
     https://techcommunity.microsoft.com/t5/azure-developer-community-blog/vector-similarity-search-with-
    azure-cache-for-redis-enterprise/ba-p/3822059
     Azure Data Explorer
     https://techcommunity.microsoft.com/t5/azure-data-explorer-blog/azure-data-explorer-for-vector-
    similarity-search/ba-p/3819626

    View Slide

  10. View Slide

  11. Cosmos DB ベクトル検索の利用イメージ
    質問の入力
    質問をベクトルに変換
    回答の生成
    ベクトル検索の実行
    ベクトルデータの登録 ベクトルを使った検索

    View Slide

  12. (参考) Cosmos DB のメリットを最大限に生かすには?
    • スループット(キャパシティ)の最適化
    • トラフィックに合わせた RU やスケーリング関連オプションの設定
    • パーティション分割
    • 適切なパーティションキー選択
    • ドキュメントモデリング
    • NoSQL でもデータモデリングは必要
    水平スケールによる
    無限のスループットとストレージ

    View Slide

  13. Burst capacity が GA
     未使用の RU をトラフィック急増時に充当できる (上限あり)
     設定追加のみで利用可能(既存のアカウントでも利用可能)

    View Slide

  14. Hierarchical partition keys が GA
    • パーティションを3段階まで階層化することが可能に
    • マルチテナント等のシナリオに最適

    View Slide

  15. Change Feed (all versions and deletes サポート)
     全ての変更と削除にも対応
     完全なイベントソーシングが実現できる
     Azure Functions Cosmos DB Trigger では未サポート(期待したい)
    Event Store
    Cosmos DB - Change Feed
    Event Processor
    Azure Functions
    Cosmos DB Trigger
    Materialized View
    Query
    Command

    View Slide

  16. Microsoft Build 2023 でのアップデート参考情報
    Cosmos DB チームの Blog
     Announced at MS Build 2023
     https://devblogs.microsoft.com/cosmosdb/announced-at-ms-
    build-2023-burst-capacity-materialized-views-vector-search-
    and-more/
    しばやん雑記 ( ZEN の Distinguished Engineer )
     Build 2023 で発表された Azure Cosmos DB のアップ
    デート
     https://blog.shibayan.jp/entry/20230531/1685497408

    View Slide

  17. Startup 事例: Azure Cosmos DB を起点にビジネスをスケール
    Customer: AGRIST 株式会社様
    Machine Learning
    Storage
    (ADLS Gen2)
    Synapse Analytics
    Power BI
    Embedded
    Storage
    (Blob)
    IoT Hub Functions
    Functions
    (Timer Trigger)
    API Management
    Web Apps
    Or
    Static Web Apps
    Azure AD
    (M365)
    RDBMS
    Cosmos DB
    Cosmos DB
    RDBMS
    Azure AD B2C + LINE Login
    Message
    (JSON)
    データ整形など
    データの蓄積
    (CSV,JSON..)
    AIでデータ活用
    画像保存
    収穫量
    データを
    集計
    会計データなど
    マスタ
    AAD による
    統合認証
    Data Lake
    開発者向け
    データ
    サイエンティスト
    向け
    データ活用
    データサイエンティスト
    バックオフィス
    エンドユーザー

    View Slide

  18. アドバイザリプラットフォーム
    Azure Light-up
    超短期間ワークショップ
    エキスパートに直接聞けるオンラインアドバイザリーサービス 2日~3日で Azure でコアアーキテクチャを構築するワークショップ
    サンプルコード提供
    運用監視サポート
    チューニング支援 MVP構築
    アーキテクチャ設計 DevOps 導入
    ゼンアーキテクツの Azure 技術支援プログラム
    もちろん Cosmos DB もサポート対象です
    https://zenarchitects.co.jp/

    View Slide

  19. Cosmos DB ウェビナーのご案内
    Azure Cosmos DB を活用したクラウドネイティブアプリケーションの開発
    ベストプラクティス
     2023年6月5日 12:00-13:00
     登録はこちら

    View Slide

  20. ご清聴ありがとうございました

    View Slide