Microsoft Build 2023 で発表された Cosmos DB の注目アップデート / Microsoft Build 2023 Cosmos DB update

Microsoft Startup Tech Meetup #0 kick off で発表させていただいた「Build 2023 で発表された Cosmos DB の注目アップデート」のスライドです。

Transcript

1. Microsoft Build 2023 で発表された
   Cosmos DB 注目アップデート
   

   View Slide

2. About Me
   三宅 和之 @kazuyukimiyake
   • 株式会社ゼンアーキテクツ 代表
   • Microsoft MVP（for Microsoft Azure）
   • 専門分野: Azure アーキテクチャ設計
   • Vue.js 日本ユーザーグループ コアスタッフ
   • Blog: https://k-miyake.github.io/blog/
   

   View Slide

3. Microsoft Build 2023 に現地参戦しました
   

   View Slide

4. Azure Cosmos DB の概要
   保証された速度と
   10ms 以下の
   レイテンシ
   99.999%の
   可用性を実現可能
   即時スケール可能
   なフルマネージド
   DBaaS
   “無限”のスケーラビリティ、低レイテンシ、ファイブナインの可用性を提供するマネージド DBaaS として、一般的な
   NoSQL データベースを”すべて”サポートし、財務的な裏付けのあるSLAを提供。
   Guaranteed <10 ms
   latency backed by SLA.
   Automatic scaling with
   instant limitless elasticity.
   Auto-sharding, auto-
   scaling and auto-
   indexing for blazing fast
   queries and low TCO
   Guaranteed 99.999%
   availability, zero RPO &
   RTO, backed by SLA and
   enterprise-level security.
   主要な NoSQL
   DBをサポート
   Native and open API
   support for MongoDB,
   Cassandra, Gremlin,
   PostgreSQL data and
   models
   NoSQL
   Azure の各サービス
   と統合が可能
   Azure Functions,
   Azure Synapse Link
   (HTAP) etc.
   MongoDB
   

   View Slide

5. Cosmos DB は ChatGPT を支えるデータストア
   

   View Slide

6. Build 2023 では 大量の Cosmos DB アップデートが！
    Burst capacity (GA)
    Hierarchical partition keys (GA)
    Materialized views for Azure Cosmos DB for NoSQL (preview)
    Vector Search in Azure Cosmos DB for MongoDB vCore (preview)
    Azure Cosmos DB all versions and deletes change feed mode (preview)
    TTL on absolute path (API for MongoDB)
    Computed properties (preview)
    .NET and Java SDKs OpenTelemetry and Application Insights integration (preview)
    KQL Transformation support in Log Analytics (GA)
    In account restore (preview)
    Continuous 7 days backup (GA)
    Serverless 1 TB container available as default (GA)
    Synapse Link Time-Travel for NoSQL and MongoDB APIs
   

   View Slide

7. Cosmos DB がベクトル検索をサポート！
   • Mongo DB vCore モデルで Public Preview
   • 公式ドキュメント:
   • https://learn.microsoft.com/ja-jp/azure/cosmos-db/mongodb/vcore/vector-search
   • サンプルコード
   • https://github.com/AzureCosmosDB/VectorSearchAiAssistant/tree/MongovCore
   • ベクトル検索の仕様
   • 距離メトリック: L2、内積,、コサイン
   • インデックス: IVFFLAT
   • 最大 2,000 次元
   

   View Slide

8. RAG（retrieval augmented generation） としてのベクトル検索
   Copilot Stack では Data grounding の実現手段のひとつ
   

   View Slide

9. （参考） Azure のベクトル検索対応データストア
    [NEW] Azure Cosmos DB (Mongo DB vCore)
    [NEW] Azure Cognitive Search
    https://github.com/Azure/cognitive-search-vector-pr
    Azure Cache for Redis Enterprise
    https://techcommunity.microsoft.com/t5/azure-developer-community-blog/vector-similarity-search-with-
   azure-cache-for-redis-enterprise/ba-p/3822059
    Azure Data Explorer
    https://techcommunity.microsoft.com/t5/azure-data-explorer-blog/azure-data-explorer-for-vector-
   similarity-search/ba-p/3819626
   

   View Slide

10. View Slide

11. Cosmos DB ベクトル検索の利用イメージ
    質問の入力
    質問をベクトルに変換
    回答の生成
    ベクトル検索の実行
    ベクトルデータの登録 ベクトルを使った検索
    

    View Slide

12. （参考） Cosmos DB のメリットを最大限に生かすには？
    • スループット（キャパシティ）の最適化
    • トラフィックに合わせた RU やスケーリング関連オプションの設定
    • パーティション分割
    • 適切なパーティションキー選択
    • ドキュメントモデリング
    • NoSQL でもデータモデリングは必要
    水平スケールによる
    無限のスループットとストレージ
    

    View Slide

13. Burst capacity が GA
     未使用の RU をトラフィック急増時に充当できる （上限あり）
     設定追加のみで利用可能（既存のアカウントでも利用可能）
    

    View Slide

14. Hierarchical partition keys が GA
    • パーティションを3段階まで階層化することが可能に
    • マルチテナント等のシナリオに最適
    

    View Slide

15. Change Feed (all versions and deletes サポート)
     全ての変更と削除にも対応
     完全なイベントソーシングが実現できる
     Azure Functions Cosmos DB Trigger では未サポート（期待したい）
    Event Store
    Cosmos DB - Change Feed
    Event Processor
    Azure Functions
    Cosmos DB Trigger
    Materialized View
    Query
    Command
    

    View Slide

16. Microsoft Build 2023 でのアップデート参考情報
    Cosmos DB チームの Blog
     Announced at MS Build 2023
     https://devblogs.microsoft.com/cosmosdb/announced-at-ms-
    build-2023-burst-capacity-materialized-views-vector-search-
    and-more/
    しばやん雑記 （ ZEN の Distinguished Engineer ）
     Build 2023 で発表された Azure Cosmos DB のアップ
    デート
     https://blog.shibayan.jp/entry/20230531/1685497408
    

    View Slide

17. Startup 事例: Azure Cosmos DB を起点にビジネスをスケール
    Customer: AGRIST 株式会社様
    Machine Learning
    Storage
    (ADLS Gen2)
    Synapse Analytics
    Power BI
    Embedded
    Storage
    (Blob)
    IoT Hub Functions
    Functions
    (Timer Trigger)
    API Management
    Web Apps
    Or
    Static Web Apps
    Azure AD
    (M365)
    RDBMS
    Cosmos DB
    Cosmos DB
    RDBMS
    Azure AD B2C + LINE Login
    Message
    (JSON)
    データ整形など
    データの蓄積
    (CSV,JSON..)
    AIでデータ活用
    画像保存
    収穫量
    データを
    集計
    会計データなど
    マスタ
    AAD による
    統合認証
    Data Lake
    開発者向け
    データ
    サイエンティスト
    向け
    データ活用
    データサイエンティスト
    バックオフィス
    エンドユーザー
    

    View Slide

18. アドバイザリプラットフォーム
    Azure Light-up
    超短期間ワークショップ
    エキスパートに直接聞けるオンラインアドバイザリーサービス 2日～3日で Azure でコアアーキテクチャを構築するワークショップ
    サンプルコード提供
    運用監視サポート
    チューニング支援 MVP構築
    アーキテクチャ設計 DevOps 導入
    ゼンアーキテクツの Azure 技術支援プログラム
    もちろん Cosmos DB もサポート対象です
    https://zenarchitects.co.jp/
    

    View Slide

19. Cosmos DB ウェビナーのご案内
    Azure Cosmos DB を活用したクラウドネイティブアプリケーションの開発
    ベストプラクティス
     2023年6月5日 12:00-13:00
     登録はこちら
    

    View Slide

20. ご清聴ありがとうございました
    

    View Slide