NVIDIA Omniverse Kit Introduction

Outline
1. Omniverse Kit
2. Omniverse UI Framework
3. Omniverse Extensions
4. Omniverse Application
5. Omniverse IoT Sample

Transcript

1. NVIDIA Omniverse Kit Introduction SJ Chou sj@toright.com https://blog.toright.com
2. Outline • Omniverse Kit • Omniverse UI Framework • Omniverse Extensions • Omniverse Application • Omniverse IoT Sample
3. Omniverse Kit
4. • Omniverse 最基礎的元件是 Extension (也稱為 Plugin) • 透過許多 Extension 組成 Omniverse Application • 目前 Library 的工具都是透過 Extension 組合起來的 Application • 可以透過組合的方式來重用這些 Extension • Core Extension 也提供了大量的 API 來操作與建構 Omniverse Omniverse Kit Stack
5. Omniverse Kit Components 主要提供以下元件功能 • USD/Hydra (Omni.USD) 提供豐富的 OpenUSD Python API (底層C++) 來操作 USD • Omniverse (Omniverse Client Library) 與 Omniverse Nucleus Servers 連線實現 USD/SDF 的操作與渲染，實現 Python Bindings 與連 線管理等等 • Carbonite Omniverse 底層框架的管理，包含 Plugin, Audio, File, Image, Thread, Task, Localization, Image 等等。Plugin 透過 pybind11 整合 C++ 實現高效的 Scripting Language Runtime • Omniverse RTX Renderer 建立可以高效 Renderer 的介面，透過 Hydra Engine 實現多顯示晶片整合渲染的能力 • Scripting 不須重新編譯透過 Python 動態執行與呼叫 API • UI Toolkit (omni.ui) 透過 C++ 撰寫的 Dear ImGui 實現 UI 元件，並且可以透過 Python API 直接呼叫存取
6. Omniverse Kit For You 官方原生的 Omniverse Application 與 Extension
7. Omniverse Compose • 早期稱為 Omniverse Create • 整合大多數的 Extension 成為強大的建模工具 • 包含 Isaac Sim 等等官方 Library 都是透過 Extension 組合
8. Omniverse Core Extensions RTX Render Content Browser Stage Window Property Window Tool bar
9. Omniverse UI Framework
10. OMNI UI Features • Modern, Fast and Lightweight UI Framework • Foundation of the Omniverse Kit User Interface • Declarative Syntax and Dynamic Layouts • Fully Styleable similar to HTML using “Stylesheet-like” workflow • Support for XR (VR & AR) rendering • Full C++ and Python Support • Support Linux & Window • DX12/Vulkan Accelerated Backend • Other platforms (Mac, ARM, etc. in planning)
11. Omniverse UI Stack 由底層到高層的堆疊架構 1. DX12 / Vulkan (Accelerated Backend) 2. carb.graphics 3. Dear ImGui (GUI Library) 4. Omni UI C++ Library 5. Omni UI Python Binding 高層應用可以直接透過 Python 高效 使用 Omniverse 的功能
12. Omniverse Extensions
13. Kit Extension Features • Basic building block of Kit Applications • Almost everything is an extension • Named and versioned package loaded as runtime • Extension can depend on other extensions • Hot reloaded at runtime
14. 實現 Extensions 高度解耦與模組重用 • 我們會發現 Omniverse Library 很多 App 都是類似的 UI 元件，是因為都是 透過一樣的 Extension 組合起來 • Application Window 不是必須的，也 可以設計 Headless 的 Service Application • 可以自行製作 Extension 並且載入到 現有的 Application
15. Omniverse Extensions 目錄結構 • 在 Omniverse 所有東西都是 Extension • 識別方式為 Name + Package Version • 透過 Python, Share Library, C++ 與 Python APIs 等組成 • 透過 Extension 相依關係讓模組可以高度重用 設定檔 Entry Point
16. Omniverse Core Extensions • 開啟 Omniverse Compose > Window > Extensions 載入更多功能 • 也可以載入自己設計的 Extesion • 透過 Python Binding 可以即時開發與修改 Extension
17. Omniverse Application
18. Omniverse Applications • 可將許多 Extensions 組成 Application • 也可以實現 Headless Application (ex: Microsoft Service) • 透過建立自己的 .kit File 建置專用 的 Omniverse Editor 定義 Application 相依的 Extension
19. 打造自己專用的 Application • 建立一個 Editor Application • 建立一個 Extension 加入 .kit 中的 [dependencies] • 透過 ./repo.sh build 編譯 • 透過 ./repo.sh launch 啟動 • 即時修改 Extension Hot-reload
20. Omniverse IoT Sample
21. IoS Example • Customer Domain: IoT 資料收集的源頭 • Connector: 傳送 IoT 資訊到 Live Session USD 元件 • Nucleus: 管理 Live Session 整合場景、協同模擬 • Consumer: 處理 Event 即時變更 Live Session 場景中的 Prim 來實現 Digi Twins
22. Read CSV Update Value to Session 1. 讀取 CSV 資料以 TS 進行 Group 2. 透過 Python 連線 Live Session (iot_session) 3. 更新 Prim 數值內容 (By Path)
23. Consumers (Extension) 1. Sync Prim 2. IoT Panel UI 3. Update USD
24. Thanks SJ Chou sj@toright.com https://blog.toright.com