OSG Volume Rendering

Szenengraph-Knoten für das Echtzeit-Rendern von Volumengrafiken aus grossen Datensätzen.

Transcript

1. Einleitung Motivation Problem Grundlagen Volume DVR CAVE Prototyp DMD Demo OSG Volume Rendering Szenengraph-Knoten f¨ ur das Echtzeit-Rendern von Volumengrafiken aus grossen Datens¨ atzen Semesterarbeit Studiengang: Informatik, Modul BTI7302 Projekt 2, Vertiefung in CPVR Autor: Roland Bruggmann, roland.bruggmann@students.bfh.ch Betreuer: Urs K¨ unzler, urs.kuenzler@bfh.ch Datum: 5. Juni 2015 Berner Fachhochschule | Haute ´ ecole sp´ ecialis´ ee bernoise | Bern University of Applied Sciences
2. Einleitung Motivation Problem Grundlagen Volume DVR CAVE Prototyp DMD Demo ¨ Ubersicht 1 Einleitung Motivation Problemstellung 2 Grundlagen Volume Rendering Direct Volume Rendering Haptic CAVE System 3 Prototyp Dom¨ anenmodell Demo Berner Fachhochschule | Haute ´ ecole sp´ ecialis´ ee bernoise | Bern University of Applied Sciences
3. Einleitung Motivation Problem Grundlagen Volume DVR CAVE Prototyp DMD Demo Einleitung OSG Volume Rendering Motivation Haptic CAVE System als virtuelle Trainingsumgebung1 Erweiterung: Volumengrafik aus medizinischen Bilddaten (CT, MRI)2 1Urs K¨ unzler u.a.: HOVISSE – Haptic Osteosynthesis Virtual Intra-operative Surgery Support Environment. Springer: 2009. DOI: 10.1007978-3-642-00437-7 8. 2CT: Computertomographie, MRI: Magnetic Resonance Imaging Berner Fachhochschule | Haute ´ ecole sp´ ecialis´ ee bernoise | Bern University of Applied Sciences
4. Einleitung Motivation Problem Grundlagen Volume DVR CAVE Prototyp DMD Demo Einleitung OSG Volume Rendering Problemstellung Prototyp: Volume Renderer in C/C++ OSG-Node3 f¨ ur Volume Rendering Rendern auf der GPU per GLSL4 Grosse Datens¨ atze, z.B. DICOM-Format5 Haptic CAVE System Integration 3OSG: OpenSceneGraph 4GLSL: OpenGL Shading Language 5DICOM: Digital Imaging and Communications in Medicine, *.dcm Berner Fachhochschule | Haute ´ ecole sp´ ecialis´ ee bernoise | Bern University of Applied Sciences
5. Einleitung Motivation Problem Grundlagen Volume DVR CAVE Prototyp DMD Demo Grundlagen OSG Volume Rendering Volume Rendering 2D: Pixel, 3D: Raum-Pixel resp. Voxel Synthetisieren in Echtzeit Indirect (z.B. Isosurfaces) vs. Direct Volume Rendering (DVR) Berner Fachhochschule | Haute ´ ecole sp´ ecialis´ ee bernoise | Bern University of Applied Sciences
6. Einleitung Motivation Problem Grundlagen Volume DVR CAVE Prototyp DMD Demo Grundlagen OSG Volume Rendering Direct Volume Rendering Raycasting, setup Prozeduraler Schnitt von Strahl und W¨ urfel Rasterisierung der Bounding Box (Ray == Fragment) Start-Position Strahl und Exit-Position resp. -Check oder Richtungsvektor Berner Fachhochschule | Haute ´ ecole sp´ ecialis´ ee bernoise | Bern University of Applied Sciences
7. Einleitung Motivation Problem Grundlagen Volume DVR CAVE Prototyp DMD Demo Grundlagen OSG Volume Rendering DVR: 1/4 Sampling Object vs. Image Order approach Optisches Modell: Emission, Reflektion, Streuung, Absorption, Verdeckung Emissions-Absorbtions-Modell, d.h. keine Streuung ” Abtasten” : Data traversal und Skalarwert I(s) berechnen Berner Fachhochschule | Haute ´ ecole sp´ ecialis´ ee bernoise | Bern University of Applied Sciences
8. Einleitung Motivation Problem Grundlagen Volume DVR CAVE Prototyp DMD Demo Grundlagen OSG Volume Rendering DVR: 2/4 Klassifikation ” Look” resp. Lesbarkeit durch RGBA Voxel in Graustufen Transferfunktion T(S) Kolorierte Voxel Transferfunktion T(S): Emission RGB, Absorbtion A Berner Fachhochschule | Haute ´ ecole sp´ ecialis´ ee bernoise | Bern University of Applied Sciences
9. Einleitung Motivation Problem Grundlagen Volume DVR CAVE Prototyp DMD Demo Grundlagen OSG Volume Rendering DVR: 3/4 Shading z.B. Phong: Summe von ambient, diffus und specular DVR: 4/4 Compositing back-to-front vs. front-to-back Optimierung: early ray termination wenn Ai+1 ≈ 1 empty space skipping Berner Fachhochschule | Haute ´ ecole sp´ ecialis´ ee bernoise | Bern University of Applied Sciences
10. Einleitung Motivation Problem Grundlagen Volume DVR CAVE Prototyp DMD Demo Grundlagen OSG Volume Rendering Haptic CAVE System Cave Automatic Virtual Environment (CAVE; engl. cave: H¨ ohle) 4 Gruppen ` a 2 Projektoren bescheinen 3 W¨ ande und den Boden Stereoskopisches Bild (Passiv-Stereo): Polarisationsfilter auf Projektoren 3D-Brillen mit Polarisationsfilter Framework Immersive 3D (I3D): Szenengraph: OpenSceneGraph (OSG) Parallel Rendering: Equalizer mit OpenGL Multipipe SDK (MPK) Berner Fachhochschule | Haute ´ ecole sp´ ecialis´ ee bernoise | Bern University of Applied Sciences
11. Einleitung Motivation Problem Grundlagen Volume DVR CAVE Prototyp DMD Demo Grundlagen OSG Volume Rendering Haptic CAVE System Cave Automatic Virtual Environment (CAVE; engl. cave: H¨ ohle) 4 Gruppen ` a 2 Projektoren bescheinen 3 W¨ ande und den Boden Stereoskopisches Bild (Passiv-Stereo): Polarisationsfilter auf Projektoren 3D-Brillen mit Polarisationsfilter Framework Immersive 3D (I3D): Szenengraph: OpenSceneGraph (OSG) Parallel Rendering: Equalizer mit OpenGL Multipipe SDK (MPK) Berner Fachhochschule | Haute ´ ecole sp´ ecialis´ ee bernoise | Bern University of Applied Sciences
12. Einleitung Motivation Problem Grundlagen Volume DVR CAVE Prototyp DMD Demo Grundlagen OSG Volume Rendering Haptic CAVE System Cave Automatic Virtual Environment (CAVE; engl. cave: H¨ ohle) 4 Gruppen ` a 2 Projektoren bescheinen 3 W¨ ande und den Boden Stereoskopisches Bild (Passiv-Stereo): Polarisationsfilter auf Projektoren 3D-Brillen mit Polarisationsfilter Framework Immersive 3D (I3D): Szenengraph: OpenSceneGraph (OSG) Parallel Rendering: Equalizer mit OpenGL Multipipe SDK (MPK) Berner Fachhochschule | Haute ´ ecole sp´ ecialis´ ee bernoise | Bern University of Applied Sciences
13. Einleitung Motivation Problem Grundlagen Volume DVR CAVE Prototyp DMD Demo Prototyp OSG Volume Rendering Dom¨ anenmodell Dataset - e.g. *.dcm User Interface - Zoom - Pan - Rotate modify MV Visualizer Raycaster Volume Manager - Model-View-Matrix Renderer - Data - Render method (e.g. Raycaster) - Model-View-Matrix Order - object order - image order set Compositing - front-to-back - back-to-front set set read use send frame Image Reader - e.g. DCMTK, ITK/VTK request reading Transferfunction - CLUT - 1D Histogramm - 2D Scatterplot set Berner Fachhochschule | Haute ´ ecole sp´ ecialis´ ee bernoise | Bern University of Applied Sciences
14. Einleitung Motivation Problem Grundlagen Volume DVR CAVE Prototyp DMD Demo Prototyp OSG Volume Rendering Demo Datensatz: CT aquiriert mit 64 Detektoren, 250 Dateien, 131.7 MB.6 6Antoine Rosset: VIX – Foot. In: OsiriX – DICOM sample image sets, URL: http://www.osirix-viewer.com/datasets/ Berner Fachhochschule | Haute ´ ecole sp´ ecialis´ ee bernoise | Bern University of Applied Sciences
15. Einleitung Motivation Problem Grundlagen Volume DVR CAVE Prototyp DMD Demo Prototyp OSG Volume Rendering Demo Datensatz: CT aquiriert mit 16 Detektoren, 1559 Dateien, 138.4 MB.7 7Antoine Rosset: OBELIX – Whole body contrast CTA. Normal study. In: OsiriX – DICOM sample image sets, URL: http://www.osirix-viewer.com/datasets/ Berner Fachhochschule | Haute ´ ecole sp´ ecialis´ ee bernoise | Bern University of Applied Sciences
16. Einleitung Motivation Problem Grundlagen Volume DVR CAVE Prototyp DMD Demo OSG Volume Rendering Danke f¨ ur Ihr Interesse. Roland Bruggmann Student B.Sc. FH in Computer Science Vertiefung in Computer Perception and Virtual Reality CPVR Berner Fachhochschule | Haute ´ ecole sp´ ecialis´ ee bernoise | Bern University of Applied Sciences