Unity® Volume Rendering -- Poster

Plug-in zum Rendern von medizinischen Daten, Poster als A4
(Update Oktober 2016)

Stichworte: Medical Imaging, GPU Programming, Volume Rendering
Technologie: Unity, C#/.NET, JSON, Cg/HLSL, VTK, DICOM

Transcript

1. Unity® Volume Rendering Absolvent: Roland Bruggmann Professor: Urs Künzler Experte: Federico Flückiger ▶ Bachelor Thesis 2016 – Studiengang Informatik Ausgangslage In der ärztlichen Diagnose und Therapie kom- men heutzutage computergestützte Verfahren zur Anwendung. Medizinische Bilddaten werden dabei per Nuklear-Magnetresonanz aquiriert und in einer Bildanalyse aufbereitet. Diese Daten können z.B. als Volumengrafik dargestellt wer- den und so der Wissensbildung dienen. Das cpvrLab am Institut für Human centered En- gineering HuCE hat ein CAVE in Betrieb. Dessen 3D-Welt kann seit dem Herbstsemester 2016 mit der Game-Engine von Unity Technologies gerendert werden. Daher besteht die Vision, in Serious Games auch medizinische Bilddaten als Volumengrafik einbinden zu können. Resultat Mit dem Plug-in kann ein Game-Objekt 'Volume' erstellt werden. Es enthält eine Bounding-Box und einen Volume-Filter. Dem Game-Objekt wird eine Region of Interest untergeordnet, in wel- cher der zu rendernde Bereich als Kubus editiert werden kann. In der Komponente Mesh-Rende- rer kann ein Material zugewiesen werden. Im Material kann ein Shader gewählt werden. Das Plug-in stellt hier den Volume Raycaster als Ren- dermethode zur Verfügung. Das Shader-GUI nimmt als Parameter einen Bildersatz entgegen, rekonstruiert in Form einer 3D-Textur. Hier kann auch die Transferfunktion mit einem Unity- Gradienten editiert werden (siehe Abbildung 2). Konzept und Design Das Konzept sieht für den Unity-Editor ein Plug- in vor, mit dem Volumengrafiken gerendert werden können. Der zu rendernde Bereich soll als Region of Interest (ROI) festgelegt werden können. Die Farbgebung soll mit einer Transfer- funktion (TF) erfolgen, welche editierbar ist. Die Volumengrafik soll mit einer Sichtstrahlmetho- de, dem Raycasting berechnet werden. Die Re- chenkapazität der Grafikprozessoren soll ge- nutzt werden, indem das Rendern mit Shader- Programmen erfolgt (Design siehe Abbildung 1). Abbildung 2: Die Region of Interest eines Angiografie-Bildersatzes, gerendert als Volumen- grafik im Unity-Editor. Abbildung 1: Im Material werden die Parameter Rekonstruktion, Transform (TRS) und Transferfunktion (TF) an den Pixel-Shader übergeben. Mit dem Raycaster werden daraus 2D-Texturen gerendert und auf das 3D-Modell gemappt. ▶ Version Oktober 2016