Intuitive kontaktfreie Interaktion in Virtual und Mixed Reality

Die Masterarbeit untersucht die Frage, ob eine Kombination von direktmanipulativer Interaktion mit einer Interpretation von Gesten einen Vorteil für den Nutzer darstellt.
Es wurde ein Konzept erarbeitet, dass eine Untersuchung dieser Frage ermöglicht. Für eine Evaluierung wurde dieses Konzept prototypisch umgesetzt und mithilfe von Probanden in mehreren Tests und einer Umfrage untersucht. Das Ergebnis zeigt, dass eine Mensch-Computer-Schnittstelle, die auf direktmanipulativer Interaktion basiert, von einer Erweiterung durch eine Gestenerkennung profitieren kann.

Transcript

1. intuitive kontaktfreie interaktion in virtual und mixed reality Die Grenzen direktmanipulativer Interaktion Christian Blank 12. September 2016 Immersive Interactive Environments (I2E), Hochschule für Angewandte Wissenschaften Hamburg
2. Motivation Vergleichbare Arbeiten Konzept Evaluierung Zusammenfassung Christian Blank 1
3. motivation
4. motivation Figure: 360◦-Kamera (Quelle: By Bautsch (Own work) [CC0], via Wikimedia Commons) Figure: Google Soli: Radarsensor zur kontaktfreien Gestensteuerung (Quelle: https://atap.google.com/soli/) Christian Blank 3
5. motivation Figure: HoloDesk (Quelle: [HKI+12]) Figure: MixFab (Quelle: [WLK+14]) Christian Blank 4
6. motivation Figure: Konzeptstudie I2E (Quelle: -) Christian Blank 5
7. these Durch die Kombination von interpretierten Gesten und direktmanipulativer Interaktion kann ein Benutzer effektiver mit virtuellen, dreidimensionalen Objekten arbeiten als es bei herkömmlichen Lösungen der Fall ist. Christian Blank 6
8. vergleichbare arbeiten
9. direktmanipulative interaktion - partikelsysteme Figure: Partikel bilden Festkörper nach (Quelle: [HKI+12]) Figure: Positionierte Partikel auf Mesh (Quelle: [KP15]) Christian Blank 8
10. direktmanipulative interaktion - partikelsysteme ∙ Partikelsysteme vereinfachen die Berechnung komplexer, kontinuierlicher Modelle ∙ Realistische Interaktionsmöglichkeiten ∙ Rechenintensive Vorverarbeitung und Update der Partikel aufgrund großer Anzahl ∙ Nutzung von Modellen zur festen Positionierung (Kim et al.) Christian Blank 9
11. direktmanipulative interaktion - modellbasiert Figure: Handmodell von Prachyabrued et al. (Quelle: [PB11] Figure: Handmodell der Leap Motion (Quelle: Leap Motion Inc.) Christian Blank 10
12. gesteninterpretation - faltungsnetzwerke Figure: Schematische Darstellung eines CNN (Quelle: By Aphex34 (Own work) [CC0], via Wikimedia Commons) ∙ Erkennung von Mustern aller Art (vgl. [Nie15]) ∙ Selbstständig Formung der Hidden-Layer und Ermittlung der Features ∙ Benötigt Trainingsphase mit eigenen Daten Christian Blank 11
13. gesteninterpretation - templatematching ∙ Vergleich von Gestenset mit aktueller Eingabe auf Basis von Distanzfunktion (vgl. [KNQ12]) ∙ Leichte Erweiterbarkeit ∙ Einfache Implementierung ∙ Ähnlichkeit zu Schriftzeichen; nur für Expertensysteme (vgl. [AB10]) Christian Blank 12
14. zusammenfassung Direktmanipulative Interaktion ∙ Modellbasierter Ansatz nach Prachyabrued et al. Gesteninterpretation ∙ Kombination aus Kristensson et al. und Appert et al. ∙ Einschränkung des Suchraums durch Start- und Endpose ∙ Verwendung von Trajektorie zur Beschreibung Christian Blank 13
15. konzept
16. übersicht Figure: Übersicht der Verarbeitungspipeline mit Geräteabstraktion und Gesture Recognition (Quelle: -) Christian Blank 15
17. geräteabstraktion trame ∙ Unterstützung verschiedener Sensoren ∙ Fusion der Sensordaten möglich ∙ Änderung der Sensoren zur Laufzeit ∙ Erkennung basiert auf uniformen Skelettmodell Christian Blank 16
18. direktmanipulative interaktion Figure: Darstellung eines approximierten Handmodells durch Quader (Quelle: -) ∙ Transformation des Skelettmodells zu kinetischem Modell ∙ Berechnung von [Winkel-]Geschwindigkeit und [Winkel-]Beschleunigung ∙ Approximation der Gliedmaßen zwischen Gelenken Christian Blank 17
19. gesteninterpretation P(Ii|ωj) = arg max Sk∈Sj∈ωj D(I, S) (1) P(ωj|Ii) = P(ωj)P(Ii|ωj) ∑ k P(ωk)P(Ii|ωk) (2) ∙ Vergleich zwischen Strom von Eingabedaten und Gestenset ∙ Erkennung von verschiedenen Einhand- und Zweihandgesten möglich ∙ Entscheidung basierend auf Start- und Endpose sowie Ergebnis des dynamischen Anteils Christian Blank 18
20. evaluierung
21. untersuchungsmethode ∙ A/B-Test mit 20 Probanden / 10 pro Gruppe ∙ Testprogramm mit drei Testszenarien ∙ Messung der Zeiten ∙ Fragebogen nach System Usability Scale Christian Blank 20
22. test-applikation Figure: Aktivierung der Markierungen durch Objekt (Quelle: -) Figure: 2x2-Mauer aus den Bausteinen erstellen (Quelle: -) Figure: Entfernung des Objektes aus dem Konstrukt (Quelle: -) Christian Blank 21
23. system usability scale Figure: Ausschnitt aus Fragebogen (Quelle: -) ∙ Fragebogen mit 10 Fragen ∙ Punktvergabe von 1-5 ∙ Umrechung in Skalenwert von 0-100 ∙ Geeignet für kleine Testgruppen Christian Blank 22
24. ergebnisse und schlussfolgerung Table: Die Ergebnisse der SUS (0-100) SUSA 70,56 σSUSA 12,86 SUSB 61,5 σSUSB 16,04 Table: Vergleich Durchschnittswerte und Abweichungen Gruppe A und B in Szenarien Szenario 1 Szenario 2 Szenario 3 ∅A 35,51 s 98,70 s 57,69 s σA 19,47 52,83 45,38 ∅B 22,47 s 126,02 s 31,44 s σB 15,66 83,93 22,43 Legende: ∅ - Durchschnitt; σ - Standardabweichung Christian Blank 23
25. beobachtungen Technische Probleme ∙ Fehlerhafte Daten der Sensoren ∙ Zersprungenes Handmodell zerstörte Arbeitsstand ∙ Freigeben des Objektes schwierig Konzept ∙ Greifen durch Interpretation besser ∙ Löschen durch Translation in separaten Bereich zu umständlich Christian Blank 24
26. zusammenfassung
27. fazit ∙ Trame als Geräteabstraktion; Entwicklung unabhängig von Sensor ∙ Entwicklung alternativer Eingabemethode ∙ Untersuchung der Performance durch A/B-Test ∙ Hypothese durch Evaluation bestätigt (eingeschränkt) ∙ Bedienkonzept schnell erlernbar ∙ Nicht-repräsentative Anzahl an Probanden Christian Blank 26
28. ausblick ∙ Weiterentwicklung von Trame ∙ Höhere Anzahl an Probanden ∙ Auswertung der protokollierten Daten für weitere Forschungen ∙ Einführung eines Applikationskontextes ∙ Zusammenarbeit mit LIST für Gestentaxonomie Christian Blank 27
29. Fragen? Slides: http://bit.ly/2aRdUng Christian Blank 28
30. referenzen Caroline Appert and Olivier Bau. Scale detection for a priori gesture recognition. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pages 879–882. ACM, 2010. Otmar Hilliges, David Kim, Shahram Izadi, Malte Weiss, and Andrew Wilson. Holodesk: direct 3d interactions with a situated see-through display. In Proceedings of the 2012 ACM annual conference on Human Factors in Computing Systems, pages 2421–2430. ACM, 2012. Per Ola Kristensson, Thomas Nicholson, and Aaron Quigley. Continuous recognition of one-handed and two-handed gestures using 3d full-body motion tracking sensors. In Proceedings of the 2012 ACM International Conference on Intelligent User Interfaces, IUI ’12, pages 89–92, New York, NY, USA, 2012. ACM. Jun-Sik Kim and Jung-Min Park. Physics-based hand interaction with virtual objects. In Robotics and Automation (ICRA), 2015 IEEE International Conference on, pages 3814–3819. IEEE, 2015. Michael A Nielsen. Neural networks and deep learning. URL: http://neuralnetworksanddeeplearning. com/.(visited: 01.08. 2016), 2015. Mores Prachyabrued and Christoph W Borst. Dropping the ball: Releasing a virtual grasp. In 3D User Interfaces (3DUI), 2011 IEEE Symposium on, pages 59–66. IEEE, 2011. Christian Weichel, Manfred Lau, David Kim, Nicolas Villar, and Hans W. Gellersen. Mixfab: A mixed-reality environment for personal fabrication. In Proceedings of the 32Nd Annual ACM Conference on Human Factors in Computing Systems, CHI ’14, pages 3855–3864, New York, NY, USA, 2014. ACM. Christian Blank 29