Intuitive kontaktfreie Interaktion in Virtual und Mixed Reality

4bb6f42916dbbc203e270815c40ad991?s=47 Christian Blank
September 12, 2016

Intuitive kontaktfreie Interaktion in Virtual und Mixed Reality

Die Masterarbeit untersucht die Frage, ob eine Kombination von direktmanipulativer Interaktion mit einer Interpretation von Gesten einen Vorteil für den Nutzer darstellt.
Es wurde ein Konzept erarbeitet, dass eine Untersuchung dieser Frage ermöglicht. Für eine Evaluierung wurde dieses Konzept prototypisch umgesetzt und mithilfe von Probanden in mehreren Tests und einer Umfrage untersucht. Das Ergebnis zeigt, dass eine Mensch-Computer-Schnittstelle, die auf direktmanipulativer Interaktion basiert, von einer Erweiterung durch eine Gestenerkennung profitieren kann.

4bb6f42916dbbc203e270815c40ad991?s=128

Christian Blank

September 12, 2016
Tweet

Transcript

  1. intuitive kontaktfreie interaktion in virtual und mixed reality Die Grenzen

    direktmanipulativer Interaktion Christian Blank 12. September 2016 Immersive Interactive Environments (I2E), Hochschule für Angewandte Wissenschaften Hamburg
  2. Motivation Vergleichbare Arbeiten Konzept Evaluierung Zusammenfassung Christian Blank 1

  3. motivation

  4. motivation Figure: 360◦-Kamera (Quelle: By Bautsch (Own work) [CC0], via

    Wikimedia Commons) Figure: Google Soli: Radarsensor zur kontaktfreien Gestensteuerung (Quelle: https://atap.google.com/soli/) Christian Blank 3
  5. motivation Figure: HoloDesk (Quelle: [HKI+12]) Figure: MixFab (Quelle: [WLK+14]) Christian

    Blank 4
  6. motivation Figure: Konzeptstudie I2E (Quelle: -) Christian Blank 5

  7. these Durch die Kombination von interpretierten Gesten und direktmanipulativer Interaktion

    kann ein Benutzer effektiver mit virtuellen, dreidimensionalen Objekten arbeiten als es bei herkömmlichen Lösungen der Fall ist. Christian Blank 6
  8. vergleichbare arbeiten

  9. direktmanipulative interaktion - partikelsysteme Figure: Partikel bilden Festkörper nach (Quelle:

    [HKI+12]) Figure: Positionierte Partikel auf Mesh (Quelle: [KP15]) Christian Blank 8
  10. direktmanipulative interaktion - partikelsysteme ∙ Partikelsysteme vereinfachen die Berechnung komplexer,

    kontinuierlicher Modelle ∙ Realistische Interaktionsmöglichkeiten ∙ Rechenintensive Vorverarbeitung und Update der Partikel aufgrund großer Anzahl ∙ Nutzung von Modellen zur festen Positionierung (Kim et al.) Christian Blank 9
  11. direktmanipulative interaktion - modellbasiert Figure: Handmodell von Prachyabrued et al.

    (Quelle: [PB11] Figure: Handmodell der Leap Motion (Quelle: Leap Motion Inc.) Christian Blank 10
  12. gesteninterpretation - faltungsnetzwerke Figure: Schematische Darstellung eines CNN (Quelle: By

    Aphex34 (Own work) [CC0], via Wikimedia Commons) ∙ Erkennung von Mustern aller Art (vgl. [Nie15]) ∙ Selbstständig Formung der Hidden-Layer und Ermittlung der Features ∙ Benötigt Trainingsphase mit eigenen Daten Christian Blank 11
  13. gesteninterpretation - templatematching ∙ Vergleich von Gestenset mit aktueller Eingabe

    auf Basis von Distanzfunktion (vgl. [KNQ12]) ∙ Leichte Erweiterbarkeit ∙ Einfache Implementierung ∙ Ähnlichkeit zu Schriftzeichen; nur für Expertensysteme (vgl. [AB10]) Christian Blank 12
  14. zusammenfassung Direktmanipulative Interaktion ∙ Modellbasierter Ansatz nach Prachyabrued et al.

    Gesteninterpretation ∙ Kombination aus Kristensson et al. und Appert et al. ∙ Einschränkung des Suchraums durch Start- und Endpose ∙ Verwendung von Trajektorie zur Beschreibung Christian Blank 13
  15. konzept

  16. übersicht Figure: Übersicht der Verarbeitungspipeline mit Geräteabstraktion und Gesture Recognition

    (Quelle: -) Christian Blank 15
  17. geräteabstraktion trame ∙ Unterstützung verschiedener Sensoren ∙ Fusion der Sensordaten

    möglich ∙ Änderung der Sensoren zur Laufzeit ∙ Erkennung basiert auf uniformen Skelettmodell Christian Blank 16
  18. direktmanipulative interaktion Figure: Darstellung eines approximierten Handmodells durch Quader (Quelle:

    -) ∙ Transformation des Skelettmodells zu kinetischem Modell ∙ Berechnung von [Winkel-]Geschwindigkeit und [Winkel-]Beschleunigung ∙ Approximation der Gliedmaßen zwischen Gelenken Christian Blank 17
  19. gesteninterpretation P(Ii|ωj) = arg max Sk∈Sj∈ωj D(I, S) (1) P(ωj|Ii)

    = P(ωj)P(Ii|ωj) ∑ k P(ωk)P(Ii|ωk) (2) ∙ Vergleich zwischen Strom von Eingabedaten und Gestenset ∙ Erkennung von verschiedenen Einhand- und Zweihandgesten möglich ∙ Entscheidung basierend auf Start- und Endpose sowie Ergebnis des dynamischen Anteils Christian Blank 18
  20. evaluierung

  21. untersuchungsmethode ∙ A/B-Test mit 20 Probanden / 10 pro Gruppe

    ∙ Testprogramm mit drei Testszenarien ∙ Messung der Zeiten ∙ Fragebogen nach System Usability Scale Christian Blank 20
  22. test-applikation Figure: Aktivierung der Markierungen durch Objekt (Quelle: -) Figure:

    2x2-Mauer aus den Bausteinen erstellen (Quelle: -) Figure: Entfernung des Objektes aus dem Konstrukt (Quelle: -) Christian Blank 21
  23. system usability scale Figure: Ausschnitt aus Fragebogen (Quelle: -) ∙

    Fragebogen mit 10 Fragen ∙ Punktvergabe von 1-5 ∙ Umrechung in Skalenwert von 0-100 ∙ Geeignet für kleine Testgruppen Christian Blank 22
  24. ergebnisse und schlussfolgerung Table: Die Ergebnisse der SUS (0-100) SUSA

    70,56 σSUSA 12,86 SUSB 61,5 σSUSB 16,04 Table: Vergleich Durchschnittswerte und Abweichungen Gruppe A und B in Szenarien Szenario 1 Szenario 2 Szenario 3 ∅A 35,51 s 98,70 s 57,69 s σA 19,47 52,83 45,38 ∅B 22,47 s 126,02 s 31,44 s σB 15,66 83,93 22,43 Legende: ∅ - Durchschnitt; σ - Standardabweichung Christian Blank 23
  25. beobachtungen Technische Probleme ∙ Fehlerhafte Daten der Sensoren ∙ Zersprungenes

    Handmodell zerstörte Arbeitsstand ∙ Freigeben des Objektes schwierig Konzept ∙ Greifen durch Interpretation besser ∙ Löschen durch Translation in separaten Bereich zu umständlich Christian Blank 24
  26. zusammenfassung

  27. fazit ∙ Trame als Geräteabstraktion; Entwicklung unabhängig von Sensor ∙

    Entwicklung alternativer Eingabemethode ∙ Untersuchung der Performance durch A/B-Test ∙ Hypothese durch Evaluation bestätigt (eingeschränkt) ∙ Bedienkonzept schnell erlernbar ∙ Nicht-repräsentative Anzahl an Probanden Christian Blank 26
  28. ausblick ∙ Weiterentwicklung von Trame ∙ Höhere Anzahl an Probanden

    ∙ Auswertung der protokollierten Daten für weitere Forschungen ∙ Einführung eines Applikationskontextes ∙ Zusammenarbeit mit LIST für Gestentaxonomie Christian Blank 27
  29. Fragen? Slides: http://bit.ly/2aRdUng Christian Blank 28

  30. referenzen Caroline Appert and Olivier Bau. Scale detection for a

    priori gesture recognition. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pages 879–882. ACM, 2010. Otmar Hilliges, David Kim, Shahram Izadi, Malte Weiss, and Andrew Wilson. Holodesk: direct 3d interactions with a situated see-through display. In Proceedings of the 2012 ACM annual conference on Human Factors in Computing Systems, pages 2421–2430. ACM, 2012. Per Ola Kristensson, Thomas Nicholson, and Aaron Quigley. Continuous recognition of one-handed and two-handed gestures using 3d full-body motion tracking sensors. In Proceedings of the 2012 ACM International Conference on Intelligent User Interfaces, IUI ’12, pages 89–92, New York, NY, USA, 2012. ACM. Jun-Sik Kim and Jung-Min Park. Physics-based hand interaction with virtual objects. In Robotics and Automation (ICRA), 2015 IEEE International Conference on, pages 3814–3819. IEEE, 2015. Michael A Nielsen. Neural networks and deep learning. URL: http://neuralnetworksanddeeplearning. com/.(visited: 01.08. 2016), 2015. Mores Prachyabrued and Christoph W Borst. Dropping the ball: Releasing a virtual grasp. In 3D User Interfaces (3DUI), 2011 IEEE Symposium on, pages 59–66. IEEE, 2011. Christian Weichel, Manfred Lau, David Kim, Nicolas Villar, and Hans W. Gellersen. Mixfab: A mixed-reality environment for personal fabrication. In Proceedings of the 32Nd Annual ACM Conference on Human Factors in Computing Systems, CHI ’14, pages 3855–3864, New York, NY, USA, 2014. ACM. Christian Blank 29