ZOI - Zone of Impulse (Master Thesis)

Adaptive multiplayer game based on physiological data.

Transcript

1. Smartphone Games based on physiological Data Masterarbeit, Abschlussvortrag am 01.11.2011 Katharina Reitz
2. Inhalt 1. Einführung 2. Umsetzung 3. Dateneinbindung 4. Evaluation 5. Ergebnis 6. Ausblick 7. Demo 2 / 30
3. • Smartphone-Spiel • Physiologische Signale • Biofeedback • Ziel: – individuelleres Spielerlebnis – mehr Spielspaß • Laborumgebung 1. Einführung 3 / 30
4. • kleines Display • „Casual Gamer“ • Aufmerksamkeit • Sensoren • Kontext 1.1 Smartphone 4 / 30 18 4cm
5. • Elektrokardiogramm (EKG) – Herzrate (HR) – Herzratenvariabilität (HRV) • Elektrodermale Aktivität (EDA) – Reizinduziert – Kriterien 1.2 Physiologische Maße 5 / 30 Latenz Erholungszeit 63% Amplitude Zeit [s] EDA [μS] SCR Amplitude Stimulus Quelle: in Anlehnung an [EDA] Quelle: in Anlehnung an [EKG]
6. 1.3 Vorgehensweise 6 / 30 Konzepte Spiel Datenanbindung Feedback Vorab-Implementierung Voruntersuchung Finale Implementierung V1: mit Biofeedback V2: ohne Biofeedback Hauptuntersuchung
7. 2. Umsetzung: Spielkonzept • leicht zugänglich • # Spielelemente • starke Reaktionen • „Spacewar!“ • • Action-Weltraum-Multiplayer-Spiel 7 / 30 Quelle: http://de.wikipedia.org/wiki/Spacewar!
8. 2.1 Spielaktionen 8 / 30 Schi struktur Feuern Spezial-Button Schildobjekt + SLOW!
9. 2.2 Spielfeld 9 / 30
10. 2.3 Werkzeuge • Android (Java) – quelloffen – starke Verbreitung • Engines – Spiel – Physik • Multiplayer-Erweiterung 10/ 30
11. 2.4 Engines • Andengine – Basisklassen – Sprite- und Sound-Verwaltung • Box2D – Kollisionserkennung – Schiffsbewegung 11/ 30 Quelle: www.andengine.org Quelle: www.box2d.org
12. 2.5 Client-Server-Ansatz 12/ 30 Client Server Touch-Eingabe Bewege Schiff-Grafik Neigungsänderung Erhöhe Trefferpunkte Spieler x Touch auf Spielfeld] Feuerbefehl Laser [Touch auf Spezialbutton] Aktiviere Slow-Mo
13. 3. Datenanbindung 13/ 30 Varioport Varioport EDA EDA + EKG EKG Status Trigger LAB Server Smartphone Proband Feedback Controller Spiel
14. 3.1 Technik • Socket-Programmierung • TCP: Anmeldung Laborserver • UDP: physiologische Daten • Datenaustauschformat: JavaScript Object Notation (JSON) 14/ 30
15. 3.2 Feedback-Loop 15/ 30 Quelle: in Anlehnung an [Amb11] System-Reaktion Physiologische Reaktion Eingabe (Berührung, Neigung) Ausgabe (Visuell, Akustisch)
16. 3.3 Spielerzustand 16/ 30 HR Statistikwert hoch niedrig hoch zu schwierig ok schwierig zu leicht Distress Task Engagement hoch niedrig hoch a b c d Quelle: [Fai07] • Statistikwert (SW) = Punkte Spieler / (Punkte Spieler + Punkte Gegner) • hoher SW = Spieler erfolgreich • Distress-Engagement-Modell
17. 3.4 Adaptive Spielelemente • 5 Schwierigkeitsstufen • Pulsieren der Schiffe • EDA + EKG + SW = Schwierigkeitsänderung • Regelsatz 17/ 30 Spielelement Einheit -2 -1 0 1 2 Geschwindigkeit Schiff Impulswert 10 15 20 25 30 Dauer Schildschutz Sekunden 2 4 6 8 10 Aufladezeit Slow-Mo Sekunden 25 20 15 10 5
18. 4. Evaluation • Signaltests – Ableitungsort EDA – Vergleichsmessungen EDA • Voruntersuchung – 3 Testspiele – Signalverhalten • Hauptuntersuchung – Biofeedback vs. Non-Biofeedback 18/ 30
19. 4.1 Ableitungsort EDA 19/ 30 Knöchel A B E Phalanx distalis Phalanx proximalis des Großzehs C F Daumenballen (Thenar) Phalanx distalis Phalanx medialis Phalanx proximalis Kleinfingerballen (Hypothenar) Handgelenkfurche A B D E Ellenbogen C6 C7 C8 Dermatome G Quelle: In Anlehnung an [Bou88] Quelle: In Anlehnung an [Bou88]
20. 4.2 Vergleichsmessungen • Lesen Bewegung Spielen 20/ 30 Zeit EDA [mS] 1.0 1.5 2.0 2.5 3.0 1000 2000 3000 4000 5000 Zeit EDA [mS] 1.0 1.5 2.0 2.5 3.0 1000 2000 3000 4000 5000 Zeit EDA 3.6 3.8 4.0 4.2 1000 2000 3000 4000 5000
21. 4.3 Voruntersuchung (VU) • 11 Personen • 3 Spiele (Spaß, Langeweile, Stress) • Spieldauer 5 min • Erkennung signifikanter Signalwerte 21/ 30
22. 4.4 VU Auswertung (1) • Bewertung der Spiele • Mittelwerte physiologische Signale 22/ 30
23. 4.5 VU Auswertung (2) 23/ 30 Zeit EDA [mS] 2 3 4 5 0 1000 2000 3000 4000 Zeit EDA [mS] 3.6 3.8 4.0 4.2 4.4 4.6 0 1000 2000 3000 4000 Zeit EDA [mS] 3.0 3.2 3.4 3.6 3.8 0 1000 2000 3000 4000 5000 Stress Langeweile Spaß Spiel 1 Spiel 2 Spiel 3
24. 4.6 Hauptuntersuchung (HU) • 10 Personen • Gegenüberstellung • Biofeedback vs. Non-Biofeedback 24/ 30
25. • Spielanpassung alle 30 sec • Spieldauer 300 sec (5 min) • 10 Spielabschnitte • 10 Mittelwerte / Spieler (EDA und EKG) • Normierung • Aufzeichnung Spielanpassung 4.7 HU Auswertung (1) 25/ 30
26. • gepaarter t-Test, α = 0.05 • H0 = „Zwischen den Spielvarianten gibt es keinen signifikanten Unterschied.“ • Gesamtspiel • 2. Spielhälfte: H0 abgelehnt für EDA ! 4.8 HU Auswertung (2) 26/ 30 Spielabschnitt Mittelw. ohne Bio 0.0 0.5 1.0 1.5 2.0 2 4 6 8 10 Spielabschnitt Mittelw. mit Bio 0.0 0.5 1.0 1.5 2.0 2 4 6 8 10 Spielabschnitt Differenz Mittelwerte −0.3 −0.2 −0.1 0.0 0.1 0.2 2 4 6 8 10
27. • wahrnehmbarer Unterschied (subjektiv) • 80 % bevorzugen Biofeedback • Grund: Abwechslung • Wahrnehmung Veränderungen – 90% Schiffsgeschwindigkeit – 60% Slow-Mo Fähigkeit – 40% Dauer Schildschutz • Logdaten unterschiedliche Spielverläufe / Spieler 4.9 HU Fragebögen 27/ 30
28. 5. Ergebnis • Ziel erreicht • Signal Vor- und Nachverarbeitung • Anzahl Probanden • Displaygröße • Implementierung Spiel 28/ 30
29. 6. Ausblick • Reiz-Bezogenheit EDA • Betrachtung aller Spieler • Feldexperiment • Sensor-Integration • Visualisierung Biofeedback 29/ 30
30. 7. Demo 30/ 30
31. Ende Danke für Ihre Aufmerksamkeit.
32. Quellenverzeichnis • [Amb11] AMBINDER, Mike: Biofeedback in Gameplay : How Valve Measures Physiology to Enhance Gaming Experience. (2011) • [EDA] EDA Signalverlauf, ETH Zürich. http://www.wearable.ethz.ch/ • [EKG] EKG Signal. http://de.wikipedia.org/w/index.php? title=Datei:EKG_Komplex.svg&filetimestamp=20100524035909 • [Fai07] FAIRCLOUGH, Stephen H.: Psychophysiological Inference and Physiological Computer Games. In: Interfaces 7 (2007). http://citeseerx.ist.psu.edu/viewdoc/ download?doi=10.1.1.102.5873&rep=rep1&type=pdf • [Bou88] BOUCSEIN, Wolfram: Elektrodermale Aktivität: Grundlagen, Methoden und Anwendungen. Springer, 1988. - ISBN 3540185860 32/ 19
33. 5.8 VU Auswertung (1) 33/ 19 Zeit Amplitude 0.05 0.10 0.15 0.20 0.25 • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 20 40 60 80 100 Spaß Median Amplitude −0.05 0.00 0.05 0.10 0.15 0.20 0.25 0.30 • • • • • • • • • • • • • • • • • • • • • • • • 1 2 3 4 5 6 player • 4 • 5 • 6 • 7 • 8 • 9 • 10 • 11
34. 5.3 Software • Kubios (HRV) • POLAR Pro Trainer (HR) • Ledalab (EDA) • R (Plotting) • Kriterien – Signalverlauf – Amplitude – Anstiegszeit 34/ 19
35. 2. Umsetzung • simples Spielkonzept • intuitive Steuerung • quelloffene Entwicklungswerkzeuge • Multiplayer 35/ 19
36. 3. Datenanbindung • Einbindung des Spielers – physiologische Maße – Feedback • Spielerzustand • Adaptive Spielelemente 36/ 19
37. • Laborumgebung (Server, Workstation) • Varioport • 2 Android Smartphones • Pulsgurt • Mobile Device Cam • Fragebögen 4.1 Werkzeuge 37/ 19
38. Valence Arousal hoch negativ niedrig positiv Relaxed Passiv Verärgert Glücklich Gelangweilt Energiegeladen • Distress-Engagement 3.3 Modelle Spielerzustand • Valence-Arousal 38/ 19 Quelle: [Fai07] Quelle: [Amb11] Distress Task Engagement hoch niedrig hoch a b c d