Dynamische Binauralsynthese als methodisches Werkzeug der angewandten Musikpsychologie
Lepa, Steffen; Lindau, Alexander (2014): "Dynamische Binauralsynthese als methodisches Werkzeug der angewandten Musikpsychologie", Beitrag zur
30. Jahrestagung der DGM "Angewandte Musikpsychologie", Erlangen
Alexander Lindau Fachgebiet Audiokommunikation Technische Universität Berlin DFG Schwerpunktprogramm MEDIATISIERTE WELTEN 20 min. Präsentation für die Tagung „Angewandte Musikpsychologie“ 30. Jahrestagung der Deutschen Gesellschaft für Musikpsychologie e. V. Fraunhofer Institut für Integrierte Schaltungen IIS Erlangen, 12.-14. September 2014 1
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Møller, H. (1992): "Fundamentals of Binaural Technology", in: Applied Acoustics, 36(3‐4): 171‐218 ‚Theorem‘ der Binauraltechnik Schalldruckverläufe an Trommelfellen bestimmen das Hörereignis Technische Reproduzierbarkeit der Ohrsignale gewährt: ¾ Synthese des Eindrucks beliebiger Schallfelder ¾ Hohe Realitätsnähe ¾ Geringen Aufwand 3
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Forschungsfragen: Raumakustik und Aufführung Schärer Kalkandjiev, Z.; Weinzierl, S. (2013): "The Influence of Room Acoustics on Solo Music Performance: An Empirical Case Study“, In: Acta Acustica united with Acustica, 99(3): 433‐441 5
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Die Technologie der Binauralsynthese BRIR-Messung Filterung Audiosignale BRIR- Daten- satz head tracking Wiedergabe Zeit- variante Filterung 10
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Stand der Technik • Minimal notwendige Winkelauflösung 11
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Stand der Technik • Minimal notwendige Winkelauflösung • Maximal tolerierbare Latenz 11
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Stand der Technik • Minimal notwendige Winkelauflösung • Maximal tolerierbare Latenz • Optimale Filterverfahren für Kopfhörer 11
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Perzeptive Evaluation der Binauralsynthese Authentisch: „Eine Simulation die nicht von einem gegebenen Vergleichsstimulus unterschieden werden kann.“ Brinkmann, F.; Lindau, A.; Vrhovnik, M.; Weinzierl, S. (2014): “Assessing the Authenticity of Individual Dynamic Binaural Synthesis”, in: Proceedings of the EAA Joint Auralization and Ambisonics Symposium, Berlin, pp. 62‐68 12
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Perzeptive Evaluation der Binauralsynthese Authentisch: „Eine Simulation die nicht von einem gegebenen Vergleichsstimulus unterschieden werden kann.“ Brinkmann, F.; Lindau, A.; Vrhovnik, M.; Weinzierl, S. (2014): “Assessing the Authenticity of Individual Dynamic Binaural Synthesis”, in: Proceedings of the EAA Joint Auralization and Ambisonics Symposium, Berlin, pp. 62‐68 12
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Perzeptive Evaluation der Binauralsynthese Authentisch: „Eine Simulation die nicht von einem gegebenen Vergleichsstimulus unterschieden werden kann.“ Brinkmann, F.; Lindau, A.; Vrhovnik, M.; Weinzierl, S. (2014): “Assessing the Authenticity of Individual Dynamic Binaural Synthesis”, in: Proceedings of the EAA Joint Auralization and Ambisonics Symposium, Berlin, pp. 62‐68 ! 13
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Perzeptive Evaluation der Binauralsynthese Authentisch: „Eine Simulation die nicht von einem gegebenen Vergleichsstimulus unterschieden werden kann.“ Plausibel: „Eine Simulation die nicht von der Erwartung an ein entsprechendes reales Ereignis unterschieden werden kann.“ Lindau, A.; Weinzierl, S. (2012): “Assessing the Plausibility of Virtual Acoustic Environments”, in: Acta Acustica united with Acustica, 98(5): 804‐810 Brinkmann, F.; Lindau, A.; Vrhovnik, M.; Weinzierl, S. (2014): “Assessing the Authenticity of Individual Dynamic Binaural Synthesis”, in: Proceedings of the EAA Joint Auralization and Ambisonics Symposium, Berlin, pp. 62‐68 ! 13
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Perzeptive Evaluation der Binauralsynthese Authentisch: „Eine Simulation die nicht von einem gegebenen Vergleichsstimulus unterschieden werden kann.“ Plausibel: „Eine Simulation die nicht von der Erwartung an ein entsprechendes reales Ereignis unterschieden werden kann.“ Lindau, A.; Weinzierl, S. (2012): “Assessing the Plausibility of Virtual Acoustic Environments”, in: Acta Acustica united with Acustica, 98(5): 804‐810 Brinkmann, F.; Lindau, A.; Vrhovnik, M.; Weinzierl, S. (2014): “Assessing the Authenticity of Individual Dynamic Binaural Synthesis”, in: Proceedings of the EAA Joint Auralization and Ambisonics Symposium, Berlin, pp. 62‐68 ! 13
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Perzeptive Evaluation der Binauralsynthese Authentisch: „Eine Simulation die nicht von einem gegebenen Vergleichsstimulus unterschieden werden kann.“ Plausibel: „Eine Simulation die nicht von der Erwartung an ein entsprechendes reales Ereignis unterschieden werden kann.“ Lindau, A.; Weinzierl, S. (2012): “Assessing the Plausibility of Virtual Acoustic Environments”, in: Acta Acustica united with Acustica, 98(5): 804‐810 Brinkmann, F.; Lindau, A.; Vrhovnik, M.; Weinzierl, S. (2014): “Assessing the Authenticity of Individual Dynamic Binaural Synthesis”, in: Proceedings of the EAA Joint Auralization and Ambisonics Symposium, Berlin, pp. 62‐68 ! ? 15
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Projekthintergrund und Forschungsfrage • LOE‐Exzellenzclusterprojekt (TU Berlin 2010‐2012): „Medium und Emotion - Zur emotionalen Wirkung von Musik in verschiedenen medialen Rezeptionssituationen“ 17
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Projekthintergrund und Forschungsfrage • LOE‐Exzellenzclusterprojekt (TU Berlin 2010‐2012): „Medium und Emotion - Zur emotionalen Wirkung von Musik in verschiedenen medialen Rezeptionssituationen“ • Argumente für akustikbezogene „Technologieeffekte“ auf emotionalen Ausdruck: – Veränderung ursprünglicher expressiver „akustischer Cues“ der Musik (Juslin 2000) – Einführung zusätzlicher expressiver „Medien‐Cues“ (z. B. „Grammophon Nostalgie“) 17
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Projekthintergrund und Forschungsfrage • LOE‐Exzellenzclusterprojekt (TU Berlin 2010‐2012): „Medium und Emotion - Zur emotionalen Wirkung von Musik in verschiedenen medialen Rezeptionssituationen“ • Argumente für akustikbezogene „Technologieeffekte“ auf emotionalen Ausdruck: – Veränderung ursprünglicher expressiver „akustischer Cues“ der Musik (Juslin 2000) – Einführung zusätzlicher expressiver „Medien‐Cues“ (z. B. „Grammophon Nostalgie“) • Gegenargumente: – medienbedingte Veränderungen der Klangmorphologie zu gering um relevant zu sein – Emotionaler Ausdruck von Musik vorwiegend symbolisch kommuniziert – Technologieeffekte existieren, aber beziehen sich eher auf non‐akustische Aspekte (Qualitätserwartungen, Stil/Mode, Mobilität, Komfort, Sozialität, „Cocooning“, … ) 17
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Projekthintergrund und Forschungsfrage • LOE‐Exzellenzclusterprojekt (TU Berlin 2010‐2012): „Medium und Emotion - Zur emotionalen Wirkung von Musik in verschiedenen medialen Rezeptionssituationen“ • Argumente für akustikbezogene „Technologieeffekte“ auf emotionalen Ausdruck: – Veränderung ursprünglicher expressiver „akustischer Cues“ der Musik (Juslin 2000) – Einführung zusätzlicher expressiver „Medien‐Cues“ (z. B. „Grammophon Nostalgie“) • Gegenargumente: – medienbedingte Veränderungen der Klangmorphologie zu gering um relevant zu sein – Emotionaler Ausdruck von Musik vorwiegend symbolisch kommuniziert – Technologieeffekte existieren, aber beziehen sich eher auf non‐akustische Aspekte (Qualitätserwartungen, Stil/Mode, Mobilität, Komfort, Sozialität, „Cocooning“, … ) • Forschungsstrategie: – Teste einzelnen akustischen Faktor mit Bedeutung fürs Alltagshören, hier: Spatialisierungstyp – Vergleiche mit bekanntem, nicht‐akustischen Technologieeffekt, hier: Qualitätserwartung • Untersuchte Hypothesen: Spatialisierungstyp & technologiebezogene Qualitätserwartungen verändern unabhängig voneinander den empfundenen emotionalen Ausdruck von Musik 17
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Experimentelles Design • 3 x 2 Between‐Subjects‐Design mit Messwiederholung (4), Multilevel‐SEM‐Analyse: – UVs: Spatialisierungstyp (3) x Qualitätserwartung (2) – Kovariaten: Alter, Geschlecht, Bildung, deutsche PANAS, deutsche Need for Affect – AVs: Empfundener Emotionaler Ausdruck (4 latente Faktoren) – Messwiederh. (4x) Räumliche Präsenzempf. (adapt. MEC‐SPQ) (2 latente Faktoren) – 1 x am Ende • Sample: 306 Musikhörer aus Berlin (selbstrekrutiert, soziodemographisch geschichtet) 18
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Experimentelles Design • 3 x 2 Between‐Subjects‐Design mit Messwiederholung (4), Multilevel‐SEM‐Analyse: – UVs: Spatialisierungstyp (3) x Qualitätserwartung (2) – Kovariaten: Alter, Geschlecht, Bildung, deutsche PANAS, deutsche Need for Affect – AVs: Empfundener Emotionaler Ausdruck (4 latente Faktoren) – Messwiederh. (4x) Räumliche Präsenzempf. (adapt. MEC‐SPQ) (2 latente Faktoren) – 1 x am Ende • Sample: 306 Musikhörer aus Berlin (selbstrekrutiert, soziodemographisch geschichtet) • Musikalische Stimuli (quasi‐nachhallfreie Einzelspuraufnahmen) 1. Paul Gautier Quartet: „Contredanse“ (4:26m) – Lebhaftes Latin Jazz Stück 2. Nick Drake: „River Man“ (4:23m) – Trauriger Pop Song 3. Richard Strauss / Wiener Philharmoniker: „Annen Polka“ (4:31m) – Fröhliches Klassik‐Stück 4. Gustav Mahler / Cleveland Orchestra: „10. Sinfonie, 1. Satz“ (7:42m) – Dramatisches Klassik‐Stück • Treatment‐Realisierung: – Spatialisierungstyp: Binaural simuliert (Abmischung durch Tonmeister) (“Stereo-Kopfhörer”, “Stereoanlage im Wohnzimmer”, “Live-Aufführung im Konzertsaal”) – Quality Expectation: Durch zusätzliche Instruktion im Experiment („Sie werden die Musik heute mit einer neuentwickelten, räumlichen Wiedergabetechnik hören, achten Sie bitte darum darauf, ob Ihnen beim Klang etwas Besonderes auffällt!“) 18
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Messung 2: Räumliches Präsenzempfinden • 7 Items am Ende des Experiments, in Form einer 5‐stufigen Likert‐Skala: „Bitte geben Sie an, inwiefern Sie den folgenden Aussagen über den Höreindruck zustimmen:“ • Adaption des dt. MEC‐SPQ (Wirth et al. 2008) für immersive Musikdarbietungen: – Faktor 1: „Selbstlokalisation“ (SPSL): • Ich hatte das Gefühl, mitten im klanglichen Geschehen zu sein, anstatt es nur von außen zu verfolgen. (1) • Ich habe mich selbst als Teil des dargestellten Klangraums empfunden. (3) • Es war, als ob sich mein eigentlicher Standort in die dargebotene Klangumgebung verlagert hätte. (9) • Ich hatte den Eindruck, dass ich in das Gehörte hinein tauchen konnte. (16) – Faktor 2: „Handlungsmöglichkeiten“ (SPPA): • Es kam mir so vor, als hätte ich mich den Instrumenten problemlos nähern können. (4) • Ich hatte den Eindruck, nach den Instrumenten greifen zu können, so plastisch wirkten sie. (6) • Die Klänge der Instrumente wirkten so real auf mich, als ob ich hätte hingehen und darauf spielen können. (8) • Ich hatte das Gefühl, um die Musiker herum gehen zu können. (10) • Eingesetzt als „Treatment‐Check“: – Werden Unterschiede in der Spatialisierung überhaupt wahrgenommen? – Wirkt sich die relativ kleine Instruktions‐Manipulation auch aufs Präsenzempfinden aus ? 21
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Ergebnisdiskussion • Effekte der Instruktionsmanipulation – Deutliche Placebo‐Effekte auf die Präsenzwahrnehmung – Keinerlei Effekte auf den empfundenen Musikalischen Ausdruck Æ empfundener musikalischer Ausdruck nicht sensitiv für technische Qualitätserwartungen 25
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Ergebnisdiskussion • Effekte der Instruktionsmanipulation – Deutliche Placebo‐Effekte auf die Präsenzwahrnehmung – Keinerlei Effekte auf den empfundenen Musikalischen Ausdruck Æ empfundener musikalischer Ausdruck nicht sensitiv für technische Qualitätserwartungen • Effekte der Spatialisierung auf die Wahrnehmung räumlicher Präsenz – Keine Einflüsse der Spatialisierung auf den Präsenz‐Faktor „Handlungsmöglichkeiten“ Æ evtl. SPPA‐Itemkatalog nicht geeignet für immersive Musikwiedergabe? (ÆVP‐Feedback) – Signifikant unterschiedliche räumliche Präsenzempfindung (SPSL) nur in der Bedingung „Livekonzert“ Æ „Körper“+Bewegungs‐Cues und ‘räumliche Detailtreue ’ bedeutsam für Empfindung räumlicher Präsenz 25
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Ergebnisdiskussion • Effekte der Instruktionsmanipulation – Deutliche Placebo‐Effekte auf die Präsenzwahrnehmung – Keinerlei Effekte auf den empfundenen Musikalischen Ausdruck Æ empfundener musikalischer Ausdruck nicht sensitiv für technische Qualitätserwartungen • Effekte der Spatialisierung auf die Wahrnehmung räumlicher Präsenz – Keine Einflüsse der Spatialisierung auf den Präsenz‐Faktor „Handlungsmöglichkeiten“ Æ evtl. SPPA‐Itemkatalog nicht geeignet für immersive Musikwiedergabe? (ÆVP‐Feedback) – Signifikant unterschiedliche räumliche Präsenzempfindung (SPSL) nur in der Bedingung „Livekonzert“ Æ „Körper“+Bewegungs‐Cues und ‘räumliche Detailtreue ’ bedeutsam für Empfindung räumlicher Präsenz • Effekte der Spatialisierung auf den empfundenen musikalischen Ausdruck – Treatment intensivierte die Empfindung nahezu aller Dimensionen musikalischen Ausdrucks Æ „Körper“+Bewegungs‐Cues intensivieren empfunden Ausdruck nahezu unabhängig vom Emotionstyp 25
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Ergebnisdiskussion • Effekte der Instruktionsmanipulation – Deutliche Placebo‐Effekte auf die Präsenzwahrnehmung – Keinerlei Effekte auf den empfundenen Musikalischen Ausdruck Æ empfundener musikalischer Ausdruck nicht sensitiv für technische Qualitätserwartungen • Effekte der Spatialisierung auf die Wahrnehmung räumlicher Präsenz – Keine Einflüsse der Spatialisierung auf den Präsenz‐Faktor „Handlungsmöglichkeiten“ Æ evtl. SPPA‐Itemkatalog nicht geeignet für immersive Musikwiedergabe? (ÆVP‐Feedback) – Signifikant unterschiedliche räumliche Präsenzempfindung (SPSL) nur in der Bedingung „Livekonzert“ Æ „Körper“+Bewegungs‐Cues und ‘räumliche Detailtreue ’ bedeutsam für Empfindung räumlicher Präsenz • Effekte der Spatialisierung auf den empfundenen musikalischen Ausdruck – Treatment intensivierte die Empfindung nahezu aller Dimensionen musikalischen Ausdrucks Æ „Körper“+Bewegungs‐Cues intensivieren empfunden Ausdruck nahezu unabhängig vom Emotionstyp – Keine substanziellen Unterschiede zwischen „Stereoanlage“ and „Livekonzert“ ‐ Bedingung Æ „Körper“+Bewegungs‐Cues bedeutsamer als ‘räumliche Detailtreue’ für Intensität musik. Ausdrucks • Schlussfolgerungen: Æ Das Medium ist die Botschaft! (zumindest im Hinblick auf akustische Spatialisierung) Æ Resultate deuten in Richtung der „Hypothese zusätzlicher Medien‐Cues” Æ Emotionen beim alltäglichen Musikhören eher eine Frage sensomotorischer Inklusion des verkörperten Subjekts als eine Frage räumlicher Detailtreue, trotz geringerer Präsenzempfindung (Æ Presence/Embodiment‐Debatte) 25
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ Diskussion: Potentiale und Grenzen der Binauralsynthese als Werkzeug der Rezeptionsforschung • Contra – Labor vs. Feld – Geringere externe Validität: Medienunterschiede sind mehr als Schallfeldunterschiede! – Vergleichsweise aufwändige Stimulusproduktion 27
2014 S. Lepa & A. Lindau (TU Berlin): “Dynamische Binauralsynthese als methodisches Werkzeug“ • Pro Hohe interne Validität und Flexibilität: − Erlaubt akustische Resynthese nahezu beliebiger 1) akustisch‐medialer Wiedergabeverfahren, 2) nicht‐medialer, d.h. natürlicher Aufführungssituationen, 3) historischer, nur geplanter, rein artifizieller oder künstlerisch‐experimenteller akustischer Settings, sowie 4) mehrfach verschachtelter akusto‐medialer Übertragungsstrecken. − Instantaner akustischer Vergleich unter Dekonfundierung von 1) Quellort, Raumakustik, und Empfängerort, vom 2) musikalischem Inhalt, von spezifischen Aufführungen, sowie 3) von nicht‐auditiven Attributen, die spezifisch für Medien oder Aufführungssituationen sind (visuelle Anmutung, Nutzung/Haptik, Kontext). Diskussion: Potentiale und Grenzen der Binauralsynthese als Werkzeug der Rezeptionsforschung