Warum kann ich nicht klar hören, wenn ich meine Brille abnehme?

Manchen kurzsichtigen Menschen fällt ein merkwürdiges Phänomen auf: Wenn sie im Gespräch mit anderen die Brille abnehmen, wird ihre Sicht verschwommen und ihre Stimme scheint undeutlich. Bedeutet dies, dass das menschliche Auge auch Dinge „hören“ kann?

Tatsächlich ist es fast wahr! Unsere Augen können uns beim „Hören“ helfen, das heißt, das Sehen kann das Hören unterstützen.

Unser Gehirn ist eigentlich ein System, in dem mehrere Sinnessysteme zusammenarbeiten. Verschiedene Sinneskanäle (wie Sehen, Hören, Tasten, Riechen und Schmecken) sind nicht voneinander isoliert. Die neuronalen Netzwerke im Gehirn sind stark vernetzt und es gibt eine große Zahl interaktiver Verbindungen zwischen diesen Sinnesbereichen. Beispielsweise ist der Temporallappen für die Verarbeitung von Höreindrücken und der Okzipitallappen für die Verarbeitung von Seheindrücken zuständig. Zwischen diesen Bereichen verlaufen zahlreiche Nervenfasern, die Informationen übertragen und Aktivitäten koordinieren können. Sie alle liefern Informationen, die das Gehirn zusammenführt, um die Genauigkeit und Fülle der Wahrnehmung zu verbessern. [1]

Mithilfe von bildgebenden Verfahren des Gehirns, beispielsweise der funktionellen Magnetresonanztomographie (fMRI), und elektrophysiologischen Aufzeichnungen beobachteten die Forscher eine dynamische Aktivität in diesen Bereichen als Reaktion auf multisensorische Stimulation. Nehmen wir als Beispiel die audiovisuelle Szene:

Wenn visuelle und auditive Informationen gleichzeitig auftreten, kommt es zu deutlicher Aktivität im visuellen Kortex im Okzipitallappen, der die erste Station der visuellen Informationsverarbeitung darstellt und für die Verarbeitung grundlegender visueller Merkmale wie Form, Farbe und Bewegung verantwortlich ist. Auch im auditorischen Kortex im Temporallappen, der für die Verarbeitung primärer Merkmale auditiver Informationen wie Frequenz und Lautstärke verantwortlich ist, kommt es zu erheblicher Aktivität. Die fMRT zeigt, dass die Aktivität im auditorischen Kortex nicht nur akustische Informationen verarbeitet, sondern auch auf Reize reagiert, die gleichzeitig mit visuellen Informationen auftreten.

Der Sulcus temporalis superior (STS) ist dabei ein wichtiger multisensorischer Integrationsbereich, insbesondere bei der audiovisuellen Integration. Der Sulcus temporalis superior empfängt Eingaben sowohl vom primären visuellen Kortex als auch vom primären auditorischen Kortex und ist auch mit anderen höheren kortikalen Bereichen verbunden. Neuroimaging-Studien (wie etwa funktionelle Magnetresonanztomographie (fMRI) und Positronen-Emissions-Tomographie (PET)) haben gezeigt, dass der Sulcus temporalis superior eine erhöhte neuronale Aktivität aufweist, wenn gleichzeitig präsentierte visuelle und akustische Informationen verarbeitet werden. Das heißt, wenn visuelle Informationen und akustische Signale gleichzeitig auftreten, kann der Sulcus temporalis superior die beiden Sinne durch Vergleich dieser Signale integrieren. Wenn eine Person beispielsweise eine andere Person sprechen sieht und hört, kombiniert der Sulcus temporalis superior die sichtbaren Mundbewegungen mit den akustischen Sprachsignalen und verbessert so das Sprachverständnis.

Das erstaunliche Phänomen der „Synthese“ des Gehörs durch das Gehirn (McGurk-Effekt)

Diese Integration zwischen Sehen und Hören führt auch zu einem klassischen psychologischen Phänomen, dem sogenannten McGurk-Effekt. Dieses Phänomen wurde erstmals 1976 von Harry McGurk und John MacDonald entdeckt. Teilnehmer, die sahen, wie der Mund einer Person ein „ga“-Geräusch machte, aber ein „ba“-Geräusch hörten, berichteten häufig, dass sie stattdessen ein „da“ oder einen anderen dritten Laut gehört hätten. [2][3]

Dieser Effekt zeigt, dass bei inkonsistenten visuellen und auditiven Informationen die Wahrnehmungserfahrungen der Menschen verschmelzen und dass das Gehör manchmal durch das Sehen beeinträchtigt wird, was zu fehlerhaften kognitiven Ergebnissen führt. Dieser Effekt verdeutlicht die wichtige Rolle des Sehens bei der Sprachwahrnehmung und den komplexen Mechanismus, mit dem das Gehirn verschiedene Sinnesinformationen integriert.

Der McGurk-Effekt entsteht ebenfalls durch den multisensorischen Integrationsmechanismus. Der Sulcus temporalis superior (STS) und der präfrontale Kortex im Gehirn sind für die Integration von Informationen aus den visuellen und auditiven Kanälen verantwortlich. Der McGurk-Effekt besagt, dass das Gehirn bei einem Konflikt zwischen zwei Sinnesinformationen (visuell und auditiv) versucht, die Informationen zu rationalisieren und zu einem konsistenten Wahrnehmungserlebnis zu verschmelzen. [4]

Dieses Phänomen verdeutlicht, dass unser Gehör nicht einfach aus dem Hörkanal kommt, sondern das Ergebnis einer „Synthese“ des Gehirns ist. Insbesondere wenn die Augen eine Sprachaktion sehen und die Ohren unterschiedliche Sprachsignale hören, vermischt das Gehirn diese Informationen, was dazu führt, dass die wahrgenommene Sprache weder vollständig auf dem Sehen noch vollständig auf dem Hören beruht, sondern auf einer Kombination aus beidem. Dieser Prozess der Wahrnehmungsfusion lässt darauf schließen, dass das Sehen in manchen Fällen unsere Sprachwahrnehmung stärker beeinflussen kann als das Hören.

Beeinflusst das Gespräch mit verschiedenen Personen den audiovisuellen Effekt?

Tatsächlich ist das so. Beispielsweise führen Gespräche mit vertrauten Personen und Gespräche mit unbekannten Personen zu unterschiedlichen McGurk-Effekten.

Auch die Vertrautheit mit dem Gesicht des Sprechers kann unsere Wahrnehmung beeinflussen. Studien haben ergeben, dass der McGurk-Effekt schwächer ist, wenn der Versuchsleiter mit dem Gesicht des Sprechers vertrauter ist. Das bedeutet, dass unser Gehör weniger wahrscheinlich durch das Sehen beeinträchtigt wird. Im Gegenteil: Wenn Sie mit jemandem sprechen, den Sie nicht kennen, müssen Sie Ihre Sehkraft mobilisieren, um zu verstehen, was die andere Person sagt. In diesem Fall ist der McGurk-Effekt stärker. [5]

Der McGurk-Effekt variiert zwischen Gesprächen zwischen Sprechern verschiedener Sprachen. Da die Phonemstruktur und Ausspracheregeln verschiedener Sprachen unterschiedlich sind, kann dies auch den McGurk-Effekt beeinflussen. Beispielsweise können einige Sprachen mehr Doppelkonsonanten oder eine komplexe Konsonantenaussprache aufweisen und diese komplexen phonetischen Komponenten können dazu führen, dass visuelle Informationen bei der Sprachwahrnehmung eine bedeutendere Rolle spielen. Beispielsweise ist der McGurk-Effekt im Kantonesischen stärker als im Mandarin, was bedeutet, dass die Sprachbenutzer sich stärker auf visuelle Informationen verlassen.

Auch die Kommunikationskultur zwischen Menschen in verschiedenen Ländern wirkt sich auf den McGurk-Effekt aus. Beispielsweise legen viele asiatische Kulturen (wie Japan und Korea) bei Gesprächen mehr Wert auf die Interpretation von Gesichtsausdrücken und Körpersprache, was dazu führen kann, dass asiatische Sprecher für das Sprachverständnis stärker auf visuelle Informationen angewiesen sind. Im Gegensatz dazu legen einige westliche Kulturen möglicherweise größeren Wert auf eine genaue verbale Kommunikation und verlassen sich daher in Experimenten zum McGurk-Effekt weniger auf visuelle Informationen.

Welche Bedeutung hat das Verständnis des Phänomens der audiovisuellen Integration?

Das Verständnis der Mechanismen hinter der visuellen und akustischen Integration des menschlichen Gehirns für das Hören könnte auch dazu beitragen, diese Erkenntnisse im Bereich der künstlichen Intelligenz zu nutzen. Beispielsweise kann die Entwicklung eines multimodalen Spracherkennungssystems und die Kombination visueller Informationen mit Spracherkennung die Erkennungsgenauigkeit des Systems in lauten Umgebungen verbessern.

Gleichzeitig kann dies auch bei Hörgeräten für Hörgeschädigte angewendet werden. In Kombination mit visuellen Informationen wird das Sprachverständnis des Benutzers erheblich verbessert. Durch die Kombination von Lippenlesetechnologie kann beispielsweise der Mangel an bestimmten Hörinformationen ausgeglichen werden.

Natürlich kann uns das Verständnis der audiovisuellen Integration auch bei der Lösung alltäglicher Probleme helfen. Beispielsweise kann es uns helfen, die komplexen Mechanismen hinter der Schwerhörigkeit zu verstehen. Wenn wir das nächste Mal andere nicht deutlich sprechen hören, müssen wir nicht daran zweifeln, dass wir „taub“ sind (vielleicht liegt es daran, dass wir eine neue Brille brauchen).

Quellen:

[1] Stein BE, Stanford T R. Multisensorische Integration: aktuelle Probleme aus der Perspektive des einzelnen Neurons[J]. Nature Reviews Neuroscience, 2008, 9(4): 255-266.

[2] https://www.youtube.com/watch?v=jtsfidRq2tw

[3] McGurk H, MacDonald J. Lippen hören und Stimmen sehen[J]. Nature, 1976, 264(5588): 746-748.

[4] Nath AR, Beauchamp M S. Eine neuronale Grundlage für interindividuelle Unterschiede beim McGurk-Effekt, einer multisensorischen Sprachillusion[J]. Neuroimage, 2012, 59(1): 781-787.

[5] Walker S, Bruce V, O'Malley C. Gesichtsidentität und Gesichtssprachverarbeitung: Bekannte Gesichter und Stimmen im McGurk-Effekt[J]. Wahrnehmung & Psychophysik, 1995, 57(8): 1124-1133.

[6] Kombination von Verhaltens- und ERP-Methoden zur Untersuchung der Unterschiede zwischen McGurk-Effekten bei Kantonesisch- und Mandarin-Sprechern

Autor: Wu Qiong (populärwissenschaftlicher Autor)

Gutachter: Pan Chunchen, stellvertretender Chefarzt der Abteilung für Hals-Nasen-Ohrenheilkunde, Erstes angeschlossenes Krankenhaus der Universität für Wissenschaft und Technologie Chinas

Der Artikel wurde vom Science Popularization China-Creation Cultivation Program erstellt. Bei Nachdruck bitten wir um Quellenangabe.