23.05.2018

Mit den Augen hören

Jeder kennt die Situation: Bei einer lauten Party können wir einem Gespräch besser folgen, wenn wir das Gesicht unseres Gesprächspartners und allem voran seine Lippenbewegungen betrachten. Aber was genau passiert beim "Lippenlesen" im Gehirn? Wird das rein visuelle Signal in ein akustisches "Format" übersetzt um Sprachverarbeitung zu unterstützen?

Und wenn ja, wie interagieren einzelne Gehirnareale dabei? Mit diesen Fragestellungen beschäftigt sich ein Team von Wissenschaftlern der Physiologischen Psychologie an der Universität Salzburg rund um Dr. Anne Hauswald. Aufgrund der bedeutenden Rückschlüsse für Sprachverarbeitung bei hörgeschädigten Individuen kooperiert das Team auch zunehmend mit der HNO Klinik in den Salzburger Landeskliniken.

In einer Studie, welche kürzlich in der renommierten Zeitschrift Current Biology veröffentlicht wurde, haben sich die Salzburger unter anderem gefragt, in welcher Form visuelle Informationen beim Lippenlesen verarbeitet werden. Dazu wurde an einer Gruppe von 24 Teilnehmern eine Magnetenzephalographie, eine Messung der magnetischen Aktivität des Gehirns, durchgeführt, während ihnen Videos mit Lippenbewegungen ohne Ton vorgespielt wurden. Die Lippenbewegungen wurden dabei vorwärts und zum Vergleich auch rückwärts abgespielt.

Die Wissenschaftler fanden heraus, dass bereits auf der Ebene des sogenannten visuellen Kortex die visuellen Informationen in ein akustisches Format umwandelt werden – allerdings nur bei vorwärts abgespielten Videos. Dies ist insofern bahnbrechend, zumal der visuelle Kortex - eine Region, die nach gängiger Meinung rein auf visuelle Reize reagieren sollte - für Sprachverständlichkeit empfänglich ist und mit einem Transformationsprozess reagiert: „Bei Beobachtung natürlicher Lippenbewegungen, fügt also der visuelle Kortex die ‚akustische Hülle‘ hinzu, selbst wenn sie gänzlich im Signal fehlt“, erklärt Dr. Anne Hauswald.

Die Fortführung dieser innovativen Forschung wird in Zukunft durch ein kürzlich bewilligtes FWF-Projekt gefördert. Darin sollen auch Personen, die ihr Gehör verloren haben, untersucht werden. Neben den spannenden grundlagenwissenschaftlichen Fragestellungen kann die Forschung weitreichende Folgen für die Rehabilitation nach Cochlea Implantaten haben. Bei diesen Hörprothesen wird der Hörnerv direkt stimuliert und das geschädigte Innenohr umgangen. Trotz großer Fortschritte in der Technologie kann der Rehabilitationserfolg jedoch massiv zwischen Patienten schwanken. „Da die vermittelten Höreindrücke am Anfang fremd erscheinen, stehen die Patienten vor der Herausforderung, gewissermaßen das Hören neu zu erlernen“, so Dr. Hauswald. Die Salzburger Forscher vermuten, dass die von ihnen entdeckten Prozesse bei der Rehabilitation eine entscheidende Rolle spielen könnten. „Die mit den verzerrten akustischen Reizen eintreffenden visuellen Informationen können, wenn effizient in ein akustisches Format umgewandelt, eine entscheidende Lernhilfe sein, den akustischen Signalen einen Sinn zu geben“, so Hauswald.

Foto: Universität Salzburg

Kontakt: Dipl.-Psych. Dr. Anne Hauswald Fachbereich
Psychologie, Tel.: +43 662 8044 5135, E-Mail: kristinanne.hauswald@sbg.ac.at

Oder: anne.hauswald@me.com

 

Mag. G. Pfeifer

PR-Leitung

Universität Salzburg

Kapitelgasse

Tel: 8044-2435

E-Mail an Mag. G. Pfeifer

Quelle: Universität Salzburg

  • ENGLISH English
  • News
    Die Salzburger Armenien-Expertin Jasmine Dum-Tragut berichtet in den Salzburger Nachrichten vom 12. Oktober über die Situation in Bergkarabach in Armenien. Die Wurzeln des Konflikts gehen hier weit zurück. Das macht einen Kompromiss momentan schwermöglich.
    Im Rahmen eines sechsjährigen Laserscan-Monitorings in den Hohen Tauern haben Geowissenschaftler aus Österreich, Deutschland und der Schweiz (GEORESEARCH, Universität Salzburg, TU München, Universität Bonn, Universität Lausanne) den Zusammenhang zwischen aktuellem Gletscherrückgang und Steinschlagaktivität untersucht.
    Buchneuerscheinung der MINT und Medien Didaktik der Universität Salzburg beim Waxmann Verlag.
    HOFER Praxisworkshop am 17.12.2020
    Der EPU Projekt Call 2020 ist ab sofort geöffnet! Einreichtermin ist der 17. November 2020 (12:00 Uhr).
    mit Jun.-Prof. Dr. Matthias Niedenführ, MA (Universität Tübingen) am 20. Oktober 2020 um 18:00 Uhr in der Bibliotheksaula.
    Am Dienstag, 13. Oktober, starten die Vorträge der Ring-Vorlesung „Ungleichheiten reduzieren – Sustainable Development Goal 10 im Fokus“ an der Abteilung Soziologie und Kulturwissenschaften mit vielen spannenden Gästen.
    Der Fachbereich Slawistik lädt zusammen mit dem Kulturzentrum DAS KINO und dem Russlandzentrum zur fünften Kinoreihe mit ost- und mittelosteuropäischen Filmen ein. Im Rahmen des Filmklubs „Slawistyka, Slavistika, Cлавистика“ werden preisgekrönte aktuelle polnische, russische und tschechische Filme mit gesellschaftlicher und politischer Thematik gezeigt.
    In Kooperation mit dem œnm.
    Citizen-Science-Fotos posten und gewinnen!
    Ein neu erschienener Herausgeberband diskutiert Migration im Kontext von Bildung als innerwissenschaftliche sowie als außerwissenschaftliche Problemstellung. Die Publikation versammelt Beiträge aus der jährlich stattfindende Vortragsreihe „Erziehungswissenschaftliche Migrationsforschung in vergleichender Perspektive“.
    Salzburger Armenien-Expertin Dum-Tragut berichtet aus Jerewan und wendet sich mit Hilfsappell auch an Bundespräsident Van der Bellen und Bundeskanzler Kurz.
    DI 13. Oktober 2020, 19:30 Uhr, Atelier im KunstQuartier, Bergstr. 12a, Salzburg. Die Reihe SWEET SPOT versteht sich als Forum klassischer und ganz neuer Produktionen Elektroakustischer Musik in Salzburg. Es werden Stücke des Genres gehört und miteinander diskutiert. Begleitet wird jedes Konzert mit einer kurzen Einführung und der Möglichkeit, sich iüber das Gehörte auszutauschen.
    Mi 20. Oktober 2020, 18:00-19:00, Atelier im KunstQuartier, Bergstraße 12, 5020 Salzburg - Zugangsdaten: Webinar (Webex Meeting): https://globalpage-prod.webex.com/join - Meeting number (access code): 137 220 1546 - Meeting password: WPg2Dwq4X4b
    Bis zum 31. Oktober ist die Bewerbung auf zwei Dissertationspreise (dotiert mit jeweils 2.000 Euro) möglich:
    Frequently Asked Questions (FAQ) zum Corona-Semester
  • Veranstaltungen
  • 21.10.20 Gesundheitsfördernde Effekte von Musikhören – Die Rolle des psychobiologischen Stressystems
  • Alumni Club
  • PRESSE
  • VERANSTALTUNGSRÄUME
  • STELLENMARKT
  • Impressum
  • Facebook-Auftritt der Universität Salzburg Twitter-Auftritt der Universität Salzburg Instagram-Auftritt der Universität Salzburg Flickr-Auftritt der Universität Salzburg Vimeo-Auftritt der Universität Salzburg