Der Klang der Gedanken

Ein aufsehenerregendes Forschungsergebnis will Menschen, die aufgrund von neuronalen Erkrankungen nicht sprechen können, wieder eine Stimme geben. Neurosprachprothesen machen Gedanken hörbar.

Sire, geben Sie Gedankenfreiheit!“, ließ Friedrich Schiller seinen Marquis von Posa in „Don Carlos“ bei König Phi­lipp II von Spanien einfordern. Gedanken, meinte Schiller im 18. Jahrhundert, die auch ausgesprochen werden dürfen, ohne den Betroffenen zum Opfer von Verfolgung werden zu lassen. Und es ist keine Science Fiction, wenn jetzt Gedanken nicht nur frei, sondern hörbar werden: In einer mehrjährigen Zusammenarbeit zwischen dem Cognitive Systems Lab (CSL) an der Uni Bremen, dem Department of Neurosurgery an der Maastricht Universität sowie dem ASPEN Lab an der Virginia Commonwealth Universität wurde eine Neurosprachprothese entwickelt, die sprachbezogene neuronale Prozesse im Gehirn direkt in hörbare Sprache umsetzt. Dazu stellen sich freiwillige Probanden vor, zu sprechen – die dabei entstehenden Gehirnstromsignale werden direkt in hörbare Ausgabe überführt – und zwar in Echtzeit ohne wahrnehmbare Verzögerung.

Hartes Training

Der Prozess des „Hörbar-Machens“ muss gut vorbereitet sein. Konkret war in den Forschungsprozess eine 20-jährige Probandin eingebunden, die an Epilepsie litt. Ihr wurden Tiefenelektroden eingesetzt. Sie musste in einem ersten Durchgang Worte hörbar sprechen, sodass diese Art der Künstlichen Intelligenz in der Versuchsanordnung eine Basis hatte, mit der sie weiterarbeiten konnte. Abschließend war es dann möglich, dass die Frau nach zuerst leiser werdender Stimme letztlich nur durch das Denken des „Gesagten“ hörbar blieb bzw. wurde. Oder wie es Tanja Schultz, die Leiterin des CSL, ausdrückt: „Die Probanden hören sich reden, obwohl sie sich das Sprechen nur vorstellen.“ Die Informatikerin forscht seit 2015 als Professorin und Leiterin des „Cognitive Systems Lab“ (CSL) an der Universität Bremen (www.uni-bremen.de/csl).

Im Fokus stehen dabei Brain-Computer-Interfaces, auf Deutsch Gehirn-Computer-Schnittstellen (BCI), die Sprachprozesse im Gehirn in hörbare Sprache überführen oder in eine für Menschen lesbare Form transformieren. Neuronale Erkrankungen können zur Folge haben, dass betroffene Personen verstummen und ohne fremde Hilfe nicht mehr mit der Außenwelt kommunizieren können. Sprachprothesen, die neuronale Signale direkt in Sprache oder Text umwandeln, bieten großes Potenzial für alternative Kommunikationswege. Seit mehreren Jahren forscht und entwickelt das CSL in Zusammenarbeit mit amerikanischen Kooperationspartnern in diesem Bereich.

Wenn Neuronen kommunizieren

Die vom CSL entwickelte Methode verwendet als Eingabesignale Gehirnaktivitäten, die während des Sprechens abgeleitet werden. Denn der menschliche Sprechvorgang wird durch Sprachprozesse im Gehirn initiiert und durchgehend begleitet. Genau diese Prozesse können durch elektrische Potentiale, welche durch die Kommunikation einer Vielzahl von Neuronen entstehen, von Elektroden aufgezeichnet werden. Eine Analyse dieser Aktivitäten durch geeignete Mustererkennungsverfahren erlaubt es, von den aufgezeichneten elektrischen Potentialen Rückschlüsse auf die gesprochene Sprache zu treffen. Die erkannte Sprache kann anschließend als Text ausgegeben oder direkt akustisch synthetisiert werden. Die neuronalen Eingabesignale in Form elektrischer Potentiale werden von den amerikanischen Kooperationspartnern beigesteuert, die sich auf eine invasive Technologie stützen, bei der den Patienten aufgrund medizinischer Notwendigkeiten in einem operativen Eingriff Elektroden auf dem Kortex platziert oder über Tiefenelektroden in das Gehirn eingebracht werden. Durch die direkte Transformation neuronaler Signale in hörbare Sprache hoffen die Bremer Forscherinnen und Forscher, zukünftig neuronale Sprachprothesen zu entwickeln, die es Menschen ermöglichen, kraft ihrer Gedanken zu kommunizieren.

Lautlose Sprachkommunikation mit Elektromyographie

Im Zentrum der Forschungstätigkeit des CSL stehen die kognitiv technischen Systeme zur Mensch-Maschine-Interaktion, basierend auf Sprache sowie nonverbalen Kommunikationssignalen. „Lautlose Sprachkommunikation“ und „Airwriting“ beschreiben die wichtigsten Projekte. Schon bei der „lautlosen Sprachkommunikation“ erzielte das Team von Tanja Schultz Ergebnisse durch die Messung elektrischer Muskelaktivität. Ein Ergebnis davon ist die Möglichkeit des „lautlosen Telefonierens“. Dabei erfasst ein Gerät die Muskelbewegungen der Kiefer und schließt daraus auf die geäußerten Worte. Um das lautlose Sprechen zu erfassen, kleben die Wissenschaftler der Universität Bremen ihren Probanden je vierzig Elektroden auf die Wangen und unter das Kinn. Die Sensoren leiten die subtilen Änderungen der elektrischen Spannung ab, die aufgrund der Muskelbewegungen beim Sprechen auftreten (Elek­tromyografie). Diesen Text kann eine Sprachsynthesesoftware dann vorlesen. Unter anderem dafür wurde der Forscherin im Jahr 2012 der Alcatel-Lucent Forschungspreis überreicht. An der Universität Bremen etablierte sie schließlich das Biosignale-Labor, das als Grundlage für das CSL und somit weitere Forschungsergebnisse dient. Das CSL spielt eine wesentliche Rolle bei der Übersetzung der sachbezogenen neuronalen Prozesse im Gehirn in hörbare Sprache. Die Basis dabei stellt das Closed-Loop-System dar, das imstande ist, Technologien aus der modernen Sprachsynthese mit Brain-Computer-Interfaces zu verbinden. Dieses Closed-Loop-System wurde von Miguel Angrick am CSL entwickelt. Es erhält als Eingabe die neuronalen Signale der Nutzerinnen, die sich vorstellen zu sprechen, transformiert diese mittels maschineller Lernverfahren praktisch zeitgleich in Sprache und gibt diese hörbar als Feedback an die Nutzer aus. „Dadurch schließt sich der Kreis vom Vorstellen des Sprechens und dem Hören ihrer Sprache“, so Angrick. Angricks spezielle Forschungsinteressen liegen auf der automatischen Spracherkennung und den Brain-Computer-Interfaces.

Gedankenleserin.

Tanja Schultz forscht an der Kraft der Gedanken. In ihren Projekten nützt sie neuronale Ströme und transformiert sie in hörbare Signale.

Zukunft

Den Brain-Computer-Interfaces gehört die Zukunft. Sie sind nicht nur das ultimative Versprechen als Erlebnis-Komponente in der Unterhaltungsindustrie bei Video-Spielen. Sie finden auch im Gesundheitsbereich ihre Anwendung – hier vor allem im Bereich der Rehabilitation. Brain-Computer-Interfaces helfen körperlich eingeschränkten Menschen ohne Muskelkraft, mit ihrer Vorstellungskraft wieder Fähigkeiten zu erlangen, die sie mit der Außenwelt kommunizieren lassen: So war es Nathan Copeland möglich, den damaligen US-Präsidenten Barack Obama im Oktober 2016 mit einem (heute sogar Corona-gerechten) Fist Bump zu begrüßen. Ausgeführt mit seinem Metall-Arm, den er mit der Kraft seiner Gedanken steuerte. Copeland kommuniziert mittels Gesten.
Mit dem Closed-Loop-System will man den ersten Schritt zu Neurosprachprothesen gemacht haben, die „für Menschen hilfreich sein könnten, die aufgrund neuronaler Erkrankungen verstummt sind und ohne fremde Hilfe nicht mit der Außenwelt kommuniziert können“, verkünden Miguel Angrick und Tanja Schultz in einer Presseaussendung der Uni Bremen.    //