GIGA Gebärdensprache - prototypische Entwicklung einer App zur Übersetzung von Deutsch zu DGS und umgekehrt
Bereits seit einiger Zeit sind wir Teil des Projekts “GIGA Gebärdensprache”, welches im Rahmen des Wettbewerbs 5G.NRW des Landes Nordrhein-Westfalen für eine Förderung ausgewählt wurde.
In diesem Blogartikel stellen wir euch das Projekt GIGA Gebärdensprache und die Hintergründe vor.
Hintergrund des Projekts:
Technische Assistenzsysteme wie automatische Übersetzungshilfen können dabei helfen Barrieren im Alltag der Nutzenden abzubauen und eine gleichberechtigte Teilhabe zu ermöglichen. Die Übersetzungshilfe von “Google Übersetzer” etwa unterstützt Übersetzungen in 133 Sprachen. Der Service “Amazon Translate” kommt immerhin auf 75 Sprachen.
Beide Übersetzungshilfen haben gemeinsam, dass sie zumindest für einige Sprachen bei den Übersetzungen neuronale Netzwerke nutzen. Das bedeutet, es werden nicht nur die einzelnen Worte übersetzt, sondern Sätze im Ganzen analysiert und Zusammenhänge erkannt.
Diese künstlichen neuronalen Netze stellen einen Zweig der KI dar und sind in der Lage anhand von verfügbaren Daten trainiert zu werden. Der Einsatz neuronaler Netze liefert heute präzisere Übersetzungen als andere Verfahren, die etwa auf statistischen Auswertungen beruhen.
Was hat das mit unserem Projekt GIGA Gebärdensprache zu tun?
Insbesondere für die Übersetzung von deutscher Laut- und Schriftsprache in Deutsche Gebärdensprache (DGS) und umgekehrt existieren automatische Übersetzungshilfen noch nicht. Dies liegt nicht zuletzt an den bisherigen technologischen Grenzen.
Die Entwicklungen in der KI-basierten maschinellen Übersetzung, der neue Mobilfunkstandard 5G mit hohen Datenraten und geringen Latenzzeiten (Reaktionsgeschwindigkeiten), Cloud-Technologie und leistungsstarke Smartphones – all diese Aspekte bilden die Basis für eine neue Generation Assistenzsysteme und somit auch unser Projekt.
Ziel des Projekts:
Ziel des Projekts GIGA Gebärdensprache ist die prototypische-Entwicklung eines technischen Assistenzsystems. Der Prototyp, in Form einer mobilen App, soll die automatische Übersetzung von Deutsch (Schrift und Audio) in Deutsche Gebärdensprache (DGS) und umgekehrt in Echtzeit ermöglichen.
Umsetzungsschritte des Projekts:
- Ermitteln möglicher Use Cases des Assistenzsystems mit Nutzenden der DGS (bspw. Arzt- oder Behördenbesuch)
- Aufbauen eines Basiswortschatzes zu den ausgewählten Use Cases. Hierfür werden mit einer Lern-App Aufnahmen gemacht, bei denen DGS-Nutzende vorgegebene Sätze gebärden.
- Entwicklung eines Bildanalyseverfahrens basierend auf maschinellem Lernen, das mit den Daten des Basiswortschatzes trainiert werden kann.
- Entwicklung einer passenden UX/UI für das Erfassen der Nutzungssituation und den Kommunikationsablauf.
- Erforschen der Umsetzungsmöglichkeiten eines 3D-Avatars, der Texte visuell in DGS ausgeben kann.
- Programmieren der eigentlichen App die alle Funktionen integriert.
- Dokumentation und Dissemination der Forschungsergebnisse.
Wie soll die App funktionieren?
Vereinfacht gesagt sollen DGS-Nutzende mittels der App auf dem Smartphone mit hörenden Personen ohne App auf dem Smartphone via Anruf kommunizieren können.
Dafür wird mit der App ein Videostream der Gebärden aufgenommen und über das 5G Netz in die Cloud übertragen. Die KI in der Cloud wertet die Gebärden im Videostream aus und übersetzt die erkannte DGS in Deutsch (Text) und erzeugt daraus eine Audio-Ausgabe. Diese Audio-Ausgabe wird dann an die hörende Person gesendet.
Aus der gesprochenen Antwort der hörenden Person wird der Audiostream wieder an die KI in der Cloud gesendet. Hier findet die Umwandlung in Text und nach Möglichkeit die Übersetzung in DGS mittels eines Avatars statt und wird wieder an die gebärdende Person gesendet. Alternativ wird die Ausgabe auch in Textform erfolgen.
Schematische Darstellung der Funktion Video zu Text
Das Projektteam:
Da unser Vorhaben Expertisen aus verschiedenen Bereichen erfordert, haben wir eine interdisziplinäre Zusammenarbeit mit unterschiedlichen Partner:innen gestartet:
Die Universität zu Köln bringt die linguistische Perspektive der Deutschen Gebärdensprache (DGS) in das Projektteam ein. Zusätzlich stellt sie eine Verbindung zur Gebärdensprache-Community her, um die Wünsche und Bedürfnisse von DGS-NutzerInnen bezüglich der notwendigen Funktionalitäten der App sowie ihrer Anwendungsgebiete zu ermitteln. Weitergehend ist sie zuständig für die Erhebung und Aufbereitung von Sprachdaten der DGS.
Die Gebärdensprache-Community
Für den Aufbau des Basiswortschatzes und das Training der KI benötigen wir Daten von möglichst vielen DGS-Nutzenden. Die Umsetzung des Projekts wäre ohne die Hilfe und die Impulse aus der DGS-Community nicht möglich, weshalb Sie an dieser Stelle nicht unerwähnt bleiben soll.
Universität Münster - ausführende Stelle REACH – EUREGIO Start-up Center
Die Computer Vision & Machine Learning Systems Group (CVMLS) entwickelt die Machine Learning und Bildanalyseverfahren, welche bei den Übersetzungen der Audiostreams zum Einsatz kommen.
Universität Münster - ausführende Stelle ERCIS – European Research Center for Information Systems
Das ERCIS beschäftigt sich mit dem Kontext der technischen Entwicklung und ihrer gesellschaftlichen Einbettung. Dazu gehören die Erforschung von Anforderungen, die kontinuierliche Evaluation dieser Anforderungen, die Erhebung von mehrwertbietenden Szenarien sowie die wissenschaftliche Dissemination der Projektergebnisse.
cynapsis erarbeitet im Projekt entsprechend der ermittelten Anforderungen der NutzerInnen und Nutzungsszenarien die Abläufe und das User-Interface der zu erstellenden Prototypen, bereitet sie für die technische Umsetzung vor und begleitet aktiv das Testen und die Optimierung der Prototypen zum Erreichen einer bestmöglichen User Experience.
Als Technologiepartner steuert Vodafone dem Projekt wichtige Expertise im Bereich 5G bei.
Nexaion GmbH
Wir sind im Projekt zuständig für die Programmierung der Schnittstellen, App-Funktionen und Nutzeroberflächen der verschiedenen App-Prototypen mit den dazugehörigen Datenbanken. Außerdem übernehmen wir das übergreifende Projektmanagement.
In den nächsten Wochen werden wir euch an dieser Stelle weitere Einblicke in das Projekt geben. Auf den folgenden Seiten könnt ihr euch auch informieren:
Auf derWebsite des 5G.NRW Competence Center findet ihr eine Projektbeschreibung auch in DGS:
https://5g.nrw/best-practice/giga-gebaerdensprache/
Zudem findet ihr weitere Informationen auch auf unserer Projektwebsite:
https://giga-gebaerdensprache.cynapsis.io/
Das Projekt GIGA Gebärdensprache wird im Rahmen des Wettbewerbes 5G.NRW des Landes Nordrhein-Westfalen gefördert.
