Entwicklungen auf dem Gebiet der automatisierten Gebärdenspracherkennung
Wie sieht es mit den Entwicklungen auf dem Gebiet der automatisierten Erkennung und Übersetzung von Gebärdensprache und der automatischen Übersetzung von lautsprachlichen Texten in Gebärdensprache mittels Avatartechnologie aus? Seit geraumer Zeit beschäftigen sich Unternehmen wie Microsoft, Signtime, MotionSavvy, SignAll und verschiedene Universitäten mit diesen Themen. Bislang gibt es allerdings nur Prototypen die sich noch in der Entwicklungsphase befinden und keine marktreifen technischen Lösungen. Im folgenden möchte ich einen kurzen Überblick über die verschiedenen Entwicklungen geben. Falls es weitere Entwicklungen gibt, die ich hier nicht aufgeführt habe, bin ich natürlich sehr dankbar für eure konstruktiven Hinweise. Ich möchte auch ausdrücklich betonen, dass m. E. solche Hilfsmittel in vielen Situationen bei der Kommunikation unterstützen können, aber nicht in der Lage sind einen Dolmetscher zu ersetzen.
Kommunikations-Tools
MotionSavvy
https://youtu.be/NN_WsMd6YIc
Mit dem UNI entwickelt das amerikanische Startup MotionSavvy, was sich zunächst über Crowdfunding finanzierte, ein Endgerät für die Echtzeit-Übersetzung von ASL (American Sign Language) in die Amerikanische Lautsprache um die Kommunikationsmöglichkeiten zwischen Signern und Nicht-Signnern zu verbessern. Das UNI soll allerdings Lautsprache nur als Text ausgeben können.
Im Übersetzungs-Tablet ist die Leapmotion-Technologie verbaut, wodurch es ohne aufwändige Kameraaufbauten auskommen soll. Allerdings wird mit dem aktuellen Prototyp keine Mimik des Gebärdenden erfasst und dadurch ein entscheidender Sprachaspekt ausgeblendet.
Das Endgerät ist derzeit in der Pilotphase und kann zunächst nur von Unternehmen getestet werden. Wenn diese Pilotphase abgeschlossen ist, soll das UNI auch für Privatpersonen erhältlich sein.
SignAll
https://youtu.be/d9lRlD4DrNc
Der SignAll-Prototyp verwendet 3 Kameras, einen Tiefensensor und einen durchschnittlichen PC. Die Kameras sind im Raum um den Gebärdenden platziert und können so die Handform, -Stellung, und -Bewegung kontinuierlich verfolgen. Der Prototyp ist derzeit in der Lage einen Teil des Wortschatzes eines ASL-Signers in Lautsprache zu übersetzen.
Das Unternehmen geht davon aus, dass die Barrieren zwischen Hörenden und tauben Menschen durch Technik überwunden werden können und will die modularen Komponenten des Prototypen Schritt für Schritt durch kleinere und bessere Technik ersetzen.
Kinect Sign Language Translator
In Zusammenarbeit zwischen Microsoft Research Asia, der Chinesischen Akademie der Wissenschaften, und der Beijing Union University entstand das Projekt Kinect Sign Language Translator. Ziel des Projekts ist es, ein technisches Kommunikationsmittel zu schaffen, was in Echtzeit Gebärdensprache in Lautsprache und Lautsprache in Gebärdensprache übersetzen kann. Dabei erfolgt die Ausgabe für den Signer durch einen gebärdenden Avatar auf einem PC-Monitor. Als Aufnahme-Technik kommt die Microsoft Kinect Kamera zum Einsatz.
Der Kinect Sign Language Translator lieferte 2013 bereits gute Ergebnisse bei der Gebärden-Erkennung die auf eine bestimmte Person, zugeschnitten war (Dolmetscher-Modus). An der Spracherkennung eines beliebigen Signers (Kommunikations-Modus) arbeitet das Entwicklerteam seither. Das System befindet sich noch immer als Prototyp in der Entwicklungsphase.
Durch die Veröffentlichung des Kinect for Windows SDK ist es praktisch jedem Entwickler möglich, Anwendungen in diesem Bereich zu programmieren.
Weitere Links zu Projekten und Masterarbeiten die sich mit Gebärdenspracherkennung mittels Kinect beschäftigen:
- Bachelorarbeit: Sign Language Recognition with Kinect
- Kinect Translation Tool: From Sign Language to spoken text and vice versa
- Masterarbeit: Sign language translator using Microsoft Kinect XBOX 360
Avatare
Machbarkeitsstudie zur Nutzung von Gebärdenavataren
Das BMAS hat eine Studie in Auftrag gegeben, um zu klären, inwieweit Gebärdenavatare wesentliche Fortschritte in der Erreichung von Barrierefreiheit im Internet erzielen könnten und unter welchen Bedingungen die Erreichung gewährleistet ist. Die Studie zeigt mit Hilfe von Literaturanalyse, Umfragen und technischer Machbarkeitstest, dass Gebärdenavatare, die mit menschlicher Unterstützung Internetinhalte darstellen, langfristig realisierbar sind. Die Umfragen mit über 330 Befragten zeigten auch, dass Avatare von Seiten der gehörlosen Menschen grundsätzlich für sinnvoll gehalten werden.
SiMAX
Seit 2011 befindet sich der wohl bekannteste Gebärdensprach-Avatar „SiMAX“ in der Entwicklungsphase. Entwickelt wird das System von Signtime TV, matrixx IT-Services, IBM, Uni Wien Institut für Anthropologie und der Community der Gehörlosen. Dabei wird Text halbautomatisiert in Gebärdensprache übersetzt. Denn der automatisierte Übersetzungsvorschlag wird von einem gebärdensprachkompetenten Übersetzer (gehörlos oder hörend) überarbeitet und erst dann wird ein Video mit einem Avatar erstellt.
Open-Source-Software von Yeny Carias
Über die Avatar-Software von der in Honduras an der Universidad Nacional Autónoma arbeitenden Professorin Yeny Carias findet man leider nur eine kurze Information aus dem Jahr 2014. Eine versuchte Kotaktaufnahme über Facebook mit Yeny Carias blieb leider bisher erfolglos.
