KI-Ring revolutioniert die Gebärdensprache

TLDR: Ein Forschungsteam der Cornell-Universität hat einen bahnbrechenden KI-Ring entwickelt, der das Fingeralphabet der Amerikanischen Gebärdensprache (ASL) in Echtzeit erkennen kann. Diese Innovation könnte die Art und Weise, wie gehörlose und hörgeschädigte Menschen mit der digitalen Welt interagieren, grundlegend verändern.

SpellRing: Klein aber leistungsstark

Der "SpellRing" ist ein kleiner Ring, den man am Daumen trägt. Er hat eine besondere Technik, die man auch Mikro-Sonar-Technologie nennt und ist so gross wie ein 2-Euro-Stück. Der Fing verfügt ausserdem über:

• Ein Mikrofon und einen Lautsprecher zur Aussendung und zum Empfang unhörbarer Schallwellen
• Ein Mini-Gyroskop zur Erfassung der Handbewegungen
• Ein 3D-gedrucktes Gehäuse für alle Komponenten

Die ausgesendeten Schallwellen werden von den Fingern reflektiert und vom Mikrofon wieder aufgefangen. Diese Daten werden von einem speziellen Deep-Learning-Algorithmus verarbeitet, der die Handbewegungen in Echtzeit in Buchstaben übersetzt.

Beeindruckende Genauigkeit in Tests

Das Forschungsteam unter der Leitung von Hyunchul Lim, Doktorand im Bereich Informationswissenschaften, evaluierte den SpellRing mit 20 erfahrenen und unerfahrenen ASL-Nutzern. Die Teilnehmer wurden gebeten, über 20.000 Wörter unterschiedlicher Länge zu buchstabieren. Die Ergebnisse waren bemerkenswert:

• Genauigkeitsrate zwischen 82% und 92%
• Variation je nach Schwierigkeitsgrad der Wörter
• Vergleichbare Genauigkeit wie bei bestehenden Systemen, die deutlich mehr Hardware benötigen
• Praktische Anwendung im Alltag

Im Gegensatz zu früheren Technologien zur Erkennung von Gebärdensprache, die oft sperrig und unpraktisch waren, bietet der SpellRing eine tragbare und benutzerfreundliche Lösung. In seiner aktuellen Form ermöglicht er:

• Texteingabe in Computer oder Smartphones durch Fingeralphabet
• Besonders nützlich für Eigennamen, technische Begriffe und andere Wörter ohne entsprechende Gebärden

"Viele andere Technologien zur Erkennung von Fingeralphabet in ASL wurden von der gehörlosen und hörgeschädigten Gemeinschaft nicht angenommen, weil die Hardware sperrig und unpraktisch war", erklärt Lim. "Wir wollten einen einzigen Ring entwickeln, der alle subtilen und komplexen Fingerbewegungen in ASL erfassen kann."

Die Herausforderungen der Entwicklung

Die Entwicklung eines Systems, das 26 Handformen erkennen kann – insbesondere da Gebärdensprachnutzer die Form bestimmter Buchstaben für Effizienz, Geschwindigkeit und Fluss natürlich anpassen – war keine einfache Aufgabe.

"Die Variation zwischen den Buchstaben kann erheblich sein", sagte Cheng Zhang, Assistant Professor für Informationswissenschaften und Mitautor der Forschungsarbeit. "Es ist schwer, das zu erfassen."

Das Forschungsteam plant aber bereits die nächsten Schritte für eine umfassendere ASL-Übersetzung:

• Integration des Mikro-Sonar-Systems in eine Brille zur Erfassung von Oberkörperbewegungen und Gesichtsausdrücken
• Entwicklung eines umfassenderen ASL-Übersetzungssystems
• Mögliche Erweiterung auf komplette Gebärden und Sätze

"Gehörlose und hörgeschädigte Menschen nutzen mehr als nur ihre Hände für ASL. Sie verwenden Gesichtsausdrücke, Oberkörperbewegungen und Kopfgesten", erklärte Lim, der im Rahmen seiner SpellRing-Forschung Grund- und Aufbaukurse in ASL an der Cornell absolvierte. "ASL ist eine sehr komplizierte, komplexe visuelle Sprache."

Bedeutung für die Zukunft der Barrierefreiheit

Mit der Weiterentwicklung dieser Technologie könnte der SpellRing einen entscheidenden Beitrag zur digitalen Inklusion leisten und die Kommunikationsbarrieren zwischen der hörenden und der gehörlosen Gemeinschaft weiter abbauen. Er repräsentiert einen bedeutenden Schritt in Richtung intuitiverer und natürlicherer Schnittstellen zwischen Menschen mit Hörbehinderungen und digitalen Geräten.

Jane Lu, Doktorandin im Bereich Linguistik und Mitautorin der Studie, betont: "Fingeralphabet, obwohl nuanciert und aus technischer Sicht schwer zu verfolgen, macht nur einen Bruchteil von ASL aus und ist nicht repräsentativ für ASL als Sprache. Wir haben noch einen weiten Weg vor uns bei der Entwicklung vergleichbarer Geräte für die vollständige ASL-Erkennung, aber es ist ein spannender Schritt in die richtige Richtung."

Die Forschungsergebnisse werden auf der Konferenz der Association of Computing Machinery zu Human Factors in Computing Systems (CHI) vom 26. April bis 1. Mai in Yokohama, Japan, vorgestellt.

Diese Forschung wurde von der National Science Foundation finanziert. Weitere Mitautoren der Studie sind Nam Anh Dang, Dylan Lee, Tianhong Catherine Yu, Franklin Mingzhe Li, Yiqi Jin, Yan Ma und Xiaojun Bi.

Fragen zu KI und Digitalen Geschäftsmodellen? #fragRoger

Willst du mehr wissen? Sehr gerne komme ich auch bei Dir, bei deiner Firma, deiner ERFA Gruppe oder deinem Verband vorbei und helfe mit einem Workshop oder Input Referat.

Lass uns gerne mal unverbindlich sprechen. Also wenn ich helfen kann, wende dich gerne an mich #fragRoger und abonnier meinen offiziellen Newsletter.

Disclaimer: dieser Artikel wurde nach meinem eigenen Wissen und dann mit Recherchen mit KI (Perplexity.Ai und Gemini.Google.com) manuell zusammen gestellt und mit Deepl.com/write vereinfacht. Der Text wird dann nochmals von zwei Personen meiner Wahl gelesen und kritisch hinterfragt. Das Bild stammt von Ideogram und ist selbst erstellt. Dieser Artikel ist rein edukativ und erhebt keinen Anspruch auf Vollständigkeit. Bitte melde dich, wenn Du Ungenauigkeiten feststellst, danke.

Quelle und weitere Informationen:

[...] https://news.cornell.edu/stories/2025/03/ai-ring-tracks-spelled-words-american-sign-language

[...] https://www.linkedin.com/in/hyunchul-lim

[...] https://sites.google.com/site/cornelllanguagedocumentation/people