SpellRing: En Smart Ring Platform til Real-Time Amerikansk Tegnsprogsgenkendelse

SpellRing: En Smart Ring Platform til Real-Time Amerikansk Tegnsprogsgenkendelse

Teknik til forandring

Denne historie er en del af Tech for Change: En igangværende serie, hvor vi skinner et fokus på positiv brug af teknologi, og viser, hvordan de hjælper med at gøre verden til et bedre sted.

Opdateret for mindre end 23 timer siden

Smart ringsegmentet er modnet markant i løbet af de sidste par år. Vi er gået ind i æraen med miniaturiserede sensorer, der er klar til ultralydbaseret blodtryksovervågning. Synes, at cirkulært tager en anden dobbelt-sensor-tilgang til måling af blodtryksniveauer og ser endda glukosetrendsanalyse inden næste år.

Sundhedsfølelse har imidlertid været det dominerende applikationsområde for smarte ringe. Nu har eksperter ved Cornell University udviklet en smart ringplatform, der kontinuerligt kan spore amerikansk tegnsprog i realtid og sende det som input til computere og smartphones.

Døbt stavningen, kan det genkende det fulde 26-bogstav i den engelske alfabetspulje. Bæret på tommelfingeren, er denne ring udstyret med en højttaler og mikrofonarray. Sammen tillader de frem og tilbage overførsel af lydbølger genereret med håndbevægelse, mens et gyroskop måler vinkeldataene.

Aktivér JavaScript for at se dette indhold

Tilgængelighed for alle

Stavering, der viser input på en telefon.
Louis DiPietro/Cornell University

Mens ideen allerede lyder som en større sejr til tilgængelighed, kan omkostningerne yderligere øge dens vedtagelse. Prototype -kittet udviklet af teamet kommer ind på omkring $ 30, men de forventer, at det vil dyppe yderligere, når det kommer ind i massefremstillingsfasen.

Den 3D-trykte ring, der er omtrent på størrelse med en kvart mønt, er afhængig af en brugerdefineret dyblærende algoritme for at forstå det sonarbillede, der er skabt af ombordsensorerne. Under deres analyse var frivillige i stand til at stave cirka 20.000 ord på det engelske leksikon.

Stavering, der anerkender engelske breve.
Louis DiPietro/Cornell University

Når de blev testet blandt folk i de tidlige stadier af læring ASL, såvel som erfarne testere, leverede stavningen en nøjagtighed på op til 92% ved at omdanne håndskiltene til tekst. ”ASL er et meget kompliceret, komplekst visuelt sprog,” siger Hyunchul Lim, hovedforfatter af papiret, der beskriver stavningen og tilføjer, at de nu er fokuseret på at indstille algoritmerne for at forstå ord og sætninger.

Potentiale, der har brug for tid til at modne

I henhold til forskningsdokumentet er dette den første bærbare enhed, der integrerer et inertial sensing-system med akustik for at give realtids ASL-fingerspelling-bekvemmelighed. Under deres test viste teamet, hvordan det kan bruges til at udføre websøgning på en telefon, håndtere kortnavigation og skrive tekst i noter.

Person, der viser staveringen.
Louis DiPietro/Cornell University

Holdet bag stavering skubber det ikke som en universel løsning, i det mindste ikke i sin nuværende form. I stedet promoverer de ideen om et hurtigt og tilgængeligt tekstindtastningsværktøj med sit eget sæt fordele.

”Specifikt kan ASL Fingerspelling være markant hurtigere end at skrive på en smartphones virtuelle tastatur,” bemærker forskningsartikelsom vil blive præsenteret på Association of Computing Machinery’s Conference on Human Factors in Computing Systems Conference i Japan næste måned.

Hardware -skema til stavering.
Louis DiPietro/Cornell University

Holdet håber på yderligere at bygge videre på deres arbejde ved at tilføje støtte til bevægelser og evnen til at genkende ord såvel som sætninger. På hardwaresiden håber de på at passe til alle nøglekomponenter, inklusive den intertiale sensor (som i øjeblikket er monteret på et separat tilsluttet bord) på et enkelt samlet bord.

Derefter kan et buet batteri monteres i sættet og til sidst omdanne prototypen til noget, der ligner en smart ring fra hylden, svarende til dem, der tilbydes af Oura eller Samsung. Holdet forestiller sig også udvikling og integration af side med AR-briller, så håndbevægelser kan spores sammen med visionbaseret fortolkning for endnu flere sømløse samtaler.

Støt vores arbejde ❤️

Hvis du kunne lide denne artikel, kan du overveje at give drikkepenge for at hjælpe os med fortsat at udgive kvalitetsindhold.

Sikker betaling med PayPal
Moyens I/O Staff har motiveret dig og givet dig råd om teknologi, personlig udvikling, livsstil og strategier, der vil hjælpe dig.