A kutatók mesterséges intelligenciát használtak, hogy a szokásos okostelefont egy pontos kézmozgás-mérő eszközzé alakítsák.

Új óra-alkalmazás a Cornell University és a KAIST részéről

A Cornell University (USA) és a Korea Advanced Institute of Science and Technology (KAIST) tudósai létrehozták a WatchHand rendszert, amely az egyszerű okosórákat teljes körű kézrövidítési nyomkövetővé alakítja. A rendszer csak az óra beépített hangszóróját és mikrofonját használja, külső szenzorok nélkül.

Hogyan működik a WatchHand
1. Akusztikus jel – az óra elhanyagolható hanghullámokat bocsát ki.
2. Eko-felvétel – a mikrofon rögzíti a visszhangot és egy eko-profilt alkot.
3. Eszközön történő feldolgozás – egy helyben futó gépi tanulási algoritmus átalakítja a profilt három tengelyen lévő kéz koordinátákká.

Így az adatok közvetlenül az órán kerülnek feldolgozásra, ami biztosítja a magánélet védelmét és minimális késleltetést.

Előnyök
WatchHand mutatója | Hagyományos megoldások | Nem igényel külső szenzorokat ✔❌ (kamerák, IMU-szenzorok) | Mindennapi használatra alkalmas ✔❌ | Skálázhatóság milliókig ✔❌ | Adatok helyi feldolgozása ✔❌

Tesztelés
- Résztvevők – 40 fő.
- Adatok – körülbelül 36 óra gesztus, négy független kísérletből gyűjtve.
- Platformok – több okosóra modell.
- Forgatókönyvek – különböző kézpozíciók és zajos környezetek.

Az eredmények megbízható ujjmozgás- és csuklóforgatás‑követést mutattak még nehéz körülmények között is.

Alkalmazási kilátások
* Gépek és alkalmazások gesztusokkal történő vezérlése.
* Interakció AR/VR rendszerekkel.
* Segítség mozgáskorlátozott vagy beszédképessége szűkösek számára.

A KAIST doktori hallgatója, Jivan Kim megjegyzi: „Ha az eszköznek van hangszórója és mikrofonja, a módszerünk alkalmazható.”

Korlátok és jövő
* Jelenleg csak Android‑eszközökön működik.
* Pontosság csökken a felhasználó mozgása közben (pl. sétálás során).

A csapat aktívan fejleszti a mobil szcenáriók javítását.

Az eredményeket az ACM CHI 2026 konferencián fogják bemutatni, amely a számítógépes rendszerek emberi tényezőjére fókuszál.

Kulcsgondolat

A Cornell University professzora, Cheng Zhang összegzően mondta: „A WatchHand megmutatja, hogyan lehet egy egyszerű szoftverfrissítés segítségével milliók meglévő óráját intelligens viselkedéskövető platformokká alakítani. Ez új interakciós módokat nyit a digitális eszközökkel kulcs- és egér nélkül.”