Az Apple megtanította a mesterséges intelligenciát, hogy felismerje az ismeretlen kézfogásokat EMG-szignálokon alapuló módon

Apple létrehozta az EMBridge modellt – mozdulatszignálok felismerése EMG alapján

Az Apple új kutatásai azt mutatták, hogy a mesterséges intelligenciajuk, az EMBridge képes meghatározni a kézmozgásokat csupán elektromuszkuláris jelek (EMG) alapján, még akkor is, ha hasonló gesztusok nem szerepeltek a tanító adathalmazban.

Mi az EMG és hol használják már? Elektromiográfia mérni az izomösszehúzódás során keletkező elektromos aktivitást.
A gyógyászatban diagnosztikára és fizioterápiára, valamint a végtag-protézisekben alkalmazzák.
Viselhető eszközök (pl. Meta Ray‑Ban Display szemüveg Neural Band vezérlővel) EMG-t használnak a virtuális valóság irányításához.

Hogyan tanították az EMBridge-et
1. Adatok – a kutatók két nyílt adatbázist használtak:
* `emg2pose` – EMG jelek és kézkoordináták.
* `NinaPro DB2` – hasonló adathalmaz.
2. Két nézőpont – a modell először két különálló adatfolyamon tanult:
* csak EMG jelek;
* csak kézpozíciók.
3. Szinkronizáció – az elsődleges képzés után a kutatók „összekapcsolták” a folyamatokat: az EMG-vel dolgozó komponens megtanulta értelmezni a koordinátaadatokból származó információkat. Ennek eredményeként az EMBridge képes volt felismerni gesztusokat csupán EMG jelek alapján.

A feladat bonyolítása
* A második adatfolyam (koordináták) egy részét levágva, a modellt csak az EMG alapján kellett döntéseket hoznia.
* Helytelen előrejelzések minimalizálása érdekében a pontossági értékelés kevésbé szigorúvá vált: hasonló gesztusokat rokonságként, nem teljesen különbözőként tekintettek.
* Ez a megközelítés segített „struktúrálni” a jellemzőtérképet és javította a kézpozíciók helyreállítását, amelyek hiányoztak a tanulás során.

Ellenőrzés és eredmények
* A modellt ugyanazon `emg2pose` és `NinaPro` adathalmazokon tesztelték, mint benchmarkok.
* Az EMBridge magas pontosságot tart fenn még csak 40 % tanítóadat használatával is.

Korlátozások
A tudósok hangsúlyozzák, hogy a kulcsfontosságú akadály továbbra is az „EMG + kézpozíció” páros adathalmazokhoz való hozzáférés. Ezek az adatok jelenleg korlátozott mennyiségűek és nem mindig elérhetők.