Az MI sikeres eredményeket ért el ritka és kevésbé elterjedt nyelvek kutatásában

A nagy nyelvi modellek csökkentik a nyelvi szakadékot

Az új mesterséges intelligencia (MI) verziók jelentős előrelépést mutatnak ritka és kevésbé ismert nyelvekkel való munkában, ami mérsékelti a globális „nyelvi szakadékot”. Ezt egy RWS cég kutatása erősíti meg, amelyet a TechRadar publikált.

1. Mit mutattak be a kutatások
- A Google Gemini Pro értékelése 4,5 feletti 5-ből a kinyarwanda nyelv ismerete alapján – amelyet körülbelül 12 millió ember beszél Ruandában, Ugandában és az Demokratikus Közösségi Köztársaságban.
- A szerzők a sikerét annak tulajdonítják, hogy a modern modellek nem csak hatalmas nyelvi adatbázisokra támaszkodnak, hanem közös statisztikai mintákat is használnak minden nyelv esetében (interlingviszonysági átviteli mechanizmus).
- A tokenizálók – a szöveg „tokenek”re bontó rendszerek – fejlesztése is hozzájárul a ritka nyelvek pontosabb kezeléséhez.

2. A „benchmark drift” hatása
Szakértők felfedezték, hogy egy modell verziójából a következőbe való átmenet során képességei váratlanul változhatnak:
- Az OpenAI GPT legújabb verziója bizonyos tartalomgenerálási feladatokban hátrányba kerül a régebbi modellekhez képest, annak ellenére, hogy az előde hatékonyabb volt.
- A tokenizáló hatékonysága akár 3,5-ször is eltérhet generációk között; ez azt jelenti, hogy a korábbi tesztek eredményei nem mindig alkalmazhatók új verziókra.

3. Mi változik a fejlesztők prioritásában
- Korábban az MI laboratóriumok az angol és néhány kulcsfontosságú nyelv teljesítményét helyezték előtérbe.
- A modern modellek már sikeresen kezelik ezeket a feladatokat, ezért a figyelem áthelyeződik egy szélesebb közönségre: a ritka nyelvek támogatása egyre fontosabbá válik.
- Azonban a 4,5/5 értékelés nem garantálja a nyelv valódi elsajátítását; a többnyelvű támogatás még nem tekinthető kritikusnak.

4. Összegzés
Az MI továbbra is lebontja a kulturális és nyelvi akadályokat. Bár a ritka nyelvek lefedése még nem kötelező követelmény, a szélesebb közönségre való kiterjedés iránti tendencia már látható, és a szakértők szerint a jövőben erősödni fog.