A Xiaomi elindította az OmniVoice-t – egy nyílt AI modellt, amely szinte minden nyelven képes szövegeket felolvasni és hangokat lemásolni.

Xiaomi bemutatta az OmniVoice nyílt AI-modulját

A cég bejelentette az OmniVoice mesterséges intelligencia modelljének elindítását, amely szöveget hanggá alakít. A több száz nyelven történő hangszintézistől függetlenül a modell képes hangklóniára és felhasználói beállításokkal rendelkező kiejtés generálására.

Mi az új az OmniVoice-ban?
Jellemzők Leírás Nyelvek Több mint 200 nyelv támogatása, beleértve a ritka és kevéssé tanulhatóakat. Még ha kevesebb, mint 10 óra adat áll rendelkezésre, a modell „szinte minden nyelven” képes beszédet előállítani. Minőségi tesztek 102 nyelven: a beszéd tisztasága összehasonlítható az emberi szinttel, és néha meghaladta azt. 24 nyelven a modell több kereskedelmi rendszert is felülmúlt a hasonlóságban és a tisztaságban. Architektúra Egyszerűsített kétirányú transzformátor hálózat, amely nem tartalmaz köztes token-előrejelző modulokat. Ez csökkenti az oktatási időt egy napra 100 000 óra adat esetén és növeli a becslési sebességet (amíg 40× valós idejű PyTorch-ban). Technológiák • „Véletlen akusztikus kódok elrejtése” – gyorsítja az oktatást. • Nagy nyelvi modell csatlakoztatása előképzés során javítja a kiejtést és a tisztaságot.

Gyakorlati lehetőségek
1. Hangklónálás
- Beszéd generálása leírt jellemzők alapján (kor, nem, tónus, akcentus, dialektus).
- Lehetőség suttogás és egyéb stilisztikai variációk létrehozására referencia hang nélkül.

2. Eredeti felvételek feldolgozása
- Zaj eltávolítása és tiszta hangjellemzők kinyerése még nem ideális fájlokból sem.

3. Intonáció kezelése
- Szikrák, nevetés és egyéb finomságok hozzáadása a természetesebb hangzás érdekében.

4. Precíz kiejtéskorrekció
- Kézi beállítás bonyolult hangokra, például többhangú kínai karakterekre vagy angol nyelvű saját nevekhez.

Eredmények
Az OmniVoice egy versenyképes alternatívát jelent a meglévő kereskedelmi beszédszintetizáló rendszerekhez képest. Egyszerű tervezésének, magas tanulási és becslési sebességének, valamint széles testreszabási lehetőségeinek köszönhetően a modell készen áll az integrálásra fogyasztói alkalmazásokba és szolgáltatásokba.