Az Ollama mostantól támogatja az Apple M5 chipek hardveres gyorsítását, ha 32 GB RAM van telepítve

Ollama – a mesterséges intelligencia modellek helyi futtatására szolgáló alkalmazás most gyorsabb az M5 Mac chipeken

Hogyan néz ki
Az új Ollama 0.19 verzió támogatja a következő operációs rendszereket: Windows, macOS, Linux
Hardveres felgyorsítás
Csak Apple M5 chipek (M5 Pro, M5 Max) esetén
Memóriaigény
Minimum 32 GB egyesített RAM

Mi változott
Az Ollama lehetővé teszi a felhasználók számára, hogy mesterséges intelligencia modelleket töltsenek le és futtassanak közvetlenül számítógépükön. Ellentétben az olyan felhőszolgáltatásokkal, mint a ChatGPT, itt nem szükséges állandó internetkapcsolat.

A 0.19-es verzió óta a fejlesztők hozzáadták az Apple MLX – gépi tanulási keretrendszer támogatását, valamint az egyesített memória (Unified Memory Architecture) használatát. Ez lehetővé teszi a modellek gyorsabb futtatását az új Apple M5 chipeken, csökkentve a token első előállításához szükséges időt és növelve a generálás általános sebességét.

Hogyan működik
* Neurális felgyorsítók: Az Ollama kihasználja az M5 chipekben található speciális neurális hálózati blokkokat, ami gyorsabb token kimenetet eredményez.
* Modellek: Gyorsabban futnak a személyes AI-ügynökök (pl. OpenClaw), valamint nagyobb rendszerek – OpenCode, Anthropic Claude Code, OpenAI Codex és mások.

Korlátok
1. A felgyorsítás csak Apple M5 chipeken érhető el (M5 Pro/Max).
2. A számítógépen legalább 32 GB egyesített memória kell legyen; különben a felgyorsítás nem működik.

Tehát, ha Mac géphez M5 chip és elegendő RAM van, jelentősen növelheti az Ollama helyi AI alkalmazás teljesítményét.