Az NVIDIA kiderítette, hogyan fejezi be a képet a DLSS 5, csupán egy 2D‑képre és mozgásvektorokra támaszkodva.

Hogyan működik a DLSS 5: Nvidia alkalmazottának magyarázata

A közelmúltban Jacob Freeman (Nvidia) interjújában részletezte az új képtovábbítási technológia, a DLSS 5 működését, amely mesterséges intelligenciát használ.

Mit adnak be a rendszerbe
* 2‑D kép – egy egyszerűen megrajzolt kép.
* Mozgásvektort adatok – információ arról, hogy az objektumok hogyan mozognak képkockák között.

Nincs háromdimenziós adat: a modell nem olvassa be a jelenet geometriáját, mélységét, anyagait vagy normál térképeit. Ez azt jelenti, hogy a DLSS 5 teljesen 2‑D információkra és mozgásra támaszkodik.

Hogyan „érti” a jelenetet
* Semantika – az AI felismeri a haj, szövet, bőr típusú objektumokat és a világítási feltételeket.
* Ehhez csak egyetlen képkockára van szükség; a modell nem veszi figyelembe a fémességet, a felület durvaságát vagy más anyagjellemzőket.

Ezért néha a kimenetek „nem előre jelezhetőnek” tűnhetnek:
- a karakter hajjal jelenik meg ott, ahol nincs;
- az arcvonások változnak.

A szilárd geometriában nem történik semmilyen módosítás – ez csupán egy vizuális AI értelmezés.

Korlátok és lehetőségek fejlesztők számára
* A fejlesztők szabályozhatják az effektus intenzitását, a színkorrekciót, kontrasztot, telítettséget és a gammát.
* Maszkokat használhatnak, hogy bizonyos objektumokat kizárjanak a feldolgozásból.
* Azonban nem tudják közvetlenül megváltoztatni az arcvonás korrekcióját vagy eltávolítani a „smink” hatást – az egyetlen módja az intenzitás csökkentése, maszk alkalmazása vagy a algoritmus teljes kikapcsolása.

Végül az arcot AI generálja, de a külső megjelenését csak közvetetten lehet korrigálni.