Az Anthropic bemutatta egy módját a mesterséges intelligencia fejlesztésének vészhelyzeti megállítására.

Anthropic arra kéri az AI fejlesztését „önkorlátozásra”

Az Anthropic cég, amelyet a mesterséges intelligencia etikai területén végzett erőfeszítései ismernek fel, ismét középpontba került egy konfliktus után a Pentagonnal az év elején. Ebben a héten a startup a szektor képviselőit kérte meg arra, hogy készen álljanak a technológiák fejlesztésének korlátozására, ha azok veszélyt jelentenek az emberi irányítás elvesztésére.

A kérést kiemelő kulcspontok

* A teljesen rekurzív önfejlesztő AI rendszerek olyan „utódokat” hozhatnak létre, amelyekben nincs emberi részvétel.

* Ebben az esetben kritikus fontosságú a rendszer viselkedésének monitorozása és korlátozása.

> „Ha a rendszerek képesek önállóan utódokat létrehozni, nagy jelentősége lesz annak, hogy mennyire tudjuk ellenőrizni, figyelemmel kísérni és korlátozni viselkedésüket”, – írja az Anthropic.

Miért fontos ez?

A múlt hónapban a cég által használt új kód 80 % -a Claude saját ügynöke generálta. Ez megerősíti, hogy az Anthropic tudja, miről beszél: ha az AI önmagát hozza létre új verziókkal, az irányítása egyre nehezebb.

A startup képviselői úgy vélik, hogy a világ minden részének lehetősége van arra, hogy lelassítsa vagy felfüggessze a fejlett modellek fejlesztését, hogy a társadalomnak legyen ideje alkalmazkodni és elemezni a változásokat. Ebben a folyamatban az összes piaci szereplő koordinált cselekvése kritikus: egyenlőtlen intézkedések nélkül a tisztességtelen játékosok veszélyeztethetik a közbiztonságot.

A vállalat tervei

* A következő hónapokban az Anthropic célja, hogy olyan eszközöket fejlesszen ki, amelyek figyelik az AI fejlődésének veszélyes tendenciáit.

* Ezzel párhuzamosan közösségi munkát végez a szabályozási mechanizmusokról és egy felügyeleti szervezet létrehozásáról, amely képes bevezetni az „önkorlátozás” módját.

A cég hangsúlyozza, hogy egyetlen szervezet nem tudja önmagában megváltoztatni a helyzetet. Az AI vezető fejlesztőinek együttműködése szükséges a technológiák biztonságos fejlődése érdekében.