A Cisco felfedezte az okokat, amelyek miatt még a látszólag tökéletes mesterséges intelligencia által készített kiberincidens jelentéseket sem szabad igazságnak tekinteni

Cisco Talos vizsgálja a nagy nyelvi modellek pontosságát kiberváltozások jelentésének készítésében

A Cisco Talos Incident Response csapata tesztet futtattak, hogy kiderítsék, mennyire megbízhatóak a modern LLM-ek (ChatGPT, Claude és Gemini) a cyberincidens technikai jelentéseinek generálásában. Az eredmények azt mutatták, hogy még a „professzionálisnak tűnő” dokumentumok is tartalmaznak téves információkat, ellentmondásokat és hiányosságokat.

Hogyan történt a kutatás
* Előkészítés – a kutatók nyers incidensjegyzeteket adtak minden modellnek, kérve őket, hogy készítsenek jelentést.
* Eredmény – mindhárom LLM vizuálisan kifinomult dokumentumokat adott ki, de részletes elemzés során pontatlanságok és váratlan következtetések derültek ki.

Nate Pors (Nate Pors), Cisco Talos incident response senior vezetője részletesen leírta az eredményeket a vállalati blogban.

Miért „hibázik” az LLM
A Cisco a problémákat a modellek valószínűségi természetére hivatkozik: előrejelzik a következő szót statisztikai súlyok alapján, nem pedig megérti a jelentését. Pors szerint a torzulások négy irányban nyilvánulnak meg:

1. Különböző adatdarabok
Minden lekérdezésnél a modell a bemenet különböző részeire támaszkodik, ami megakadályozza a reprodukálható és standardizált eredmények elérését.

2. Nem egységes következtetések
Ugyanazok az adatok más-más ajánlásokhoz vezethetnek: egy jelentésben erőltetett jelszóváltoztatást javasolhatnak az egész szervezet számára, míg a másikban csak pontszerű változtatásokat. A modell gyakran rögzíti az első generált javaslatot, még ha nem is megfelelő.

3. Nem szabványos struktúra
Mivel az LLM-ek tokenről tokenre építik a szöveget, a végleges dokumentumok különböző szerkezetűek és formázásúak lehetnek, ami kritikus olyan környezetben, ahol sablonokra van szükség a minőségellenőrzéshez.

4. Kontextusablak problémái
Ha a bemeneti adatok meghaladják a kontextuskorlátot, a modell „elfelejtheti” a session elején szereplő fontos információkat, és előre nem látható vagy kevert eredményeket adhat.

Mit jelent ez a kibervédelem számára
A Cisco elismeri, hogy elméletileg korlátozható a feladat egy konkrét jelentésdarabra, de ez elveszíti az időmegtakarítást. A cybervédelmi területen még egy kis hiba drága lehet. Ezért a végleges dokumentumok szerzőinek alaposan ellenőrizniük kell minden szót, és nem szabad teljesen megbízniuk az LLM-ek javaslataiban.

Összegzés: a nagy nyelvi modellek gyors jelentéskészítést tesznek lehetővé, de szakembereknek kötelező ellenőrizniük a kimeneteket, hogy elkerüljék a hibákat és hiányosságokat a kritikus cyberincidens kontextusban.