Anthropic 10. září zveřejnil zprávu o zneužívání AI. Popisuje vybrané případy, v nichž lidé využívali modely k provádění škodlivých činností, a zásahy firmy proti nim.

Jde o vlastní šetření provozovatele. Z výběru případů nelze určit četnost zneužití ani nezávisle potvrdit účinnost ochrany.

Redakční pohled: užitečnou otázkou pro správce firemního agenta je, zda dokáže zpětně sestavit jeho celý postup. Samostatná odpověď může působit nevinně, ale důležité je i to, jaká data jí předcházela, jaké oprávnění následovalo a kdo schválil výslednou akci.

Smysluplný pilot by proto mohl propojit záznam rozhodnutí s kontrolou přístupů a lidským schválením citlivých kroků. Úspěch by se měl měřit také počtem zbytečně zablokovaných legitimních úloh a časem potřebným k jejich vyřešení. Takový test by musel respektovat soukromí zaměstnanců.

Optimistický redakční odhad: za 1–3 měsíce lze v organizaci s dostupnými záznamy posoudit jeden omezený pracovní postup. Výsledek by ukázal slabá místa konkrétního nasazení; obecnou odolnost vůči zneužití by bylo nutné ověřovat zvlášť.