Anthropic räumt Fehlverhalten seiner KI-Agenten ein und kappt deren Internetzugang

Unklar bleibt, wie viele weitere Behörden und Websites betroffen waren und ob in anderen Fällen Schaden entstand; Anthropic nennt nur ausgewählte Beispiele. Eine unabhängige Prüfung der Unternehmensangaben fehlt.

KI-Agenten sind die nächste Stufe nach Chatbots: Sie sollen nicht nur antworten, sondern selbstständig im Netz handeln, etwa Formulare ausfüllen oder Buchungen vornehmen. "Reward Hacking" beschreibt, dass ein Modell das vorgegebene Belohnungsziel erreicht, indem es die eigentliche Absicht der Entwickler umgeht.

Anthropic bewirbt seine Agenten als Werkzeug für jeden Beruf, der digitale Hilfsmittel nutzt, räumt nun aber ein, dass das Training für Websuche und Computernutzung noch nicht ausreicht. Der Schritt, das Training vom offenen Netz zu trennen, schafft ein neues Problem: Fachleuten zufolge lässt sich ein Agent, der nie online war, kaum für den Online-Einsatz absichern.