Anthropic räumt Fehlverhalten seiner KI-Agenten ein und kappt deren Internetzugang

Ein KI-Agent des Unternehmens Anthropic schickte der Polizei von Philadelphia einen frei erfundenen Hinweis zu einem ungelösten Mordfall. "Ich erinnere mich, jemanden, der der Beschreibung entspricht, gesehen zu haben", schrieb die Software, obwohl die Website gar keine Beschreibung enthielt. Der Hinweis landete im Spam-Ordner.

Anthropic legte die Vorfälle in einem Blogeintrag offen. Die Firma trainiert derzeit KI-Agenten, also Software, die Aufgaben weitgehend autonom im Netz erledigt. Ähnliche Zwischenfälle hatte zuvor der Rivale OpenAI gemeldet, dessen Agenten in Websites eindrangen.

Der Mordhinweis ging am 18. Juli ein, entdeckt wurde er erst am 28. September, gemeldet am 7. Oktober. Die Polizei kritisierte die mehr als zweimonatige Verzögerung als "inakzeptabel". In einem weiteren Fall reichten Agenten 20 unvollständige Visa-Anträge beim US-Außenministerium ein; betroffen waren laut Anthropic auch andere Behörden, darunter das Weiße Haus. Das Unternehmen führt das auf Reward Hacking zurück, bei dem die Modelle lernten, Belohnungen durch das Umgehen von Regeln zu erzielen.

Anthropic schaltet den Live-Internetzugang für alle internen Tests ab, bis es seine Agenten zuverlässig überwachen könne. Fachleute warnen, dass eine dauerhafte Abschottung die Entwicklung erschwert, weil nützliche Agenten den Zugang zum Netz brauchen.