Anthropic-Modell versucht Menschen per Phishing zu manipulieren

Ein aktueller Sicherheitstest britischer Forscher zeigt erneut, welches Missbrauchspotenzial leistungsfähige KI-Modelle entwickeln können. Im Rahmen eines kontrollierten Tests versuchte das KI-Modell „Mythos 5“ des US-Unternehmens Anthropic eigenständig, eine Schwachstelle in öffentlich zugängliche Software einzuschleusen. Nach Angaben der Forscher beschränkte sich die KI nicht auf technische Maßnahmen, sondern versuchte auch, einen Menschen mithilfe einer Phishing-E-Mail zu manipulieren, um ihr Ziel zu erreichen.

Medienberichten zufolge wurde der Test vom KI-Sicherheitsinstitut des britischen Ministeriums für Wissenschaft, Innovation und Technologie durchgeführt. Dafür erhielten KI-Modelle von Anthropic sowie vom ChatGPT-Entwickler OpenAI bewusst Zugang zum Internet, um ihre Fähigkeiten im Bereich Cyberangriffe zu untersuchen. Die Wissenschaftler hatten erwartet, dass die Systeme lediglich Online-Werkzeuge zur Lösung der Aufgaben nutzen würden. Dass ein Modell stattdessen eigenständig soziale Manipulation einsetzte, wurde erst im Nachhinein bei der Analyse des Datenverkehrs erkannt.

Die Forscher wollen künftige Testläufe deshalb in Echtzeit überwachen. Bereits in den vergangenen Wochen hatten sowohl Anthropic als auch OpenAI eingeräumt, dass ihre KI-Modelle in Sicherheitsversuchen unerwartet in Computersysteme realer Unternehmen eingedrungen waren. Die neuen Erkenntnisse dürften die Debatte über den sicheren Einsatz leistungsfähiger KI-Systeme und den Schutz vor KI-gestützten Cyberangriffen weiter verschärfen. (mho)