Prompt Injection: Prof. Dr. Florian Tramèr über KI-Angriffe

Prompt Injection: Prof. Dr. Florian Tramèr über KI-Angriffe Prompt Injection ist eine Angriffsmethode auf KI-Modelle, bei der versteckte Befehle in harmlosen Daten ein Sprachmodell kapern. Prof. Dr. Florian Tramèr, AI-Security-Forscher an der ETH Zürich, nennt sie im Interview das neue SQL Injection des nächsten Jahrzehnts.

Wir zeigen, was diese Bedrohung für Unternehmen mit KI-Agenten bedeutet. Tramèr leitet an der ETH Zürich das SPY Lab für die Sicherheit von KI-Systemen. Er promovierte in Stanford in Kryptografie. Danach forschte er ein Jahr bei Google Brain. Seit rund zehn Jahren prüft er, wie sicher KI-Modelle sind.

Was ein Jailbreak ist und warum Claude Fable 5 gesperrt wurde

Anthropic stellte mit Claude Fable 5 sein bisher stärkstes Modell vor. Es trug sehr strenge Sicherheitsschranken. Nach nur drei Tagen sperrte eine US-Exportkontrolle das Modell weltweit. Auslöser war laut Angaben ein Jailbreak, den Amazon fand. Ein Jailbreak trickst ein Modell aus. Das Modell löst dann eine Aufgabe, die es ablehnen sollte.

Angreifer zerteilen eine gefährliche Frage in harmlose Einzelteile. Das Modell beantwortet jeden Teil getrennt. Erst zusammengesetzt entsteht das gefährliche Wissen. Bei Fable 5 griffen die Schranken extrem hart. Schon das Wort Cybersicherheit löste eine Verweigerung aus. Tramèr sah ein Beispiel, in dem zwei Sicherheitslücken addiert werden sollten.

Das Modell verweigerte selbst diese harmlose Rechnung.

So funktionieren Jailbreaks heute

Die Techniken haben sich stark verändert. Beim frühen ChatGPT genügte der Satz, jetzt gebe der Nutzer die Befehle. Heute setzen Angreifer ein zweites KI-Modell als Werkzeug ein. Tramèr berichtet, dass Claude Code als Angreifer sehr gut funktioniert. Stärkere Modelle sind schwerer zu knacken.