Überblick
CaMeL wählt einen anderen Weg als modellseitige Abwehren. Statt das LLM schwerer beeinflussbar zu machen, umgibt es das Modell mit einer schützenden Systemschicht, die auch dann sicher bleiben soll, wenn das zugrunde liegende Modell für Injection anfällig ist.
| Feld | Wert |
|---|---|
| Ressourcentyp | Paper |
| Originaltitel | Defeating Prompt Injections by Design |
| Autorinnen und Autoren | Edoardo Debenedetti, Ilia Shumailov, Tianqi Fan, Jamie Hayes, Nicholas Carlini, Daniel Fabian, Christoph Kern, Chongyang Shi, Andreas Terzis, Florian Tramèr |
| Erste öffentliche Version | 2025-03-24 |
| Publikationsstatus | arXiv-Preprint (arXiv:2503.18813; v2 vom 2025-06-24). |
| Schwerpunkte | Systemarchitektur, Abwehr, AI Agents |
| Artefakte | google-research/camel-prompt-injection (GitHub) |
| Zuletzt geprüft | 2026-09-26 |
Forschungsfrage
Lässt sich ein Agent so bauen, dass verarbeitete nicht vertrauenswürdige Daten nie verändern können, welche Aktionen er ausführt, und dass private Daten nicht über unautorisierte Flüsse abfließen, während er weiterhin nützliche Aufgaben erledigt?
Methode und Artefakt
CaMeL leitet Kontroll- und Datenfluss einer Aufgabe aus der vertrauenswürdigen Nutzeranfrage ab, bevor nicht vertrauenswürdige Daten gelesen werden. Später abgerufene Daten werden innerhalb dieses Ablaufs als Daten behandelt und können ihn nicht ändern. Werte tragen Capabilities, die Herkunft und zulässige Empfänger beschreiben, und Sicherheitsrichtlinien werden bei Tool-Aufrufen geprüft. Die Autorinnen und Autoren veröffentlichen eine Forschungsimplementierung.
- google-research/camel-prompt-injection (GitHub) - offizielle Forschungsimplementierung
Zentrale Ergebnisse laut den Autorinnen und Autoren
Aussagen der Quelle: Die folgenden Punkte fassen zusammen, was die zitierte Publikation für die dort getesteten Modelle und Konfigurationen berichtet.
- Die aktuelle arXiv-Fassung (v2, Juni 2025) berichtet, dass 77 % der AgentDojo-Aufgaben mit beweisbarer Sicherheit gelöst werden, verglichen mit 84 % für ein ungeschütztes System.
- Die erste arXiv-Fassung (v1, März 2025) nannte 67 %; die Aktualisierung verweist auf neuere Modelle, daher sollten Zahlen mit ihrer Fassung zitiert werden.
- Die Autorinnen und Autoren beschreiben die Abwehr als Schutz des Agenten auch dann, wenn das zugrunde liegende Modell für Angriffe anfällig ist.
Sicherheitliche Einordnung
Einordnung dieser Website: Dieser Abschnitt erklärt aus Sicht von Prompt-Injection.net, warum die Arbeit relevant ist. Er ist keine Aussage der Autorinnen und Autoren.
CaMeL ist ein konkretes Beispiel für das Prinzip, das diese Website betont: Deterministische Kontrollen außerhalb des Modells (Verfolgung des Informationsflusses, Capabilities und Richtlinienprüfungen an Tool-Grenzen) können begrenzen, was eingeschleuste Inhalte erreichen. Die Arbeit zeigt auch, welchen Nutzenpreis solche Garantien haben können, und knüpft direkt an Informationsflusskontrolle und Agentenautorisierung an.
Grenzen und Vorbehalte
- "Beweisbar" bezieht sich auf Garantien innerhalb des angegebenen Bedrohungsmodells und der Sicherheitsrichtlinien, nicht auf jeden denkbaren Agenten, Einsatz oder jede Richtlinie.
- Die Sicherheit hängt von korrekten Richtlinien ab; eine zu großzügige Richtlinie bietet wenig Schutz.
- Manche Aufgaben lassen sich mit diesem Design nicht erledigen, was sich im Nutzenabstand zum ungeschützten System zeigt.
- Die Ergebnisse gelten für AgentDojo und die in der jeweiligen Fassung getesteten Modelle.
So lässt sich die Arbeit nutzen
Nutzen Sie CaMeL als Referenzarchitektur beim Entwurf von Agenten: Planung von nicht vertrauenswürdigen Daten trennen, Werten ihre Herkunft mitgeben und Richtlinien bei Tool-Aufrufen durchsetzen. Prüfen Sie jede Anpassung an Ihren eigenen Aufgaben, denn die Garantien übertragen sich nicht auf Implementierungen, die das Vertrauensmodell verändern.
Verwandte Inhalte auf Prompt-Injection.net
- Informationsflusskontrolle - Wie außerhalb des Modells entschieden wird, ob Daten mit einer bestimmten Provenienz und Klassifikation von einer konkreten Quelle über Verarbeitungsschritte zu einer konkreten Senke fließen dürfen - über Modell-, Kontext-, Tool-, Speicher- und Mandantengrenzen hinweg.
- Agentenautorisierung - Wie Aktionen von KI-Agenten außerhalb des Modells autorisiert werden: initiierender Principal, Agentenidentität, Ressource, Aktion, Parameter, Ziel, Scope und Policy-Version, mit Exact-Action-Bindung und nachgelagerter Revalidierung.
- Datenprovenienz - Wie Herkunft und Ableitung von KI-Kontext erfasst, erhalten und rekonstruiert werden: Quellen- und Autorenidentität, maßgebliche Metadaten außerhalb des Payload-Texts, Transformations-Lineage und lineagebasierte Bereinigung.
- Least Privilege - Wie Umfang, Reichweite und Lebensdauer von Agentenbefugnissen reduziert werden, bevor eine Aktion geprüft wird: Identitäten, Scopes, Tool-Exposition, Datenzugriff, JIT-Erhöhung, Review und Widerrufsbereitschaft.
- AI-Agent-Prompt-Injection - Wie aus Prompt Injection in einem agentischen System eine sicherheitsrelevante Aktionskette wird, warum ein Vorschlag keine Autorisierung ist und an welchen Gates die Kette deterministisch bricht.
- AgentDojo - Dynamische Umgebung zur Evaluation von Prompt Injection bei Agenten - Eine erweiterbare Evaluationsumgebung mit 97 realistischen Agentenaufgaben und 629 Sicherheitstestfällen, die sowohl Aufgabennutzen als auch Sicherheit Tool-nutzender Agenten unter Prompt Injection misst.
- Plan-Drift-Erkennung (Lab) - Eine geführte Übung zur Erkennung wesentlicher Abweichungen zwischen einer von der Anwendung erfassten Aufgaben-Baseline und dem Plan eines Agenten, mit Trennung von legitimer Anpassung, Scope-Änderungen durch den Nutzer und Autorisierung.