AgentDojo - Dynamische Umgebung zur Evaluation von Prompt Injection bei Agenten

Überblick

AgentDojo ist ein Evaluationsframework für Agenten, die Tools über nicht vertrauenswürdige Daten aufrufen. Es wurde nicht als festes Testset entworfen, sondern als Umgebung, die Forschende um neue Aufgaben, Abwehren und adaptive Angriffe erweitern können.

Forschungsfrage

Wie lässt sich die Robustheit Tool-nutzender Agenten so messen, dass die Messung mit neuen Angriffen und Abwehren Schritt hält und eine Abwehr nicht dafür belohnt wird, dass sie den Agenten schlicht unbrauchbar macht?

Methode und Artefakt

Die Umgebung enthält 97 realistische Aufgaben, etwa die Verwaltung eines E-Mail-Clients, die Navigation auf einer Online-Banking-Website oder Reisebuchungen, außerdem 629 Sicherheitstestfälle sowie mehrere Angriffs- und Abwehrparadigmen aus der Literatur. Nutzen (erledigt der Agent die Aufgabe) und Sicherheit (vermeidet er das Ziel des Angreifers) werden getrennt ausgewiesen, jeweils mit und ohne Angriff.

• ethz-spylab/agentdojo (GitHub) - offizielles, erweiterbares Benchmark-Framework

Zentrale Ergebnisse laut den Autorinnen und Autoren

Aussagen der Quelle: Die folgenden Punkte fassen zusammen, was die zitierte Publikation für die dort getesteten Modelle und Konfigurationen berichtet.

• Der Benchmark war für beide Seiten anspruchsvoll: Damals führende LLMs scheiterten schon ohne Angriff an vielen Aufgaben.
• Bestehende Prompt-Injection-Angriffe verletzten einige Sicherheitseigenschaften, aber nicht alle.
• Die Autorinnen und Autoren sehen AgentDojo als Grundlage für neue Designprinzipien zuverlässiger und robuster Agenten.

Sicherheitliche Einordnung

Einordnung dieser Website: Dieser Abschnitt erklärt aus Sicht von Prompt-Injection.net, warum die Arbeit relevant ist. Er ist keine Aussage der Autorinnen und Autoren.

Für die Praxis ist die gemeinsame Messung von Nutzen und Sicherheit der wichtigste Beitrag. Eine Abwehr, die Angriffe nur blockiert, indem sie auch legitime Arbeit verhindert, ist keine Lösung; AgentDojo macht diesen Zielkonflikt sichtbar. Spätere Arbeiten, darunter CaMeL, berichten Ergebnisse auf diesem Benchmark.

Grenzen und Vorbehalte

• Alle Modell- und Abwehrergebnisse gelten für die getesteten Versionen und Konfigurationen; Werte können sich mit Aktualisierungen der Umgebung ändern.
• Der arXiv-Eintrag nennt eine aktualisierte Fassung nach Behebung eines Fehlers in einer Modellimplementierung und Aktualisierung einer Aufgabensuite; vergleichen Sie nur Ergebnisse derselben Version.
• Simulierte Umgebungen nähern Berechtigungen und Daten realer Systeme an, bilden sie aber nicht nach.

So lässt sich die Arbeit nutzen

Setzen Sie AgentDojo bei der Bewertung einer Agentenabwehr ein: Berichten Sie Nutzen mit und ohne Angriff zusammen mit der Sicherheit und dokumentieren Sie die Framework-Version. Daraus abgeleitete Ranglisten sind Momentaufnahmen, keine Bewertungen aktueller Produkte.

Verwandte Inhalte auf Prompt-Injection.net

• AI-Agent-Prompt-Injection - Wie aus Prompt Injection in einem agentischen System eine sicherheitsrelevante Aktionskette wird, warum ein Vorschlag keine Autorisierung ist und an welchen Gates die Kette deterministisch bricht.
• Tool-Output-Injection - Warum ein vertrauenswürdiges Tool seinen zurückgelieferten Inhalt nicht vertrauenswürdig macht, wie Tool-Ergebnisse in den Modellkontext gelangen und wie Provenienz, begrenzte Fähigkeiten und deterministische Autorisierung Auswirkungen eindämmen.
• AI Agents und Tool Calling - Wie Modellvorschläge zu Aktionen werden: der Tool-Calling-Kreislauf, Verfügbarkeit und Berechtigung, Autorisierung zur Laufzeit, Freigabe, Tool-Ergebnisse als variable Daten und Audit.
• Agentenautorisierung - Wie Aktionen von KI-Agenten außerhalb des Modells autorisiert werden: initiierender Principal, Agentenidentität, Ressource, Aktion, Parameter, Ziel, Scope und Policy-Version, mit Exact-Action-Bindung und nachgelagerter Revalidierung.
• Erkennung von Prompt Injection - Wie Prompt-Injection-Versuche und Auswirkungen zur Laufzeit erkannt werden, indem Inhalts-, Kontext-, Verhaltens-, Plan-, Tool- und Durchsetzungssignale korreliert werden. Probabilistische Evidenz für Reaktion und Untersuchung, nie Autorisierung oder Ersatz für deterministische Durchsetzung.
• Tool-Chain-Analyse (Lab) - Eine geführte Übung zur Analyse zusammengesetzter Tool-Wirkungen auf Sequenzebene: geordnete Ketten aus Anwendungstelemetrie, kumulative Grenzen, unbeobachtete Ergebnisse und begrenzte Ketten über mehrere Agenten.
• CaMeL - Prompt Injection durch Systemdesign verhindern - Eine Abwehr auf Systemebene, die Kontroll- und Datenfluss aus der vertrauenswürdigen Nutzeranfrage ableitet, sodass nicht vertrauenswürdige Daten den Programmablauf nicht ändern können, und capability-basierte Richtlinien bei Tool-Aufrufen durchsetzt.