Forschungsbibliothek
Forschungsbibliothek zu Prompt Injection
Eine kuratierte, quellenbasierte Sammlung grundlegender Papers, Benchmarks, Datensätze und Übersichten zu Prompt Injection. Jeder Eintrag erklärt, was die Arbeit untersucht hat, was sie belegt, wo ihre Grenzen liegen und wie sie mit den übrigen Inhalten dieser Website zusammenhängt.
01
Evidenzstandard
- Jeder Eintrag beruht auf der Primärpublikation und, soweit vorhanden, auf dem offiziellen Code- oder Datenartefakt. Publikationsorte und Begutachtungsstatus werden nur genannt, wenn eine Quelle sie belegt.
- Die Zusammenfassungen trennen, was die Autorinnen und Autoren berichten, von der Einordnung dieser Website. Modellergebnisse sind historische Ergebnisse für die damals getesteten Modelle und Konfigurationen, keine Aussagen über heutige Produkte.
- Bedrohungen werden konzeptionell beschrieben. Die Einträge enthalten keine Angriffsprompts, Payloads, Umgehungsrezepte oder Anleitungen zum Nachstellen.
Ressourcentypen
- Paper
- Eine Forschungsarbeit, die ein Bedrohungsmodell, eine Methode oder eine Abwehr vorstellt.
- Benchmark
- Eine wiederverwendbare Evaluationsumgebung mit Testfällen und Metriken zum Vergleich von Systemen.
- Datensatz
- Eine veröffentlichte Sammlung von Beispielen, freigegeben für weitere Forschung.
- Systematische Übersicht
- Eine strukturierte Synthese vieler Einzelstudien, kein neues direktes Vergleichsexperiment.
Forschungseinträge
Neueste erste öffentliche Fassung zuerst. Filtern nach Ressourcentyp oder Schwerpunkt.
8 von 8 Einträgen
Systematische Übersicht
Systematische Übersicht zur Prompt-Injection-Abwehr (2026)
Eine systematische Literaturübersicht von 2026 über 88 Studien zu Gegenmaßnahmen gegen Prompt Injection und Jailbreaking, die die NIST-Taxonomie für adversarielles maschinelles Lernen erweitert und berichtete Wirksamkeit katalogisiert.
- Autorinnen und Autoren
- Pedro H. Barcha Correia et al.
- Erste öffentliche Fassung
- 2026-01-29
- Publikationsstatus
- arXiv-Preprint (arXiv:2601.22240, Januar 2026).
- Schwerpunkte
- Abwehr, Evaluation
- Artefakt
- Keines angegeben
- Wichtigster Vorbehalt
- Die berichtete Wirksamkeit stammt aus heterogenen Einzelstudien, Modellen und Datensätzen; sie ist kein einheitlicher direkter Vergleichsbenchmark.
Paper
CaMeL - Prompt Injection durch Systemdesign verhindern
Eine Abwehr auf Systemebene, die Kontroll- und Datenfluss aus der vertrauenswürdigen Nutzeranfrage ableitet, sodass nicht vertrauenswürdige Daten den Programmablauf nicht ändern können, und capability-basierte Richtlinien bei Tool-Aufrufen durchsetzt.
- Autorinnen und Autoren
- Edoardo Debenedetti et al.
- Erste öffentliche Fassung
- 2025-03-24
- Publikationsstatus
- arXiv-Preprint (arXiv:2503.18813; v2 vom 2025-06-24).
- Schwerpunkte
- Systemarchitektur, Abwehr, AI Agents
- Artefakt
- Code oder Daten verfügbar
- Wichtigster Vorbehalt
- "Beweisbare Sicherheit" gilt unter dem Bedrohungsmodell und den Richtlinien des Papers auf AgentDojo; sie ist keine Garantie für jeden Agenten oder jede Implementierung.
Benchmark
AgentDojo - Dynamische Umgebung zur Evaluation von Prompt Injection bei Agenten
Eine erweiterbare Evaluationsumgebung mit 97 realistischen Agentenaufgaben und 629 Sicherheitstestfällen, die sowohl Aufgabennutzen als auch Sicherheit Tool-nutzender Agenten unter Prompt Injection misst.
- Autorinnen und Autoren
- Edoardo Debenedetti et al.
- Erste öffentliche Fassung
- 2024-06-19
- Publikationsstatus
- Veröffentlicht im NeurIPS 2024 Datasets and Benchmarks Track; zusätzlich auf arXiv (arXiv:2406.13352).
- Schwerpunkte
- AI Agents, Indirekte Injection, Evaluation, Abwehr
- Artefakt
- Code oder Daten verfügbar
- Wichtigster Vorbehalt
- Werte hängen von den bewerteten Modell-, Abwehr- und Angriffsversionen ab; der arXiv-Eintrag nennt eine spätere Fassung mit Fehlerkorrektur und aktualisierter Aufgabensuite.
Paper
The Instruction Hierarchy - Modelle darauf trainieren, privilegierte Anweisungen zu priorisieren
Ein Paper von OpenAI, das eine Rangfolge von Anweisungen nach Privileg vorschlägt sowie eine Methode zur Datenerzeugung, mit der ein Modell lernt, widersprechende Anweisungen niedrigerer Stufe zu ignorieren; die Experimente wenden sie auf GPT-3.5 an.
- Autorinnen und Autoren
- Eric Wallace et al.
- Erste öffentliche Fassung
- 2024-04-19
- Publikationsstatus
- Forschungspublikation von OpenAI, zusätzlich auf arXiv (arXiv:2404.13208).
- Schwerpunkte
- Modelltraining, Abwehr, Direkte Injection, Indirekte Injection
- Artefakt
- Keines angegeben
- Wichtigster Vorbehalt
- Ein trainiertes, probabilistisches Verhalten, bewertet an GPT-3.5; keine deterministische Sicherheitsgrenze und keine Lösung für Prompt Injection in jeder Anwendung.
Benchmark
InjecAgent - Benchmark für indirekte Prompt Injection bei Tool-nutzenden Agenten
Ein Benchmark mit 1.054 Testfällen über 17 Nutzer-Tools und 62 Angreifer-Tools, der misst, ob sich Tool-integrierte LLM-Agenten durch Anweisungen in externen Inhalten lenken lassen.
- Autorinnen und Autoren
- Qiusi Zhan et al.
- Erste öffentliche Fassung
- 2024-03-05
- Publikationsstatus
- Veröffentlicht in Findings of the Association for Computational Linguistics: ACL 2024 (ACL Anthology); zusätzlich auf arXiv.
- Schwerpunkte
- Indirekte Injection, AI Agents, Evaluation
- Artefakt
- Code oder Daten verfügbar
- Wichtigster Vorbehalt
- Die Erfolgsraten gelten für die 30 damals bewerteten Agenten und ein festes Testset; sie beschreiben keine heutigen Agenten.
Benchmark
BIPIA - Benchmark für indirekte Prompt-Injection-Angriffe
Ein Benchmark, der misst, wie LLMs auf in externe Inhalte eingebettete Anweisungen über mehrere Aufgabentypen reagieren, ergänzt um vorgeschlagene Black-Box- und White-Box-Abwehren.
- Autorinnen und Autoren
- Jingwei Yi et al.
- Erste öffentliche Fassung
- 2023-12-21
- Publikationsstatus
- Verfügbar auf arXiv (arXiv:2312.14197); laut arXiv-Eintrag für KDD 2025 angenommen.
- Schwerpunkte
- Indirekte Injection, Evaluation, Abwehr
- Artefakt
- Code oder Daten verfügbar
- Wichtigster Vorbehalt
- Modellergebnisse sind historisch für die getesteten Konfigurationen; das offizielle Repository ist archiviert und schreibgeschützt.
Datensatz
Tensor Trust - Von Menschen erstellter Prompt-Injection-Datensatz
Ein großer Datensatz von Menschen verfasster Prompt-Injection-Angriffe und promptbasierter Abwehren, gesammelt über ein Onlinespiel und zusätzlich für Benchmarks zu Prompt Extraction und Prompt Hijacking genutzt.
- Autorinnen und Autoren
- Sam Toyer et al.
- Erste öffentliche Fassung
- 2023-11-02
- Publikationsstatus
- ICLR 2024 (International Conference on Learning Representations); zusätzlich auf arXiv (arXiv:2311.01011) mit offizieller Projektseite.
- Schwerpunkte
- Direkte Injection, Datensätze, Evaluation
- Artefakt
- Code oder Daten verfügbar
- Wichtigster Vorbehalt
- Die Spielangriffe zielen auf ein eingeschränktes Szenario; laut Paper übertragen sich nur einige Strategien auf eingesetzte Anwendungen, nicht alle.
Paper
Not What You've Signed Up For - Indirekte Prompt Injection (Greshake et al.)
Die grundlegende Arbeit, nach der LLM-integrierte Anwendungen Daten und Anweisungen vermischen, sodass von Angreifern kontrollierte, abgerufene Inhalte eine Anwendung beeinflussen können, ohne dass jemand das Modell direkt promptet.
- Autorinnen und Autoren
- Kai Greshake et al.
- Erste öffentliche Fassung
- 2023-02-23
- Publikationsstatus
- 16. ACM Workshop on Artificial Intelligence and Security (AISec '23); zusätzlich auf arXiv (arXiv:2302.12173).
- Schwerpunkte
- Indirekte Injection, Systemarchitektur
- Artefakt
- Keines angegeben
- Wichtigster Vorbehalt
- Die Demonstrationen betreffen Systeme und Modellversionen von Anfang 2023; sie zeigen Machbarkeit, nicht die heutige Verbreitung.