Überblick
Dieses Paper von 2023 gilt als die Arbeit, die indirekte Prompt Injection als eigenständiges Sicherheitsproblem beschrieben hat. Statt anzunehmen, dass die tippende Person der Angreifer ist, fragt es, was passiert, wenn der Angreifer nur Inhalte kontrolliert, die eine LLM-integrierte Anwendung später abruft.
| Feld | Wert |
|---|---|
| Ressourcentyp | Paper |
| Originaltitel | Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection |
| Autorinnen und Autoren | Kai Greshake, Sahar Abdelnabi, Shailesh Mishra, Christoph Endres, Thorsten Holz, Mario Fritz |
| Erste öffentliche Version | 2023-02-23 |
| Publikationsstatus | 16. ACM Workshop on Artificial Intelligence and Security (AISec '23); zusätzlich auf arXiv (arXiv:2302.12173). |
| Schwerpunkte | Indirekte Injection, Systemarchitektur |
| Artefakte | Kein Code- oder Datenartefakt angegeben |
| Zuletzt geprüft | 2026-09-26 |
Forschungsfrage
Kann ein Angreifer ohne direkten Zugang zum Modell eine LLM-integrierte Anwendung dennoch lenken, indem er Anweisungen in Daten platziert, die die Anwendung voraussichtlich abruft, und welche Wirkungsklassen ergeben sich daraus?
Methode und Artefakt
Die Autorinnen und Autoren entwickeln eine Bedrohungstaxonomie aus Sicht der Computersicherheit und demonstrieren Angriffe gegen damals verfügbare reale Systeme (die Zusammenfassung nennt den GPT-4-basierten Bing-Chat und Code-Completion-Systeme) sowie gegen synthetische Anwendungen auf Basis von GPT-4. Die Beispiele im Paper belegen Machbarkeit; diese Seite beschreibt sie nur auf der Ebene von Wirkungsklassen.
Ein separates Code- oder Datenartefakt wird hier nicht aufgeführt.
Zentrale Ergebnisse laut den Autorinnen und Autoren
Aussagen der Quelle: Die folgenden Punkte fassen zusammen, was die zitierte Publikation für die dort getesteten Modelle und Konfigurationen berichtet.
- LLM-integrierte Anwendungen verwischen die Grenze zwischen Daten und Anweisungen.
- Abgerufene Inhalte können aus der Ferne auf die Anwendung einwirken, ohne dass der Angreifer das Modell promptet.
- Die Taxonomie umfasst Wirkungsklassen wie Datendiebstahl, Wurmverhalten, Verunreinigung von Informationsökosystemen und Einfluss darauf, welche APIs aufgerufen werden.
- Laut den Autorinnen und Autoren fehlten für die damals untersuchten Systeme wirksame Gegenmaßnahmen.
Sicherheitliche Einordnung
Einordnung dieser Website: Dieser Abschnitt erklärt aus Sicht von Prompt-Injection.net, warum die Arbeit relevant ist. Er ist keine Aussage der Autorinnen und Autoren.
Das Paper verschiebt die Vertrauensgrenze: Jeder Inhalt, der den Modellkontext erreicht, wird zu einem möglichen Anweisungskanal. Deshalb behandelt diese Website Herkunft, Tool-Autorisierung und Informationsfluss als Aufgaben der Anwendung und nicht als etwas, das man allein dem Modell überlassen kann.
Grenzen und Vorbehalte
- Die Ergebnisse beziehen sich auf bestimmte Produkte und Modellversionen von Anfang 2023; spätere Systeme können sich anders verhalten.
- Das Paper zeigt Machbarkeit; es misst nicht, wie häufig solche Angriffe in der Praxis vorkommen.
- Die Wirkungstaxonomie ist konzeptionell und keine Rangfolge nach Wahrscheinlichkeit.
So lässt sich die Arbeit nutzen
Nutzen Sie die Arbeit als konzeptionellen Ausgangspunkt für Threat Modeling: Erfassen Sie jede Quelle, die den Modellkontext erreichen kann, entscheiden Sie, welche davon nicht vertrauenswürdig sind, und prüfen Sie, welche Aktionen oder Ausgaben solche Inhalte beeinflussen könnten. Für Messungen eignen sich spätere Benchmarks wie BIPIA, InjecAgent oder AgentDojo.
Verwandte Inhalte auf Prompt-Injection.net
- Indirekte Prompt Injection - Wie externe Inhalte Anweisungen in ein AI-System tragen können.
- Website Prompt Injection - Wie angreiferbeeinflusste Webinhalte über Browsing- und Fetch-Tools modellsichtbar werden und wie sie zu erkennen und einzudämmen sind.
- Prompt Injection über Suchergebnisse - Wie Query-Erzeugung, Trefferauswahl, Snippets, Ranking und Weiterleitungen KI-Recherche exponieren, warum Rang kein Vertrauen ist und wie Provenienz und Autorisierung Auswirkungen eindämmen.
- RAG Prompt Injection - Wie abgerufene Inhalte in den Modellkontext gelangen und Provenienz, Security Trimming und Autorisierung Sicherheitsauswirkungen eindämmen.
- Vertrauensgrenzen und Modellkontext - Was modellsichtbarer Kontext ist, warum Position kein Vertrauen erzeugt und warum Kontrollen außerhalb des Modells liegen.
- Datenprovenienz - Wie Herkunft und Ableitung von KI-Kontext erfasst, erhalten und rekonstruiert werden: Quellen- und Autorenidentität, maßgebliche Metadaten außerhalb des Payload-Texts, Transformations-Lineage und lineagebasierte Bereinigung.
- Informationsflusskontrolle - Wie außerhalb des Modells entschieden wird, ob Daten mit einer bestimmten Provenienz und Klassifikation von einer konkreten Quelle über Verarbeitungsschritte zu einer konkreten Senke fließen dürfen - über Modell-, Kontext-, Tool-, Speicher- und Mandantengrenzen hinweg.
- Direkte und indirekte Prompt Injection - Eine geführte Übung: Prompt Injection nach Ursprung und Übertragungsweg einordnen und die Auswirkung getrennt anhand der Architektur bewerten.