Überblick
BIPIA wurde als erster Benchmark speziell für indirekte Prompt Injection vorgestellt: Anweisungen, die in Inhalten stecken, die eine Anwendung an das Modell weitergibt, etwa E-Mails, Webseiten, Tabellen oder Code, statt von der Nutzerin oder dem Nutzer eingegeben zu werden.
| Feld | Wert |
|---|---|
| Ressourcentyp | Benchmark |
| Originaltitel | Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models |
| Autorinnen und Autoren | Jingwei Yi, Yueqi Xie, Bin Zhu, Emre Kiciman, Guangzhong Sun, Xing Xie, Fangzhao Wu |
| Erste öffentliche Version | 2023-12-21 |
| Publikationsstatus | Verfügbar auf arXiv (arXiv:2312.14197); laut arXiv-Eintrag für KDD 2025 angenommen. |
| Schwerpunkte | Indirekte Injection, Evaluation, Abwehr |
| Artefakte | microsoft/BIPIA (GitHub) |
| Zuletzt geprüft | 2026-09-26 |
Forschungsfrage
Wie anfällig sind LLMs für Anweisungen in externen Inhalten, warum sind solche Angriffe erfolgreich, und können vergleichsweise einfache Abwehren das Risiko senken, ohne die Ausgabequalität zu verschlechtern?
Methode und Artefakt
Der Benchmark kombiniert harmlose Nutzeraufgaben über externe Inhalte mit Angreiferanweisungen, die in diese Inhalte eingefügt werden, und misst, ob die Modellausgabe von der Absicht der Nutzenden abweicht. Anschließend bewerten die Autorinnen und Autoren zwei vorgeschlagene Abwehren: Grenzbewusstsein (Boundary Awareness) und explizite Erinnerungen, jeweils als Black-Box-Variante (Prompting) und White-Box-Variante (Fine-Tuning). Angriffskategorien werden hier nur konzeptionell beschrieben.
- microsoft/BIPIA (GitHub) - offizielles Repository; archiviert und schreibgeschützt, also nicht mehr aktiv gepflegt
Zentrale Ergebnisse laut den Autorinnen und Autoren
Aussagen der Quelle: Die folgenden Punkte fassen zusammen, was die zitierte Publikation für die dort getesteten Modelle und Konfigurationen berichtet.
- Die bewerteten LLMs erwiesen sich im Benchmark durchweg als anfällig.
- Als Ursachen nennen die Autorinnen und Autoren zwei Faktoren: Modelle unterscheiden schlecht zwischen informativem Kontext und ausführbaren Anweisungen, und ihnen fehlt das Bewusstsein, Anweisungen in externen Inhalten nicht auszuführen.
- Die Black-Box-Abwehr bietet laut Paper eine deutliche Minderung; die White-Box-Abwehr senkt die Erfolgsrate in den Experimenten auf nahezu null bei erhaltener Ausgabequalität.
Sicherheitliche Einordnung
Einordnung dieser Website: Dieser Abschnitt erklärt aus Sicht von Prompt-Injection.net, warum die Arbeit relevant ist. Er ist keine Aussage der Autorinnen und Autoren.
BIPIA liefert empirische Unterstützung für Techniken, die diese Website als Spotlighting und Datenmarkierung beschreibt. Das White-Box-Ergebnis nahe null gilt für die getesteten Modelle, Angriffe und Metriken; es macht Markierung nicht zu einer deterministischen Grenze. Deshalb sollte sie mit Autorisierung und Ausgabekontrollen kombiniert werden.
Grenzen und Vorbehalte
- Alle Modellzahlen sind historische Ergebnisse für die getesteten Modelle und Konfigurationen, keine Aussagen über heutige Modelle.
- Ein Benchmark mit festem Angriffsset kann die Robustheit gegenüber adaptiven Angreifern überschätzen.
- Das offizielle GitHub-Repository ist seit September 2026 archiviert und schreibgeschützt. Das ist ein Hinweis zur Pflege des Artefakts, keine Kritik am Paper.
So lässt sich die Arbeit nutzen
Nutzen Sie BIPIA, um zu verstehen, wie indirekte Injection als messbare Aufgabe operationalisiert wird, und als Referenzpunkt bei der Bewertung von Markierungsabwehren. Wer den archivierten Code wiederverwendet, muss Abhängigkeiten selbst pflegen.
Verwandte Inhalte auf Prompt-Injection.net
- Indirekte Prompt Injection - Wie externe Inhalte Anweisungen in ein AI-System tragen können.
- E-Mail Prompt Injection - Wie eingehende E-Mails in KI-Mail-Workflows modellsichtbar werden, warum Absenderauthentifizierung keine Anweisungsautorität begründet und wie Autorisierung an die konkrete Aktion gebunden wird.
- Quellcode Prompt Injection - Wie Repository-Inhalte und ausgewiesene Anweisungsdateien Coding-Assistenten erreichen, Pläne und Änderungen beeinflussen und Provenienz sowie deterministische Autorisierung erfordern.
- Spotlighting / Datenmarkierung - Wie systemgesteuerte Markierung, Begrenzung, Transformation und Kanaltrennung nicht vertrauenswürdige externe Inhalte für ein Modell erkennbarer machen. Eine Abwehrschicht gegen indirekte Prompt Injection, keine Vertrauensaufwertung und keine Autorisierungsgrenze.
- Eingabe- und Inhaltsprüfung - Wie Nutzereingaben und externe Inhalte auf Risikosignale für Prompt Injection geprüft werden: Prüfpunkte, Darstellungen, risikoabgestufte Maßnahmen, Ausfallverhalten und Metriken. Ein Prüfergebnis ist Evidenz, keine Vertrauens- oder Autorisierungsentscheidung.
- Vertrauensgrenzen und Modellkontext - Was modellsichtbarer Kontext ist, warum Position kein Vertrauen erzeugt und warum Kontrollen außerhalb des Modells liegen.