Überblick
Dieses Paper geht Prompt Injection von der Modellseite an. Es argumentiert, dass eine Kernschwäche darin liegt, dass Modelle Anweisungen der Entwickler oft gleich behandeln wie Text von Nutzenden oder Dritten, und schlägt vor, Modelle auf eine ausdrückliche Hierarchie zu trainieren.
| Feld | Wert |
|---|---|
| Ressourcentyp | Paper |
| Originaltitel | The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions |
| Autorinnen und Autoren | Eric Wallace, Kai Xiao, Reimar Leike, Lilian Weng, Johannes Heidecke, Alex Beutel |
| Erste öffentliche Version | 2024-04-19 |
| Publikationsstatus | Forschungspublikation von OpenAI, zusätzlich auf arXiv (arXiv:2404.13208). |
| Schwerpunkte | Modelltraining, Abwehr, Direkte Injection, Indirekte Injection |
| Artefakte | Kein Code- oder Datenartefakt angegeben |
| Zuletzt geprüft | 2026-09-26 |
Forschungsfrage
Lässt sich ein Modell so trainieren, dass es Anweisungen höherer Stufe (etwa aus der Systemnachricht) folgt und widersprechende Anweisungen niedrigerer Stufe (etwa in Tool-Ausgaben) gezielt ignoriert, ohne allgemeine Fähigkeiten einzubüßen?
Methode und Artefakt
Die Autorinnen und Autoren legen fest, wie sich ein Modell bei Konflikten zwischen Anweisungen unterschiedlicher Stufe verhalten soll, und schlagen eine Methode zur synthetischen Datenerzeugung vor, die dieses Verhalten für das Training vorführt. Sie wenden die Methode auf GPT-3.5 an und bewerten die Robustheit gegen mehrere Angriffstypen, darunter einige, die im Training nicht vorkamen, sowie auf Standard-Benchmarks für Fähigkeiten. Ein öffentliches Code- oder Datenartefakt wird hier nicht aufgeführt.
Zentrale Ergebnisse laut den Autorinnen und Autoren
Aussagen der Quelle: Die folgenden Punkte fassen zusammen, was die zitierte Publikation für die dort getesteten Modelle und Konfigurationen berichtet.
- Die Autorinnen und Autoren sehen die Gleichbehandlung von Anweisungen aus verschiedenen Quellen als eine Hauptursache für Prompt Injections und Jailbreaks.
- Das Training mit den vorgeschlagenen Daten erhöht laut Paper die Robustheit des getesteten Modells deutlich, auch gegen im Training nicht gesehene Angriffstypen.
- Die Einbußen bei Standardfähigkeiten sind laut Paper gering.
Sicherheitliche Einordnung
Einordnung dieser Website: Dieser Abschnitt erklärt aus Sicht von Prompt-Injection.net, warum die Arbeit relevant ist. Er ist keine Aussage der Autorinnen und Autoren.
Die Instruction Hierarchy ist eine modellseitige Robustheitsmaßnahme: Sie kann den Erfolg von Injection unwahrscheinlicher machen, bleibt aber eine erlernte Tendenz und keine erzwungene Regel. Deshalb kombiniert diese Website sie mit Kontrollen auf Anwendungsseite wie Autorisierung, geringsten Rechten und Beschränkungen des Informationsflusses, die auch dann greifen, wenn das Modell überredet wurde.
Grenzen und Vorbehalte
- Die veröffentlichten Experimente wenden die Methode auf GPT-3.5 an; die Ergebnisse gelten nicht automatisch für andere Modelle oder spätere Versionen.
- Die Robustheit wurde mit bestimmten Evaluationen gemessen; adaptive Angreifer können Lücken finden.
- Die Methode liefert Anwendungen keine überprüfbare Garantie, welchen Anweisungen gefolgt wurde.
So lässt sich die Arbeit nutzen
Nutzen Sie die Arbeit, um zu verstehen, warum Nachrichtenrollen wichtig sind und warum nicht vertrauenswürdige Inhalte nicht an die Stelle mit dem höchsten Privileg gehören. Beim Systementwurf ist die modellseitige Hierarchie eine Schicht; Entscheidungen über Befugnisse bleiben im Anwendungscode.
Verwandte Inhalte auf Prompt-Injection.net
- Anweisungen und Anweisungshierarchien - Wie Modelle konkurrierende Anweisungen priorisieren, warum Anbieterschemata variieren und warum Priorität Verhalten statt Autorisierung oder Durchsetzung ist.
- System Prompts - Was System Prompts leisten können und was nicht, warum verborgen nicht geheim heißt, wie man dynamische Prompts sicher zusammensetzt und welche Kontrollen außerhalb des Modells liegen.
- Direkte Prompt Injection - Wie kontrollierte Eingaben mit Anwendungsanweisungen konkurrieren.
- Indirekte Prompt Injection - Wie externe Inhalte Anweisungen in ein AI-System tragen können.
- Agentenautorisierung - Wie Aktionen von KI-Agenten außerhalb des Modells autorisiert werden: initiierender Principal, Agentenidentität, Ressource, Aktion, Parameter, Ziel, Scope und Policy-Version, mit Exact-Action-Bindung und nachgelagerter Revalidierung.
- Least Privilege - Wie Umfang, Reichweite und Lebensdauer von Agentenbefugnissen reduziert werden, bevor eine Aktion geprüft wird: Identitäten, Scopes, Tool-Exposition, Datenzugriff, JIT-Erhöhung, Review und Widerrufsbereitschaft.