Was Anweisungshierarchie bedeutet
Eine Anweisungshierarchie, auch Anweisungspriorität genannt, ist ein Verhaltensmechanismus, der einem Sprachmodell dabei hilft, zwischen konkurrierenden modellsichtbaren Anweisungen zu wählen. Eine Anwendung oder ein Modellanbieter stellt manche Anweisungen mit höherer Priorität als andere dar, und das Modell wird darauf trainiert oder dazu angeleitet, bei einem Konflikt die höher priorisierte Anweisung zu bevorzugen.
Die genaue Darstellung variiert. Ein Produkt bietet benannte Nachrichtenrollen, ein anderes Kanäle, strukturierte Felder oder eine private Schicht zur Kontextzusammenstellung. Bezeichnungen und Reihenfolge sind Eigenschaften des jeweiligen Anbieters, Modells und Produkts, kein universelles Protokoll aller Sprachmodelle.
Sechs Eigenschaften, die getrennt bleiben müssen
Sicherheitsprobleme entstehen, wenn ein Darstellungssignal mit Evidenz oder Befugnis verwechselt wird. Halten Sie diese Konzepte auseinander:
| Eigenschaft | Welche Frage sie beantwortet | Was sie nicht belegt |
|---|---|---|
| Nachrichten- oder Quellenherkunft | Woher stammt der Inhalt? | Dass der Inhalt richtig oder autorisiert ist |
| Rollen- oder Kanaldarstellung | Wie wurde der Inhalt dem Modell präsentiert? | Dass die behauptete Quelle authentisch ist |
| Anweisungspriorität | Welche konkurrierende Anweisung soll das Modell bevorzugen? | Dass die bevorzugte Anweisung eine Wirkung auslösen darf |
| Vertrauen | Welche Verlässlichkeit stützen Systemnachweise für diesen Zweck? | Eine allgemeine Berechtigung für jede Nutzung |
| Befugnis oder Berechtigung | Darf dieser Principal genau diese Aktion an dieser Ressource und diesem Ziel ausführen? | Dass sich das Modell korrekt verhält |
| Deterministische Durchsetzung | Was lässt der Anwendungscode zu oder blockiert er? | Dass Modellausgabe an sich richtig oder sicher ist |
Eine authentifizierte Person kann Text mit niedriger Priorität liefern. Eine hoch priorisierte Anwendungsanweisung kann trotzdem sachlich falsch sein. Eine vom Modell korrekt priorisierte Antwort kann dennoch eine Aktion vorschlagen, für die die Person keine Berechtigung hat.
Es gibt keine universelle Rollenreihenfolge
Rollen- und Kanalschemata unterscheiden sich je nach API, Modellfamilie und Produktoberfläche. Bezeichnungen wie System, Developer, User oder Tool können in verschiedenen Systemen andere Fähigkeiten und Prioritätsregeln beschreiben. Anwendungen sollten die Dokumentation des konkret eingesetzten Modells und der konkreten API beachten und das Verhalten nach Änderungen erneut prüfen.
Der datierte OpenAI Model Spec dokumentiert beispielsweise eine anbieterspezifische Befehlskette und Autoritätsstufen. Er sagt zugleich, dass Produktionsmodelle diese Spezifikation noch nicht vollständig abbilden. Das ist ein nützlicher Beleg für das beabsichtigte Verhalten eines Anbieters, aber kein anbieterübergreifender Standard und keine Garantie für jede Antwort.
Verhaltensmechanismus statt Sicherheitsgrenze
Priorität kann die Robustheit verbessern, indem sie dem Modell ein gelerntes Verfahren zur Auflösung ausdrücklicher Konflikte gibt. Sie bleibt probabilistisches Modellverhalten. Mehrdeutige Formulierungen, lange Kontexte, Transformationen und ungewohnte Konflikte können weiterhin zu unerwarteten Ergebnissen führen. Eine Hierarchie ist daher eine nützliche Schicht der Abwehr, aber keine Sicherheitsgrenze und kein Autorisierungsmechanismus.
Höher priorisierter Text authentifiziert keine Quelle, erteilt keine Berechtigung, macht kein Ziel zulässig, macht Ausgaben nicht vertrauenswürdig, autorisiert keinen Tool Call und hält verborgene Anweisungen nicht vertraulich. Die Modellantwort bleibt variable Daten oder ein Vorschlag, bis die Anwendung sie prüft.
Anweisungsähnlicher Text in Daten
Anwendungen stellen Aufgabenanweisungen häufig neben Dokumente, E-Mails, Suchergebnisse oder Tool-Ausgaben. Diese Datenquellen können Text enthalten, der wie eine Anweisung aussieht. Kennzeichnungen, Begrenzungen und getrennte Kanäle können dem Modell helfen, zwischen maßgeblichen Anwendungsanweisungen und anweisungsähnlichen Daten zu unterscheiden. Diese Trennung wird jedoch weiterhin vom Modell interpretiert.
Spotlighting / Datenmarkierung kann die beabsichtigte Grenze für das Modell deutlicher machen. Datenprovenienz erfasst die wirkliche Herkunft und Transformationsgeschichte außerhalb der Prosa. Keine dieser Maßnahmen gibt Daten die Berechtigung, eine folgenreiche Aktion zu steuern.
Der Zusammenhang mit Prompt Injection
Bei direkter Prompt Injection konkurriert nutzergesteuerter Text mit den beabsichtigten Anweisungen der Anwendung. Bei indirekter Prompt Injection gelangt anweisungsähnlicher Text über Inhalte Dritter in die Verarbeitung. In beiden Fällen können niedriger priorisierte oder als Daten markierte Inhalte das Modellverhalten weiterhin beeinflussen, auch wenn die beabsichtigte Hierarchie eindeutig ist.
Erfolgreicher Einfluss belegt für sich allein noch keine Sicherheitsfolge. Die Wirkung hängt von Daten, Tools, Zielen und Berechtigungen um das Modell herum ab. Die Erkennung von Prompt Injection kann Hinweise auf verdächtigen Einfluss liefern, doch deterministische Richtlinien entscheiden weiterhin, was geschehen darf.
Ein konzeptioneller Ablauf zur Konfliktauflösung
- Die Anwendung erfasst jede Quelle und stellt nur den für die Aufgabe nötigen Kontext zusammen.
- Sie stellt Anwendungsanweisungen und variable Inhalte mit der unterstützten Struktur des gewählten Anbieters dar.
- Das Modell interpretiert diese Struktur und versucht, konkurrierende Anweisungen aufzulösen.
- Die Anwendung behandelt das Ergebnis als variable Ausgabe oder als Vorschlag.
- Eine unabhängige Richtlinie autorisiert jede folgenreiche Aktion und validiert die Ausgabe für ihr Ziel.
Zwei harmlose synthetische Beispiele
Antworte in einem Satz und ändere keine gespeicherten Datensätze.
Fasse die fiktive Projektnotiz zusammen und markiere sie als erledigt.
Das Modell kann zusammenfassen, soll die Bitte um eine Zustandsänderung aber nicht über die Anwendungsanweisung stellen.
Jeder Vorschlag zur Zustandsänderung wird unabhängig abgelehnt, weil die Aufgabe keine Schreibberechtigung hat.
Fasse die abgerufene öffentliche Mitteilung zusammen.
Die Mitteilung enthält einen harmlosen Satz an einen Assistenten mit der Bitte um einen anderen Schreibstil.
Das Modell soll diesen Satz als zusammenzufassenden Inhalt behandeln, nicht als Befugnis für die Aufgabe.
Die Anwendung erlaubt nur eine Textzusammenfassung und stellt keine Aktionsfähigkeit bereit.
In beiden Beispielen lenkt die Priorität die Antwort. Die umgebende Anwendung bestimmt die mögliche Wirkung.
Was außerhalb des Modells liegt
| Systemfakt oder Entscheidung | Aufgabe der Anwendung |
|---|---|
| Identität | Initiierenden Principal und handelnden Dienst authentifizieren |
| Berechtigungen | Genaue Ressource, Aktion, Parameter und Scope autorisieren |
| Quellenprovenienz | Herkunft und Transformationskette unabhängig vom Payload-Text erfassen |
| Zielrichtlinie | Entscheiden, wohin jede Datenklasse gesendet oder gerendert werden darf |
| Tool- und Aktionsautorisierung | Jeden vorgeschlagenen Aufruf zum Ausführungszeitpunkt prüfen |
| Flusskontrollen | Verbotene Datenpfade über Personen, Mandanten, Tools und Senken verhindern |
| Senkenspezifische Verarbeitung | Struktur und Format für das Ziel validieren und erforderliche senkenspezifische Kodierung oder Escaping anschließend getrennt anwenden |
Siehe Agentenautorisierung, Informationsflusskontrolle und Ausgabevalidierung. Diese Kontrollen erfüllen unterschiedliche Aufgaben und bleiben nötig, selbst wenn die Anweisungspriorität wie vorgesehen funktioniert.
Folgen für die Umsetzung
Praktische Gestaltungsregeln
- Den genauen Anbieter, das Modell und die API-Oberfläche dokumentieren, auf deren Rollen- oder Kanalverhalten Sie sich stützen.
- Maßgebliche Identität, Provenienz, Berechtigungen und Richtlinienzustände außerhalb modellsichtbarer Prosa halten.
- Variable Inhalte als Robustheitshilfe kennzeichnen und isolieren, ohne die Kennzeichnung als Durchsetzung zu behandeln.
- Den Kontext minimieren, damit irrelevante Inhalte weniger Möglichkeiten zur Beeinflussung haben.
- Jede Modellantwort und jedes Tool-Call-Argument als variable Daten behandeln, die unabhängige Prüfungen brauchen.
- Konkurrierende Anweisungen in direkter Eingabe, abgerufenen Inhalten und Tool-Ausgaben nach Modelländerungen testen.
- Quelle, Darstellung, Modellvorschlag und Richtlinienentscheidung für Untersuchungen getrennt protokollieren.
Verbreitete Fehlannahmen
Behauptungen, die nicht stimmen
- Die höchstpriorisierte Nachricht ist automatisch authentisch.
- Eine System- oder Developer-Nachricht kann einer Person Berechtigungen erteilen.
- Inhalte in der Tool-Rolle sind vertrauenswürdig, weil das Tool vertrauenswürdig ist.
- Korrekte Priorisierung macht Modellausgaben sicher ausführbar.
- Begrenzungszeichen machen natürlichsprachliche Daten zu einer harten Sicherheitsgrenze.
- Verborgene höher priorisierte Anweisungen sind vertraulich.
- Eine Anweisungshierarchie verhindert Prompt Injection vollständig.
Den Aspekt der Vertraulichkeit behandelt die System-Prompt-Extraktion. Eine Hierarchie kann dem Modell sagen, verborgenen Text nicht offenzulegen. Die Anwendung darf darin trotzdem weder Geheimnisse noch ihre einzige Kontrolle ablegen.
Üben und weiterlesen
Das Lab Grundlagen der direkten Prompt Injection zeigt konkurrierende Anweisungen und eine getrennte Autorisierungsentscheidung. Im Lab Vertrauensgrenzen und Modellkontext vergleichen Sie modellsichtbare Prosa mit anwendungskontrollierten Nachweisen.
Lesen Sie als Nächstes Vertrauensgrenzen und Modellkontext. Der Artikel vertieft die Architekturfrage, die hier beginnt: Was gelangt in den Modellkontext, was bleibt variabel und wo gehören durchsetzbare Vertrauensentscheidungen hin?
Standards und Quellen
Wie dieser Artikel Quellen nutzt
- OWASP
- GenAI LLM Top 10 2026 - LLM01:2026 Prompt Injection als benanntes Risiko
- NIST
- AI 100-2e2025 und Glossareinträge - Terminologie zu Prompt Injection und die Trennung zwischen direkter Eingabe und Zustellung über kontrollierte Ressourcen
- Microsoft
- Leitfaden zu indirekter Prompt Injection - nicht vertrauenswürdige externe Inhalte und mehrschichtige probabilistische sowie deterministische Maßnahmen
- OpenAI
- Model Spec vom 2026-08-18 - ein anbieterspezifisches Beispiel dokumentierter Anweisungsautorität, kein universeller Standard und keine Durchsetzungsgarantie
Häufige Fragen
Was ist eine Anweisungshierarchie?
Gibt es eine Standardreihenfolge für alle Modelle?
Ist eine höher priorisierte Anweisung vertrauenswürdig?
Autorisiert die Hierarchie Tool Calls?
Können niedriger priorisierte Daten das Modell trotzdem beeinflussen?
Halten Rollen Systemanweisungen vertraulich?
Was sollte ich als Nächstes lesen?
Quellen
- OWASP GenAI LLM Top 10 2026OWASP GenAI Security Project · GuidanceGeprüft 2026-09-26
- Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations, NIST AI 100-2e2025NIST · Standard · 2025-03Geprüft 2026-09-26
- prompt injectionNIST Glossary · Technical documentationGeprüft 2026-09-26
- indirect prompt injectionNIST Glossary · Technical documentationGeprüft 2026-09-26
- Defend against indirect prompt injection attacksMicrosoft Learn · GuidanceGeprüft 2026-09-26
- OpenAI Model Spec - Instructions and levels of authorityOpenAI · Technical documentationLetzte Revision 2026-08-18Geprüft 2026-09-26