Glossar zur Prompt-Injection-Sicherheit

Auch: KI-Agent, LLM-Agent

Ein nicht einheitlich verwendeter Oberbegriff für ein System, in dem ein Modell Aktionen mit Tools, Daten oder externen Systemen auswählt, ordnet oder parametrisiert. Die umgebende Anwendung bestimmt die tatsächlichen Fähigkeiten und Kontrollen.

Auch: Instruktion

Text oder strukturierte Eingabe, die ein Modell als Vorgabe für sein Verhalten interpretiert. Anweisungsähnliche Formulierungen können in vertrauenswürdigen Anwendungsnachrichten oder nicht vertrauenswürdigen Daten stehen. Der Wortlaut allein erzeugt keine Autorität.

Das von Anwendung oder Anbieter festgelegte Recht einer Quelle, Verhalten innerhalb eines bestimmten Umfangs zu steuern. Nicht vertrauenswürdiger Text kann sich durch Behauptungen über Dringlichkeit, Identität oder eine höhere Rolle keine Autorität verleihen.

Auch: Anweisungspriorität

Ein Schema von Anbieter oder Anwendung, das konkurrierende Anweisungen nach Rolle, Quelle oder Privileg priorisiert. Es kann das Modellverhalten verbessern, ist aber weder Anwendungsautorisierung noch eine deterministische Sicherheitsgrenze.

Auch: Output Validation

Die Prüfung von Modell- oder Agentenausgaben gegen senkenspezifische Struktur-, Typ-, Format- und Wertvorgaben vor ihrer Nutzung. Sie ist von Kodierung, Autorisierung und Informationsflusskontrolle getrennt und macht beliebigen ausführbaren Text nicht sicher.

Auch: Egress

Die ausgehende Übertragung von Daten aus einem geschützten Kontext zu einem Ziel oder einer Senke, etwa einem Netzwerkendpunkt, Nachrichtenempfänger oder externen Tool. Die bloße interne Texterzeugung ist noch kein Egress.

Der Prozess, mit dem festgestellt wird, wer oder was ein Principal ist. Authentifizierung beantwortet nicht, ob dieser Principal eine bestimmte Aktion jetzt ausführen darf.

Die Entscheidung, ob ein authentifizierter Principal eine bestimmte Aktion an einer bestimmten Ressource mit konkreten Parametern, Ziel und aktuellem Kontext ausführen darf. Sie muss außerhalb modellgenerierten Textes durchgesetzt werden.

Auch: Capability, Fähigkeit

Eine begrenzte Fähigkeit oder Berechtigung in der Implementierung, etwa der Zugriff auf ein Tool, Credential, einen Scope, eine Ressource oder Operation. Sie gehört zum umgebenden System und ist keine magische Eigenschaft des Modells.

Auch: Datenherkunft

Erfasste Evidenz darüber, woher Inhalt stammt, wer oder was ihn geliefert hat und wie er transformiert wurde. Provenienz unterstützt Policy und Untersuchung. Sie ist Evidenz, keine automatische Vertrauensaufwertung.

Prompt Injection über den vorgesehenen Eingabekanal der Anwendung, etwa eine Chatnachricht. Direkt beschreibt Ursprung und Eintragsweg, nicht den Schweregrad.

Auch: Input Inspection, Content Inspection

Die Analyse von Nutzereingaben oder externen Inhalten auf Risikosignale vor oder während der Verarbeitung. Die Prüfung erzeugt Evidenz für weitere Entscheidungen. Sie begründet kein Vertrauen und autorisiert keine Aktion.

Auch: Prompt Injection Detection

Das Erfassen und Korrelieren von Inhalts-, Kontext-, Modell-, Plan-, Tool- und Durchsetzungssignalen, die auf versuchte oder erfolgreiche Prompt Injection hindeuten können. Erkennung ist Risikoevidenz, keine Autorisierung.

Ein breiter, nicht standardisierter Oberbegriff für Mechanismen, die Verhalten oder Risiken eines AI-Systems begrenzen sollen. Präzise Dokumentation sollte den tatsächlichen Mechanismus nennen, etwa Filter, Klassifikator, Policy-Gate, Validator, Autorisierungsprüfung oder Modellverhalten.

Prompt Injection über Inhalte, die ein System abruft oder verarbeitet, etwa Websites, E-Mails, Dokumente, Suchergebnisse oder Tool-Ausgaben. Indirekt beschreibt den Eintragsweg, nicht die Auswirkung.

Auch: Information Flow Control, IFC

Policy-Durchsetzung, die entscheidet, ob Daten mit einer bestimmten Provenienz oder Klassifikation von einer Quelle über festgelegte Verarbeitungsschritte zu einer konkreten Senke fließen dürfen. Sie steuert Datenbewegung, nicht nur erzeugten Wortlaut.

Ein breiter, uneinheitlich verwendeter Begriff für Versuche, ein Modell zu Verhalten zu bringen, das Anbieter oder Betreiber beschränken wollten. Diese Website verwendet ihn vor allem für Angriffe auf das Modellverhalten, während Prompt Injection die Kontrolle über den Anweisungspfad einer Anwendung betont.

Auch: Human-in-the-Loop, HITL

Eine menschliche Entscheidung über eine klar dargestellte konkrete Aktion und ihre Folgen. Eine gültige Freigabe ist informiert, an die Aktion gebunden und wird nach wesentlichen Änderungen erneut verlangt. Sie ist keine dauerhafte Befugnis.

Eine messbare Veränderung der Ausgabe, des Plans oder eines Tool-Vorschlags durch eine Eingabe. Einfluss belegt verändertes Verhalten, aber nicht automatisch eine Sicherheitsauswirkung.

Auch: Kontextfenster

Die Informationen, die ein Modell bei einem bestimmten Inferenzschritt sehen kann, einschließlich Anweisungen, Nutzereingaben, abgerufener Inhalte, Tool-Ergebnisse und früherer Nachrichten. Sichtbarkeit im Kontext begründet weder Vertrauen noch Autorität.

Ein vom Modell erzeugter Vorschlag für eine Aktion, ein Tool, ein Ziel oder Parameter. Er ist eine Eingabe für die Anwendungs-Policy, keine Ausführungserlaubnis.

Prompt Injection über Bilder, Audio, Screenshots oder gemischte Inhalte, die für das Modell sichtbar werden. Das Dekodieren einer Modalität belegt für sich weder Modelleinfluss noch Auswirkung.

Inhalt, dem für die jeweilige Sicherheitsentscheidung die Autorität fehlt. Er kann dennoch nützlich, richtig und harmlos sein. Nicht vertrauenswürdig bedeutet nicht bösartig oder falsch.

Prompt-Injection-Einfluss, der die erste Begegnung über gespeicherte Memory, erhaltenen Zustand oder eine erneut verarbeitete Quelle überdauert. Persistenz, späterer Abruf und Sicherheitsauswirkung sind getrennte Sachverhalte.

Auch: Planabweichung

Eine wesentliche Abweichung zwischen der von der Anwendung erfassten Aufgabe oder dem freigegebenen Plan und den aktuellen Aktionsvorschlägen eines Agents. Erkennung liefert Evidenz zur Prüfung, autorisiert oder blockiert aber nicht selbst.

Auch: Least Privilege

Das Prinzip, nur die für die aktuelle Aufgabe erforderlichen Tools, Datenzugriffe, Scopes und Laufzeiten zu gewähren. Es begrenzt Auswirkungen, bevor ein Modellvorschlag bewertet wird.

Ein Kontrollverlust über Anweisungen, bei dem angreiferkontrollierte oder anderweitig nicht vertrauenswürdige Eingaben verändern, wie ein Modell den vorgesehenen Anweisungen der Anwendung folgt. Modelleinfluss allein belegt noch keine Sicherheitsauswirkung.

Auch: Abruf, Informationsabruf

Der Prozess, Inhalte aus einem Index, einer Wissensbasis oder externen Quelle für eine Aufgabe auszuwählen. Die Auswahl zeigt geschätzte Relevanz für eine Anfrage, nicht Quellvertrauen oder Anweisungsautorität.

Auch: RAG, retrieval augmented generation

Eine Anwendungsarchitektur, die externes Material abruft und ausgewählte Inhalte für die Generierung in den Modellkontext einfügt. Retrieval-Relevanz, Rang oder Zitat begründen weder Vertrauen noch Wahrheit, Aktualität oder Aktionserlaubnis.

Auch: zugriffsgefiltertes Retrieval

Das Filtern von Retrieval-Kandidaten nach den Zugriffsrechten des anfragenden Principals, bevor Inhalte zurückgegeben werden. Es begrenzt unautorisierten Abruf, belegt aber weder Wahrheit, Sicherheit noch Anweisungsautorität.

Eine Folge über eine geschützte Grenze hinweg, etwa unautorisierte Offenlegung, Aktion, Persistenz oder Workflow-Manipulation. Eine veränderte Modellantwort wird erst dann zur Auswirkung, wenn ein nachgelagertes System oder eine Nutzeraktion diese Folge erzeugt.

Auch: Data Marking

Systemgesteuerte Markierung, Begrenzung, Transformation oder Kanaltrennung, die einem Modell hilft, nicht vertrauenswürdige Daten von Anweisungen zu unterscheiden. Sie ist eine probabilistische Robustheitsschicht, keine Vertrauensaufwertung oder Autorisierungsgrenze.

Modellsichtbare Anweisungen in einer privilegierten Nachricht oder einem vergleichbaren Anbietermechanismus, die das Verhalten prägen sollen. Ein System Prompt ist weder grundsätzlich geheim noch eine deterministische Sicherheitsgrenze.

Auch: Prompt Extraction

Der Versuch, verborgenen Modellkontext zu offenbaren oder zu rekonstruieren, insbesondere Anwendungsanweisungen. Die Sicherheitsauswirkung hängt davon ab, ob die Anwendung diesen Kontext fälschlich als geheim oder autoritativ behandelt hat.

Auch: Function Calling, Tool-Aufruf

Ein Muster, bei dem ein Modell eine benannte Operation und Parameter zur Ausführung durch die Anwendung vorschlägt. Die Verfügbarkeit eines Tools bedeutet keine Berechtigung. Die Anwendung muss jeden folgenreichen Aufruf prüfen und autorisieren.

Auch: Tool-Ergebnis

Daten, die ein Tool oder Connector zurückgibt und einer Anwendung oder einem Modell bereitstellt. Ein vertrauenswürdiges Tool macht beliebigen Freitext in seinem Ergebnis nicht vertrauenswürdig oder autoritativ.

Auch: Tool Chain

Eine geordnete Folge von Tool-Aufrufen, deren kombinierte Wirkung das Risiko eines einzelnen Schritts übersteigen kann. Jeder Übergang benötigt begrenzte Befugnisse, Provenienz und Policy-Prüfung.

Eine Grenze, an der sich Daten, Identität, Autorität oder Annahmen ändern und deshalb eine ausdrückliche Prüfung oder Policy-Durchsetzung nötig wird. Die Position einer Nachricht im Modellkontext ist für sich keine Vertrauensgrenze.