- Nicht vertrauenswürdige Eingabe / externer Inhalt
- LLM / Agent
- Privilegiertes Tool
Das Modell kann nicht vertrauenswürdige Sprache unmittelbar in eine privilegierte Aktion überführen.
Abwehr von Prompt Injection
Die Abwehr von Prompt Injection braucht mehrschichtige Kontrollen, weil die Interpretation durch ein Modell probabilistisch bleibt. Engineering muss erfolgreiche Manipulation erschweren und zugleich ihre Sicherheitsfolgen begrenzen.
Sicherheitsarchitektur
Mehrschichtige Abwehrarchitektur
Modellinterpretation und Handlungsbefugnis müssen getrennt bleiben. Quellenkontext bleibt erhalten, vorgeschlagene Pläne werden validiert und folgenreiche Entscheidungen an Anwendungsgrenzen durchgesetzt.
- Nicht vertrauenswürdiger Inhalt
- Provenienz / Prüfung
- LLM
- Planvalidierung
- Policy Engine
- Autorisierung
- Optionale Freigabe
- Restricted Tool
- Monitoring
Unabhängige Kontrollen erhalten Kontext, validieren Absichten, autorisieren Folgen und begrenzen die Ausführung.
- 01Kontext und Provenienz
Quelle, Principal, Mandant, Klassifikation und Vertrauensstatus bleiben strukturierte Anwendungsdaten.
- 02Inspektion und Modellrobustheit
Inhalte und Verhalten liefern Risikosignale, ohne zur alleinigen Vertrauensentscheidung zu werden.
- 03Plan und Policy
Ein vorgeschlagener Plan wird gegen Nutzerziel, zulässigen Ablauf und Informationsfluss geprüft.
- 04Autorisierung
Principal, Ressource, Aktion, Parameter und Ziel werden außerhalb des Modells autorisiert.
- 05Begrenzte Ausführung
Restricted Tools, Sandboxing, Egress-Regeln und spezifische Freigaben begrenzen Auswirkungen.
- 06Monitoring und Wiederherstellung
Telemetrie verbindet Quelle, Kontext, Plan, Aktion und Nebenwirkung für Erkennung und Incident Response.
Kontrollfamilien
Abwehrbereiche
Widerstandsfähigkeit entsteht durch ergänzende Kontrollfamilien mit klar getrennten Aufgaben.
BereichKontext und Provenienz
Herkunft und Vertrauensstatus nicht vertrauenswürdiger Daten außerhalb des Modelltexts erhalten.
BereichModellnahe Robustheit
Prompts, Datenmarkierung und Modellverhalten so gestalten, dass konkurrierende Anweisungen weniger Einfluss erhalten.
BereichErkennung und Monitoring
Inhaltsrisiken, Plan Drift, Tool-Ketten und anomale Nebenwirkungen korrelieren.
BereichIdentität und Autorisierung
Befugnisse an den initiierenden Principal binden und jede folgenreiche Aktion prüfen.
BereichTool- und Aktionskontrollen
Fähigkeiten, Parameter, Ressourcen und Transaktionen explizit begrenzen.
BereichInformationsfluss und Egress
Zulässige Wege von Quelldaten zu Ausgaben, Tools und externen Zielen durchsetzen.
BereichEindämmung und Wiederherstellung
Ausführung isolieren, Beweise sichern, Zugangsdaten rotieren und sicher wiederherstellen.
BereichMenschliche Aufsicht
Für ausgewählte Risiken informierte und konkrete Freigaben verlangen.
BereichTests und Absicherung
Kontrollen mit repräsentativen Angriffspfaden prüfen und nach Änderungen erneut testen.
Durchsetzung
Probabilistische Signale und deterministische Durchsetzung
Erkennungssignale helfen, verdächtiges Verhalten zu priorisieren, zu blockieren oder zu untersuchen. Sie dürfen nicht der einzige Schutz für folgenreiche Vorgänge sein.
| Kontrolleigenschaft | Probabilistische Signale | Deterministische Durchsetzung |
|---|---|---|
| Typische Beispiele | Prompt-Injection-Klassifikator; Inhaltsprüfung; modellbasierter Kritiker; Plan-Drift-Signal | Authentifizierung; Ressourcen- und Aktionsautorisierung; Parametervalidierung; Ziel-Allowlist |
| Entscheidungscharakter | Bewertung mit Unsicherheit, Schwellenwerten sowie Fehlalarmen und übersehenen Fällen | Explizite Regel über Identität, Zustand, Ressource, Aktion oder Ziel |
| Geeignete Rolle | Erkennen, priorisieren, zusätzliche Prüfung auslösen oder Risiko senken | Mandanten-, Berechtigungs-, Sandbox-, Netzwerk- und Nebenwirkungsgrenzen durchsetzen |
| Sicherheitsannahme | Ein Teil schädlicher Inhalte oder Verhaltensweisen bleibt unerkannt | Unzulässige Vorgänge bleiben auch bei manipuliertem Modellverhalten blockiert |
Anwendungskontext
Abwehr nach Angriffsfläche
Die Grundprinzipien gelten systemübergreifend. Prioritäten unterscheiden sich jedoch nach dem Pfad in den Kontext und der nachgelagerten Befugnis.
AngriffsflächeDirekte Prompt Injection
Nutzereingaben als nicht vertrauenswürdig behandeln, Modellbefugnisse begrenzen und Aktionen unabhängig autorisieren.
AngriffsflächeIndirekte Prompt Injection
Provenienz externer Inhalte erhalten, Tool-Ausgaben nicht automatisch vertrauen und Informationsflüsse kontrollieren.
AngriffsflächeRAG-Systeme
Retrieval-Berechtigungen, Mandantengrenzen, Dokumentprovenienz und zulässige Nutzung abgerufener Daten durchsetzen.
AngriffsflächeTool-nutzende AI Agents
Identität, Planvalidierung, Autorisierung pro Aktion, Parameterprüfung, Egress und Nebenwirkungen kontrollieren.
AngriffsflächeMulti-Agent-Systeme
Nachrichten, delegierte Befugnisse und Provenienz über Agentengrenzen hinweg erhalten und jede Übergabe neu autorisieren.
Betrieb
Operativer Sicherheitszyklus
Abwehr ist ein gepflegter Prozess und keine einmalige Prompt-Änderung.
- 01Bedrohungsmodell
Assets, Principals, Vertrauensgrenzen, Inhaltsquellen, Tools und mögliche Nebenwirkungen erfassen.
- 02Verhindern
Exposition, Befugnisse und riskante Pfade durch Architektur und Least Privilege reduzieren.
- 03Erkennen
Inhalts-, Verhaltens-, Plan-, Tool- und Aktionssignale korrelieren.
- 04Autorisieren / Eindämmen
Unzulässige Vorgänge blockieren und erlaubte Ausführung eng begrenzen.
- 05Untersuchen
Quelle, Modellkontext, Plan, Entscheidungen, Tool Calls und Folgen rekonstruieren.
- 06Wiederherstellen
Abläufe eindämmen, Zugangsdaten rotieren, Integrität wiederherstellen und Betroffene informieren.
- 07Erneut testen
Ursache und Kontrolllücken mit repräsentativen Szenarien erneut prüfen.
Entwurfsregeln
Wichtige Designprinzipien
Diese Prinzipien begrenzen die Befugnisse manipulierten Modellverhaltens und verbessern Untersuchungen, wenn Kontrollen versagen.
PrinzipLeast Privilege
Nur minimale Tools, Zugangsdaten, Daten und Aktionen für die aktuelle Aufgabe bereitstellen.
PrinzipModellsichtbare Geheimnisse minimieren
Geheimnisse nicht in Prompts legen, wenn eine externe Referenz oder kurzlebige Berechtigung genügt.
PrinzipProvenienz außerhalb des Modells
Quellen- und Policy-Metadaten strukturiert führen, statt ihre Rekonstruktion aus Text zu erwarten.
PrinzipExterne Inhalte standardmäßig nicht vertrauen
Vertrauen aus Quelle und Nutzungskontext ableiten, nicht aus Ton oder Format eines Inhalts.
PrinzipVertrauenswürdiges Tool ≠ vertrauenswürdige Ausgabe
Ein korrektes Tool kann angreiferkontrollierte Websites, E-Mails oder Datensätze liefern.
PrinzipModellausgabe ≠ Autorisierung
Tool Call, Plan oder Begründung des Modells ist ein Vorschlag, keine Berechtigungsentscheidung.
PrinzipFolgenreiche Aktionen validieren
Principal, Ressource, Aktion, Parameter, Ziel und aktuellen Zustand vor Ausführung prüfen.
PrinzipNetzwerk-Egress begrenzen
Nur erforderliche Ziele und Protokolle zulassen und sensible Datenflüsse separat kontrollieren.
PrinzipSpezifische menschliche Freigabe
Konkrete Aktion, Ziel, Daten und Wirkung zeigen, damit Zustimmung informiert erfolgt.
PrinzipRekonstruierbare Telemetrie
Quelle → Kontext → Plan → Aktion → Nebenwirkung mit geeigneter Datenminimierung nachvollziehbar machen.
Kontrolltaxonomie
Wissensbereiche zur Abwehr
Diese Taxonomie strukturiert die vollständige eigenständige Abwehrbibliothek. Veröffentlichte Kontrollen verlinken auf ihre geprüften Seiten; Prävention von Prompt Injection bleibt ein Architekturkonzept des mehrschichtigen Hubs und kein eigener Artikel.
Architektur und Prävention
- AbwehrkontrollePrävention von Prompt Injection
Kontrollen so kombinieren, dass Manipulation erschwert und ihre Folgen trotz unvollständiger Prävention begrenzt werden.
Kontext und Provenienz
- VeröffentlichtEingabe- und Inhaltsprüfung
Nutzereingaben und externe Inhalte auf Risikosignale prüfen, ohne die Prüfung als vollständige Vertrauensentscheidung zu behandeln.
- VeröffentlichtDatenprovenienz
Quelle, Principal, Mandant, Klassifikation und Abrufkontext außerhalb modellgenerierter Texte erhalten.
- VeröffentlichtSpotlighting / Datenmarkierung
Nicht vertrauenswürdige Daten markieren oder transformieren, damit ihre Rolle für das Modell klarer wird, ohne externe Durchsetzung zu ersetzen.
Erkennung und Monitoring
- VeröffentlichtErkennung von Prompt Injection
Inhalts-, Kontext-, Verhaltens- und Aktionssignale kombinieren, um verdächtige Beeinflussungsversuche zu erkennen.
- VeröffentlichtPlan-Drift-Erkennung
Erkennen, wenn ein Agentenplan vom autorisierten Nutzerziel oder erwarteten Ablauf abweicht.
- VeröffentlichtTool-Chain-Analyse
Folgen einzeln plausibler Tool Calls auf unsichere Gesamtwirkungen untersuchen.
Identität, Autorisierung und Aufsicht
- VeröffentlichtLeast Privilege
Identitäten, Zugangsdaten, Ressourcen, Tools und Aktionen auf das für die aktuelle Aufgabe nötige Minimum begrenzen.
- VeröffentlichtAgentenautorisierung
Initiierenden Principal, Ressource, Aktion, Parameter und Ziel außerhalb des Modells autorisieren.
- VeröffentlichtHuman-in-the-Loop
Für ausgewählte folgenreiche Aktionen eine informierte, konkrete Freigabe statt allgemeiner Bestätigung verlangen.
Informationsfluss und Aktionskontrollen
- VeröffentlichtInformationsflusskontrolle
Steuern, ob Daten aus einer Quelle ein Modell, eine Aktion, einen Mandanten oder ein Ziel erreichen dürfen.
- VeröffentlichtNetzwerk- und Egress-Beschränkungen
Ausgehende Ziele, Protokolle und Datenbewegungen unabhängig von der Modellabsicht beschränken.
- VeröffentlichtAusgabevalidierung
Strukturierte Ausgaben, Parameter und Zielformate vor Nutzung oder Ausführung gegen senkenspezifische Struktur- und Formatvorgaben validieren.
Eindämmung und Wiederherstellung
Tests und Absicherung
Quellenbasis
Einordnung von Standards und Leitlinien
OWASP-Leitlinien und NIST-Terminologie bieten wertvolle Orientierung. Sie sind jedoch weder ein vollständiger Abwehrstandard noch ein Nachweis dafür, dass eine einzelne Kontrolle Schutz garantiert.
Geprüfte Orientierung
- OWASP GenAI Security Project
- LLM01:2026 Prompt Injection
- NIST
- NIST AI 100-2e2025 terminology