Eingabe- und Inhaltsprüfung

Sicherheitsziel

Die Eingabe- und Inhaltsprüfung analysiert Nutzereingaben und extern bezogene Inhalte vor oder während der Kontextzusammenstellung. Sie sucht nach Signalen für Prompt Injection und verwandte Risiken, klassifiziert Befunde und übergibt das Ergebnis an eine Maßnahmen-Policy, die entscheidet, ob Inhalt annotiert, umgeleitet, in Quarantäne genommen, reduziert, blockiert oder zur Prüfung gegeben wird.

Ihr Wert ist frühe Sichtbarkeit auf Inhaltsebene. Die Prüfung kann offensichtlich ungeeigneten Inhalt aus dem Kontextfenster fernhalten, verdächtigen Inhalt in einen eingeschränkteren Ablauf lenken und Evidenz für Telemetrie und Incident Response liefern. Sie kann nicht garantieren, dass Inhalt sicher ist, denn die Sprachinterpretation des Modells bleibt probabilistisch und Angreifer passen sich an. Warum die Prüfung eine Schicht und keine vollständige Verhinderung ist, erklärt Warum Prompt Injection nicht nur Eingabevalidierung ist.

Zuständigkeitsgrenzen

Die Prüfung beantwortet eine enge Frage über Inhalt. Sie entscheidet nicht, wer handeln darf, welche Daten wohin fließen dürfen oder worauf eine Komponente zugreifen darf. Agentenautorisierung, Informationsflusskontrolle und Least Privilege bleiben deterministische Kontrollen außerhalb des Modells. Wie nicht vertrauenswürdige Inhalte für das Modell markiert werden, behandelt Spotlighting / Datenmarkierung.

Prüfergebnisse sind Evidenz

Vier Unterscheidungen verhindern, dass Prüfergebnisse als Sicherheitsentscheidungen missbraucht werden.

Bedrohungsmodell und Grenzen

Die Bedrohung ist Inhalt, der verändern will, was das Modell als seine Anweisungen behandelt, entweder vom Nutzer eingegeben (direkte Prompt Injection) oder in Daten eingebettet, die die Anwendung abruft oder erhält (indirekte Prompt Injection). Verwandte Risikosignale sind etwa Versuche, verborgenen Kontext auszulesen, Aktionen außerhalb des Auftrags anzufordern oder Inhalt in spätere Schritte einzuschleusen.

Die Grenzen sind strukturell. Natürliche Sprache kennt keine feste Grenze zwischen Daten und Anweisung; derselbe Satz kann in einer Aufgabe harmlos und in einer anderen feindlich sein; Prüfer sehen eine Darstellung, nicht die spätere Interpretation des Modells; und Angreifer testen gegen eingesetzte Prüfer. Die Prüfung reduziert daher Angriffsfläche und verbessert Sichtbarkeit, ist aber nie eine vollständige Sicherheitsgrenze.

Vertrauensmodell

Die Prüfkomponente und ihre Ausgabe sind getrennte Objekte. Eine Systemkomponente kann die Analyse korrekt ausführen, und doch bleibt der erzeugte Wert oder das Label variable Evidenz über variablen Inhalt. Systementscheidungen sind nur die Maßnahmen-Policy, die das Signal auswertet, und die Durchsetzungskontrollen weiter hinten.

Daraus folgen drei Regeln. Parsen und Prüfen erhöhen nie das Vertrauen in Inhalt. Das Prüfsignal fließt nie als Berechtigung in Autorisierungs- oder Flussentscheidungen ein. Und ein fehlendes oder fehlgeschlagenes Signal wird als ungeprüft dargestellt, nie als unauffällig.

Prüfpunkte im Inhaltslebenszyklus

Prüfung bei der Aufnahme ist günstiger und lässt gespeicherte Befunde mit dem Inhalt wandern, kann aber veralten, wenn Prüfer besser werden. Prüfung zur Anfragezeit sieht den tatsächlichen Kontext und Auftrag, kostet aber Latenz. Viele Systeme kombinieren beides und halten fest, welche Prüferversion jeden Befund erzeugt hat.

Nutzereingabe und externer Inhalt

Direkter und indirekter Inhalt brauchen getrennte Bewertungskontexte. Ein Nutzerbeitrag enthält erwartungsgemäß Anfragen; die Frage ist, ob er Richtlinien auf Systemebene aushebeln will. Externer Inhalt ist erwartungsgemäß Daten; anweisungsartiger Text darin ist ein Signal, weil Daten das System überhaupt nicht steuern sollen.

Rohe, geparste, normalisierte und modellsichtbare Darstellungen

Prüfen Sie nach Möglichkeit die modellsichtbare Darstellung, denn diese interpretiert das Modell. Verknüpfen Sie jeden Befund mit der Rohdarstellung und mit der tatsächlich geprüften Darstellung, damit eine Untersuchung das Ergebnis nachvollziehen und sehen kann, was das Modell erhielt.

Text, strukturierte Felder, Dokumente und multimodale Inhalte

Unterschiedliche Inhaltstypen brauchen vor der Prüfung unterschiedliche Darstellungen. Strukturierte Tool-Antworten enthalten Freitextfelder, die auch bei gültigem Schema Sprache tragen können. Dokumente liefern Text über Parser, die Metadaten, Kommentare oder verborgene Ebenen einschließen oder überspringen können. Bilder und Audio erreichen Textmodelle über OCR, Bildbeschreibungen oder Transkriptionen, und nur diese abgeleiteten Darstellungen kann ein Textprüfer prüfen.

Halten Sie bei Dokumenten und multimodalen Inhalten fest, welcher Extraktionspfad den geprüften Text erzeugt hat. Ein unauffälliges OCR-Ergebnis sagt nichts über Inhalt, den der OCR-Schritt nicht erfasst hat.

Kodierung und Kanonisierung als Vorverarbeitung

Inhalt kann so kodiert, maskiert oder formatiert sein, dass derselbe Sinn unterschiedlich aussieht. Eine Normalisierung vor der Prüfung hilft Prüfern, Gleiches mit Gleichem zu vergleichen. Diese Seite enthält bewusst keinen Katalog von Kodierungen oder Verschleierungsmethoden.

Regelbasierte und klassifikatorbasierte Signale

Die Kombination von Familien verbessert die Abdeckung, bleibt aber probabilistisch. Halten Sie fest, welche Familie einen Befund erzeugt hat, damit Maßnahmen und Untersuchungen ihn angemessen gewichten.

Semantische und kontextuelle Signale

Nützliche Signale hängen oft vom Kontext statt vom Wortlaut ab: anweisungsartiger Text in einem Datenkanal, Inhalt, der den Assistenten oder seine Tools anspricht, Anfragen ohne Bezug zur Nutzeraufgabe oder Verweise auf verborgenen Kontext. Derselbe Text kann in einem Nutzerbeitrag gewöhnlich und in einem abgerufenen Dokument verdächtig sein, deshalb zählt der Bewertungskontext.

Provenienzbewusste Prüfung

Die Prüfung kann Datenprovenienz als Kontext nutzen: Eintrittspfad, Quelltyp, Mandant oder Connector können bestimmen, welcher Prüfer läuft und welche Schwellenwerte gelten. Die Prüfung verantwortet keine Provenienz, schreibt keine Befunde in Provenienzfelder und leitet Provenienz nie daraus ab, was Inhalt über sich selbst behauptet.

Risikoabgestufte Maßnahmen

Eine Maßnahmen-Policy außerhalb des Modells ordnet Befunde, Eintrittspfad und Risikostufe des Ablaufs einer Maßnahme zu. Abläufe mit mehr Befugnissen rechtfertigen strengere Maßnahmen und niedrigere Schwellenwerte.

Vertrauen in den Prüfer und Dienstausfall

Der Prüfer ist eine Systemkomponente, die nicht vertrauenswürdigen Inhalt verarbeitet, und ein modellbasierter Prüfer kann selbst von diesem Inhalt beeinflusst werden. Beschränken Sie seine Ausgabe auf ein festes Ergebnisschema, lassen Sie ihn nie Tools aufrufen und behandeln Sie seine Ausgabe nur als Signal.

Ist der Prüfer nicht verfügbar, läuft in ein Timeout oder liefert ein nicht auswertbares Ergebnis, ist der Inhalt ungeprüft. Was dann geschieht, ist eine Frage der Risikostufe: Abläufe mit hoher Wirkung können blockieren oder in einen eingeschränkten Pfad lenken, lesende Abläufe mit geringer Wirkung können mit protokollierter Lücke fortfahren. Keine einzelne Fail-open- oder Fail-closed-Regel passt für jede Anwendung.

Falsch-Positive, Falsch-Negative und Drift

Falsch-Negative lassen riskanten Inhalt durch; nachgelagerte Durchsetzung muss davon ausgehen, dass das geschieht. Falsch-Positive blockieren oder verschlechtern legitime Arbeit und verleiten Teams dazu, Schwellenwerte anzuheben oder Umgehungen einzubauen. Beide müssen getrennt gemessen statt stillschweigend gegeneinander abgewogen werden.

Inhaltsmischung, Nutzerverhalten, Prüferversionen und Angriffstechniken ändern sich. Pflegen Sie ein versioniertes, gelabeltes Regressionskorpus, führen Sie es bei jeder Prüfer- oder Schwellenwertänderung erneut aus und beobachten Sie Befundraten auf Verschiebungen, die auf Drift hindeuten.

Abgeleiteter Inhalt im erneuten Kontext

Zusammenfassungen, Übersetzungen, Tool-Ergebnisse, Agentennachrichten und Speichereinträge sind neuer Inhalt, der aus früherem Inhalt entsteht. Gelangen sie erneut in ein Kontextfenster, brauchen sie eine eigene Prüfung, denn eine Transformation kann anweisungsartigen Text erhalten oder umformen. Ein unauffälliger Befund an der Quelle überträgt sich nicht automatisch auf die Ableitung.

Verhältnis zu nachgelagerten Kontrollen

Durchgespieltes Szenario

Synthetisches Beispiel. Ein Support-Assistent erhält die Nutzeranfrage, ein offenes Ticket zusammenzufassen und eine Antwort vorzuschlagen. Der Abruf fügt einen vom Kunden hochgeladenen Anhang hinzu, dessen extrahierter Text einen synthetischen Testmarker enthält, formuliert als Anweisung, interne Notizen an eine externe Adresse weiterzuleiten. Der Assistent hat ein Tool zum E-Mail-Versand.

In einer harmlosen Variante enthält der Anhang gewöhnliche Schritte zur Fehlerbehebung, löst kein Signal aus und gelangt mit seiner Provenienz in den Kontext. Die Zusammenfassung entsteht normal, und das Versand-Tool verlangt weiterhin die eigene Bestätigung des Nutzers.

Was das Szenario zeigt und was nicht

Es zeigt, wie die Prüfung ein frühes Signal liefert, das eine Maßnahmen-Policy zur Reduktion der Angriffsfläche nutzt, und wie Autorisierung und Flusskontrolle die schädliche Wirkung unabhängig verhindern. Es zeigt nicht, dass die Prüfung den Versuch allein eingedämmt hat, dass eine umformulierte Version erkannt würde oder dass der harmlose Anhang vertrauenswürdig war. Die Eindämmung wird der Kombination der Kontrollen zugeordnet.

Telemetrie und Evidenz

Befunde können sensible Inhalte enthalten. Wenden Sie auf Befunde dieselbe Zugriffskontrolle und Aufbewahrung an wie auf den beschriebenen Inhalt.

Incident Response bei verdächtigem Inhalt

Ein Befund ist Ausgangspunkt einer Untersuchung, nicht die Feststellung, dass eine Kompromittierung stattfand.

Kontrolliertes Testen

Testen Sie mit synthetischen Markern und begrenzten, gelabelten Korpora aus harmlosen und angriffsähnlichen Fällen. Halten Sie Testinhalte aus Produktivspeichern fern, versionieren Sie das Korpus und kennzeichnen Sie jeden Fall mit Eintrittspfad, Modalität und erwarteter Maßnahme. Bauen oder veröffentlichen Sie keine wiederverwendbare Payload-Bibliothek; Ziel ist, das Prüferverhalten zu messen, nicht Angriffsmaterial zu pflegen.

Metriken

Jede Messgröße hat ihren eigenen Nenner. Es gibt keinen zusammengesetzten Wert, und der Nutzen für harmlose Aufgaben wird getrennt ausgewiesen.

Häufige Fehler

Umsetzungscheckliste

Standards und Quellen

Zur Quellennutzung: OWASP LLM01:2026 ist die aktuelle Einordnung für Prompt Injection. NIST AI 100-2e2025 wird nur für Terminologie zu adversarialem maschinellem Lernen und Prompt Injection herangezogen; es ist kein Standard für Inhaltsprüfung. Microsofts Leitlinie zu indirekter Prompt Injection ist eine Herstellerleitlinie, die eine Defense-in-Depth-Strategie aus probabilistischen und deterministischen Maßnahmen empfiehlt und dabei Prompt Shields, Spotlighting, Plan-Drift-Erkennung, Tool-Chain-Analyse, Informationsflusskontrolle, Least Privilege und Human-in-the-Loop nennt. Microsofts Dokumentation zu Prompt Shields beschreibt ein Produkt, das Angriffe über Nutzerprompts und über Dokumente analysiert; sie dient als Beispiel für Produktverhalten im dokumentierten Umfang, nicht als allgemeines Modell.

Häufige Fragen