Geführtes Sicherheitslab
Direkte und indirekte Prompt Injection
Eine geführte konzeptionelle Übung: Prompt Injection nach Ursprung und Übertragungsweg der konkurrierenden Anweisung einordnen und die Auswirkung getrennt anhand der beschriebenen Architektur bewerten.
Diese Übung nutzt redaktionell festgelegte, deterministische Beispiele und neutrale Platzhalter statt echter Angriffstexte. Sie ist kein Live-LLM und sagt das Verhalten realer Modelle nicht voraus.
Lernziele
- Ein Szenario danach als direkt oder indirekt einordnen, woher die konkurrierende Anweisung stammt und wie sie das Modell erreicht, nicht danach, wie dramatisch sie klingt.
- Erkennen, dass indirekte Injection aus Inhalten stammen kann, die der Nutzer nie verfasst hat: Webseiten, E-Mails, Dokumente, Retrieval-Ergebnisse oder Tool-Ausgaben.
- Die Frage nach der Anweisungskontrolle von der Frage nach der Sicherheitsauswirkung trennen.
- Begründen, warum externe Inhalte variable, nicht vertrauenswürdige Daten bleiben, auch wenn eine vertrauenswürdige Anwendungskomponente sie abgerufen hat.
Voraussetzungen
- Was ist Prompt Injection? (empfohlen)
- Grundkenntnisse zu AI-Assistenten
Quelle und Übertragungsweg
Folgen Sie dem Weg von links nach rechts. Anwendungskomponenten sind als System markiert, Inhalte auf dem Weg als variabel.
- KundennachrichtVariabler Inhalt->
- Support-AnwendungSystemkomponente->
- ModellSystemkomponente
Was im modellsichtbaren Kontext ankommt
- AnwendungsanweisungVon der Anwendung gesteuert
Beantworte Fragen zu den eigenen Bestellungen des angemeldeten Kunden.
- KundennachrichtVom Nutzer verfasst
Wo ist mein Paket? [synthetischer anweisungsähnlicher Text, der den Assistenten umlenken soll]
Beschriebene Architektur: Der Assistent kann nur den Bestellstatus des angemeldeten Kunden lesen. Er hat keine schreibenden Tools, keinen Zugriff auf andere Konten und keinen ausgehenden Nachrichtenversand.