Lernpfade
Grundlagen
Der Einstieg, wenn Prompt Injection für Sie neu ist. Der Pfad baut die zentralen Unterscheidungen auf: direkt und indirekt, Modellbeeinflussung und Sicherheitsfolgen, Anweisungspriorisierung im Modell und Autorisierung in der Anwendung.
- Zielgruppe
- Einsteiger, Entwicklerinnen und Entwickler sowie Security-Fachleute, die neu bei LLM-Anwendungen sind
- Ungefährer Zeitaufwand
- Etwa 1,5 bis 2 Stunden
- Voraussetzungen
- Keine
Lernziele
- Prompt Injection als Problem der Anweisungskontrolle definieren
- Direkte und indirekte Prompt Injection unterscheiden
- Erklären, warum System Prompts weder Geheimnis noch Kontrollgrenze sind
- Erklären, warum Eingabefilterung allein das Problem nicht löst
Ablauf des Pfads
01 Kernbegriffe
- 01 - LernenWas ist Prompt Injection?
Legt die Grunddefinition fest und trennt Kontrollverlust über Anweisungen von Sicherheitsfolgen.
- 02 - LernenAnweisungen und Anweisungshierarchien
Zeigt, warum Anweisungspriorisierung Modellverhalten ist und keine Durchsetzung durch die Anwendung.
- 03 - LernenVertrauensgrenzen und Modellkontext
Erklärt, wie Kontext zusammengesetzt wird und warum Kontrollen außerhalb des Modells liegen.
- 04 - Lab - Kontrollierte SimulationDirekte und indirekte Prompt Injection (Lab)
Ordnen Sie synthetische Fälle danach ein, wo der anweisungsähnliche Text in den Kontext gelangte.
02 Häufige Missverständnisse
- 05 - LernenSystem Prompts
Klärt, was ein System Prompt leisten kann und warum verborgen nicht geheim bedeutet.
- 06 - LernenPrompt Injection und Jailbreaking
Trennt zwei sich überschneidende Begriffe, deren Gebrauch je nach Quelle variiert.
- 07 - Lab - Kontrollierte SimulationVertrauensgrenzen und Modellkontext (Lab)
Üben Sie in einer kontrollierten Simulation, Quelle, Darstellung und Vertrauen zu trennen.
- 08 - LernenWarum Prompt Injection nicht nur Eingabevalidierung ist
Erklärt, warum Filterung allein Anweisungen und Daten in natürlicher Sprache nicht trennen kann.
Vertiefung (optional)
- AngriffDirekte Prompt Injection
Die Angriffsreferenz zur direkten Variante.
- AngriffSystem-Prompt-Extraktion
Warum die Offenlegung von Anweisungen zu erwarten ist und die Sicherheit nicht brechen darf.
- ForschungThe Instruction Hierarchy
Ein Trainingsansatz, der die Priorisierung verbessert, aber keine deterministische Grenze ist.
Wissenscheck
Denken Sie jede Frage zuerst selbst durch und öffnen Sie sie dann, um mit der erwarteten Begründung zu vergleichen. Es gibt keine Punkte.
Ein Modell folgt einer in einer Webseite versteckten Anweisung, aber kein Tool und keine Daten sind betroffen. Ist das ein Sicherheitsvorfall?
Es zeigt Modellbeeinflussung, keine Sicherheitsfolge. Die Folge hängt davon ab, was die Anwendung mit der Ausgabe zulässt. Als Evidenz sollte das Ereignis trotzdem festgehalten werden.
Warum ist ein verborgener System Prompt keine Sicherheitskontrolle?
Sein Inhalt kann offengelegt werden, und das Modell setzt ihn nicht deterministisch durch. Alles Sicherheitsrelevante muss die Anwendung außerhalb des Modells durchsetzen.
Eine Anweisungshierarchie stellt System- über Nutzertext. Autorisiert oder blockiert das Aktionen?
Nein. Sie beeinflusst das Modellverhalten probabilistisch. Ob eine Aktion laufen darf, entscheidet die Autorisierung der Anwendung.
Nach diesem Pfad sollten Sie...
- Ein Szenario als direkte oder indirekte Prompt Injection einordnen
- Modellbeeinflussung von Sicherheitsfolgen trennen
- Erklären, warum ein verborgener Prompt kein Geheimnis ist
- Anweisungshierarchie im Modell von Autorisierung in der Anwendung unterscheiden