Lernpfade
RAG
Verstehen Sie, wie Retrieval-Pipelines Inhalte in den Kontext bringen, warum Rang und Zitat kein Vertrauen sind und welche Kontrollen regeln, was abgerufene Daten beeinflussen oder erreichen dürfen.
- Zielgruppe
- Engineers, die Retrieval-Systeme bauen, Architektinnen und Architekten, Security-Reviewer
- Ungefährer Zeitaufwand
- Etwa 1,5 bis 2,5 Stunden
- Voraussetzungen
- Pfad Grundlagen; Grundkenntnisse zu Embeddings oder Suchindizes sind hilfreich
Lernziele
- Die Retrieval-Pipeline beschreiben und wo Security Trimming hingehört
- Relevanz, Rang und Zitat von Vertrauen trennen
- Manipulierte Wissensbasen von Prompt Injection unterscheiden
- Provenienz und Informationsflusskontrolle auf abgerufene Daten anwenden
Ablauf des Pfads
01 Mechanik und Angriffsfläche
02 Praxis
- 03 - Lab - Kontrollierte SimulationRAG Prompt Injection (Lab)
Durchlaufen Sie den RAG-Vertrauenspfad in einer kontrollierten Simulation.
- 04 - Lab - Kontrollierte SimulationManipulierte Wissensbasis (Lab)
Trennen Sie falsche Inhalte von anweisungsähnlichen Inhalten in einer kontrollierten Simulation.
- 05 - Lab - Kontrollierte SimulationRetrieval-Relevanz und Vertrauen (Lab)
Üben Sie, warum der bestplatzierte Chunk nicht der vertrauenswürdigste ist.
03 Kontrollen und Evidenz
- 06 - AbwehrDatenprovenienz
Hält fest, woher Inhalte stammen, damit spätere Entscheidungen die Herkunft als Evidenz nutzen können.
- 07 - AbwehrInformationsflusskontrolle
Regelt, ob bestimmte Daten zu einem bestimmten Ziel fließen dürfen.
- 08 - AbwehrEingabe- und Inhaltsprüfung
Prüfung liefert probabilistische Evidenz, keine Autorisierung.
- 09 - ForschungBIPIA
Ein Benchmark zu Modellreaktionen auf in externe Inhalte eingebettete Anweisungen; die Ergebnisse gelten für diesen Benchmark.
Vertiefung (optional)
- Vorfall - Mit Evidenzeinordnung lesenSlack AI - Datenexfiltration über indirekte Prompt Injection
Eine Forschungsdemonstration mit Retrieval über Kanäle hinweg; kein bestätigter Vorfall in freier Wildbahn.
- ForschungNot What You've Signed Up For (Greshake et al.)
Frühe Einordnung abgerufener Inhalte als Injektionsvektor.
- AbwehrSpotlighting / Datenmarkierung
Abgerufene Daten als Daten markieren; hilfreich, aber probabilistisch.
Wissenscheck
Denken Sie jede Frage zuerst selbst durch und öffnen Sie sie dann, um mit der erwarteten Begründung zu vergleichen. Es gibt keine Punkte.
Die Antwort zitiert den bestplatzierten Chunk. Ist sie damit vertrauenswürdig?
Nein. Der Rang spiegelt Ähnlichkeit zur Anfrage, ein Zitat zeigt die Herkunft. Beides belegt weder Autorität der Quelle noch Richtigkeit.
Wo sollte die Zugriffskontrolle auf Dokumentebene in einer RAG-Pipeline greifen?
Bevor Inhalte das Modell erreichen, durch Security Trimming beim Retrieval. Das Modell zu bitten, gesperrte Inhalte zu ignorieren, ist keine Zugriffskontrolle.
Wie unterscheidet sich eine manipulierte Tatsache von einer eingeschleusten Anweisung?
Eine manipulierte Tatsache verfälscht die Antwort, eine eingeschleuste Anweisung versucht Aufgabe oder Aktionen umzulenken. Beide brauchen Provenienz, aber unterschiedliche Prüfungen.
Nach diesem Pfad sollten Sie...
- Erklären, warum Relevanz, Rang und Zitat kein Vertrauen sind
- Security Trimming vor der Kontextzusammenstellung verorten
- Manipulation der Wissensbasis von Prompt Injection unterscheiden
- Provenienz- und Informationsflusskontrollen für abgerufene Daten auswählen