Geführtes Sicherheitslab

Retrieval-Relevanz und Vertrauen

Eine geführte Übung zum richtigen Lesen von Retrieval-Belegen: Relevanz, Rang und Zitate von Herkunft, aktueller Version, Nutzerberechtigung und zweckbezogener Quellautorität trennen, bevor sich eine Antwort auf abgerufene Inhalte stützt.

Konzeptionelle SimulationIntermediate15 Minuten2026-09-26

Konzeptionelle Simulation

Diese Übung nutzt redaktionell festgelegte, deterministische Beispiele mit fiktiven Namen und neutralen synthetischen Aussagen. Sie führt kein Retrieval, keine Embeddings, kein Ranking, keinen Index, kein Modell und keine Tools aus und sagt nicht voraus, wie sich ein reales Modell verhält.

Schritt 3 von 63/6

Lernziele

Relevanzbelege von Sicherheits- und Autoritätsbelegen unterscheiden.
Erklären, warum Rang, Ähnlichkeit und Reranker-Scores Kandidaten ordnen, sie aber weder autorisieren noch bestätigen.
Zitate als Nachvollziehbarkeit behandeln, nicht als Beleg für Richtigkeit, Aktualität oder Autorität.
Anwendungsseitige Quellidentität, Quellkategorie, Versionsstatus, ACL und zweckbezogene Regeln zur maßgeblichen Quelle außerhalb des Modelltexts nutzen.
Erkennen, dass eine authentische Quelle für den aktuellen Zweck trotzdem nicht maßgeblich sein kann, und eine begrenzte Antwort erlauben, wenn alle nötigen Dimensionen übereinstimmen.

Voraussetzungen

Lab RAG Prompt Injection (empfohlen)
Lab Manipulierte Wissensbasis (empfohlen)

Szenario wählen

Jedes fiktive Szenario zeigt abgerufene Inhalte, die das Modell sieht, und getrennt davon die Retrieval-Scores sowie die Quell-, Versions-, Zugriffs- und Autoritätsfakten der Anwendung. Entscheidungen über die Antwortgrundlage gehören zu den Anwendungsfakten.

Bestplatziertes Ergebnis aus ungeprüfter QuelleDas Element mit der höchsten Ähnlichkeit passt fast wörtlich zur Frage, die Anwendung konnte es aber keiner registrierten Quelle zuordnen. Das Modell schlägt vor, seine synthetische Aussage als offizielle Tatsache darzustellen.Einwandfreies Zitat auf eine abgelöste VersionDie Antwort zitiert ihre Quelle präzise und der Verweis lässt sich auflösen. Das Versionsregister der Anwendung markiert die zitierte Version als abgelöst. Das Modell schlägt vor, sie als aktuell darzustellen.Authentische Quelle, falscher ZweckAktuelle, authentische Produktdokumentation erwähnt die Datenaufbewahrung. Gefragt ist aber die offizielle Compliance-Regel zur Aufbewahrung. Die Produktdokumentation ist relevant, aber für Compliance-Fragen nicht die maßgebliche Quelle.Maßgebliche Quelle mit niedrigerem RangDie festgelegte aktuelle maßgebliche Quelle steht auf Rang 3. Eine höher platzierte Teamnotiz ähnelt der Anfrage stärker, ist aber nicht maßgeblich. Das Modell schlägt eine Leseantwort aus der maßgeblichen Quelle vor.Alle Dimensionen stimmen für eine begrenzte AntwortEin abgerufenes Element ist relevant, hat eine intakte Herkunft, ist aktuell, für diesen Zweck maßgeblich und für die Person lesbar. Das Modell schlägt eine begrenzte Leseantwort mit Zitat vor.

Retrieval-Pfad und Vertrauensfluss

Kandidaten werden nach Relevanz geordnet, nach Zugriff gefiltert und dann gegen Quell-, Versions- und Zweckregeln geprüft. Komponenten sind System; Dokumente und der Modellvorschlag bleiben variabel.

Indexiertes ElementVariabler Inhalt->
QuellregisterSystemkomponente->
Retriever und RerankerSystemkomponente->
ModellSystemkomponente->
Vorgeschlagene AntwortVariabler Inhalt->
Policy für AntwortgrundlagenSystemkomponente

Modellsichtbare abgerufene Inhalte

Abgerufener Text, den das Modell liest. Text in Klammern markiert eine neutrale synthetische Aussage, keine echte Vorgabe.

Abgerufenes Element r-31 (Rang 1)
[synthetische Sachaussage] Der Support ist an Feiertagen besetzt.

Retrieval-Scores und anwendungsseitige Belege

Erfasst vom Retriever, von Quell- und Versionsregister, der ACL und den zweckbezogenen Regeln zur maßgeblichen Quelle außerhalb des Modelltexts.

Retrieval-Belege: Rang 1, höchste Ähnlichkeit und höchster Reranker-Score; das ordnet Kandidaten nur nach Relevanz
Quellidentität: Keiner registrierten Quelle zugeordnet; Quellkategorie unbekannt
Freigabestatus: Nicht erfasst
Antwort-Policy: Nur Elemente aus einer registrierten, freigegebenen Quellkategorie dürfen als offizielle Tatsache genannt werden