Tensor Trust - Von Menschen erstellter Prompt-Injection-Datensatz

Überblick

Tensor Trust sammelte adversarielle Beispiele von Spielerinnen und Spielern eines Onlinespiels, in dem jeder ein Konto mit einem Prompt verteidigt und versucht, die Abwehr anderer zu überwinden. Daraus entstand ein Datensatz von Menschen erstellter Angriffe und Abwehren gegen anweisungsfolgende LLMs, den die Autorinnen und Autoren auch zu einem Benchmark ausbauen.

Forschungsfrage

Wie sehen von Menschen erstellte Prompt-Injection-Angriffe in großem Umfang aus, und wie robust sind anweisungsfolgende Modelle gegenüber den Strategien, die Spielende entdecken?

Methode und Artefakt

Angriffe und Abwehren wurden über das Spiel gesammelt und als Daten veröffentlicht. Aus dem Datensatz leiten die Autorinnen und Autoren zwei Benchmark-Aufgaben ab: Prompt Extraction (ein Modell gibt seine Anweisungen preis) und Prompt Hijacking (ein Modell folgt dem Angreifer statt dem Verteidiger). Die aktuelle arXiv-Zusammenfassung nennt über 126.000 Angriffe und 46.000 promptbasierte Abwehren; frühere Fassungen können andere Zahlen enthalten, daher zitiert diese Seite nur diese Fassung. Angriffstexte aus dem Datensatz werden hier nicht wiedergegeben.

• Tensor Trust project paper page (tensortrust.ai) - offizielle Projektseite mit Verweisen auf Paper, Daten und Code

Zentrale Ergebnisse laut den Autorinnen und Autoren

Aussagen der Quelle: Die folgenden Punkte fassen zusammen, was die zitierte Publikation für die dort getesteten Modelle und Konfigurationen berichtet.

• Nach Kenntnis der Autorinnen und Autoren war der Datensatz damals die größte Sammlung von Menschen erstellter adversarieller Beispiele für anweisungsfolgende LLMs.
• Die Angriffe im Datensatz zeigen eine leicht interpretierbare Struktur.
• Die Benchmark-Ergebnisse zeigen, dass viele der getesteten Modelle für Strategien aus dem Datensatz anfällig waren.
• Einige Angriffsstrategien ließen sich trotz anderer Rahmenbedingungen auf eingesetzte LLM-Anwendungen übertragen.

Sicherheitliche Einordnung

Einordnung dieser Website: Dieser Abschnitt erklärt aus Sicht von Prompt-Injection.net, warum die Arbeit relevant ist. Er ist keine Aussage der Autorinnen und Autoren.

Der Wert des Datensatzes liegt darin, dass er von Menschen stammt: Er erfasst kreative Strategien, die synthetische Vorlagen übersehen. Für Verteidiger zeigt er, warum geheime Anweisungen und promptbasierte Abwehren schwache Sicherheitsgrenzen sind. Das deckt sich mit der Empfehlung dieser Website, System Prompts weder Geheimnisse noch alleinige Autorität anzuvertrauen.

Grenzen und Vorbehalte

• Das Spielszenario ist eng (kurze Abwehren, eine einzige geheime Zugangsbedingung) und unterscheidet sich von Produktivanwendungen.
• Modellergebnisse sind historische Ergebnisse für die damals getesteten Modelle.
• Die Zahlen unterscheiden sich zwischen Fassungen des Papers; zitieren Sie die verwendete Fassung.
• Die Arbeit behandelt direkte Injection; indirekte Injection über abgerufene Inhalte misst sie nicht.

So lässt sich die Arbeit nutzen

Nutzen Sie den Datensatz als Quelle realistischer menschlicher Angriffsvielfalt beim Entwurf von Evaluationen oder beim Training von Detektoren und als Beleg dafür, dass promptbasierte Abwehren allein fragil sind. Behandeln Sie die veröffentlichten Daten als Forschungsmaterial im Rahmen autorisierter Tests.

Verwandte Inhalte auf Prompt-Injection.net

• Direkte Prompt Injection - Wie kontrollierte Eingaben mit Anwendungsanweisungen konkurrieren.
• System-Prompt-Extraktion - Wie verborgener Anwendungskontext über die Modellausgabe offengelegt oder rekonstruiert wird, warum ein System Prompt weder Geheimnis noch Kontrollgrenze sein darf und welche deterministischen Kontrollen über die tatsächliche Auswirkung entscheiden.
• Prompt Injection und Jailbreaking - Wie sich die Begriffe überschneiden, warum der Sprachgebrauch variiert und wie man einen Fall nach Quelle, Zustellung, herausgeforderter Grenze und Wirkung einordnet und dokumentiert.
• System Prompts - Was System Prompts leisten können und was nicht, warum verborgen nicht geheim heißt, wie man dynamische Prompts sicher zusammensetzt und welche Kontrollen außerhalb des Modells liegen.
• Grundlagen der direkten Prompt Injection - Eine geführte konzeptionelle Simulation zu Modellkontext, konkurrierenden Anweisungen und Autorisierung.
• Erkennung von Prompt Injection - Wie Prompt-Injection-Versuche und Auswirkungen zur Laufzeit erkannt werden, indem Inhalts-, Kontext-, Verhaltens-, Plan-, Tool- und Durchsetzungssignale korreliert werden. Probabilistische Evidenz für Reaktion und Untersuchung, nie Autorisierung oder Ersatz für deterministische Durchsetzung.