Prompt-Injection.net
ENDE
PROMPT-INJECTION.NET

Prompt Injection Security, Red Teaming & Defense

Eine spezialisierte Wissensplattform zum Verständnis von Prompt-Injection-Angriffen, zur Sicherheitsprüfung von LLM- und AI-Agent-Systemen sowie zum Aufbau wirksamer Erkennungs- und Abwehrkontrollen.

Wissensbasis erkunden

01Kernbereiche

Lernen

Entwickeln Sie ein präzises Modell für Anweisungen, Kontext und Vertrauensgrenzen.

Bereich öffnen

Angriffe

Untersuchen Sie direkte, indirekte und neue Prompt-Injection-Vektoren.

Bereich öffnen

Abwehr

Entwerfen Sie mehrschichtige Kontrollen für LLM-Anwendungen und AI Agents.

Bereich öffnen

Labs

Bereiten Sie Sicherheitstests in kontrollierten Demonstrationen vor.

Bereich öffnen

Testing

Bewerten Sie reale Anwendungsgrenzen mit ausdrücklicher Evidenz und lokalen Bestehenskriterien.

Bereich öffnen

Playground

Greifen Sie einen echten KI-Mail-Assistenten mit einer E-Mail an und sehen Sie, welche Abwehrstufe hält.

Bereich öffnen
02Angriffspfade

Direkte vs. indirekte Prompt Injection

Der Unterschied liegt darin, wie von Angreifern kontrollierte Anweisungen den Modellkontext erreichen.

DIRECT

Direkte Prompt Injection

Direkter Eingabepfad
Nicht vertrauenswürdigAngreifer
Nicht vertrauenswürdigNutzereingabe
SystemLLM

Ein Angreifer übermittelt Anweisungen über den vorgesehenen Eingabekanal der Anwendung.

Grundlagen lesen
INDIRECT

Indirekte Prompt Injection

Indirekter Inhaltspfad
Nicht vertrauenswürdigAngreifer
Nicht vertrauenswürdigExterner Inhalt
SystemRAG / Tool
SystemLLM

Von Angreifern kontrollierte Anweisungen gelangen über externe Inhalte in ein System, das diese abruft oder verarbeitet.

Grundlagen lesen
03Angriffstaxonomie

Angriffsfläche erkunden

Prompt Injection kann über verschiedene Inhalts- und Interaktionskanäle in ein System gelangen. Jeder Bereich führt zum veröffentlichten Artikel.

Angriffsmuster erkunden
04Handlungsfähigkeit und Auswirkung

Warum Prompt Injection für AI Agents wichtig ist

Ein Chatbot erzeugt in erster Linie Text. Ein AI Agent kann zusätzlich Tool-Metadaten interpretieren, Tool-Ausgaben verarbeiten und mit Daten oder externen Systemen interagieren.

Klassischer Chatbot

Pfad der Texterzeugung
  1. Nutzer
  2. LLM
  3. Textantwort

AI Agent

Ausführungspfad eines Agents
  1. Nutzer / Externer Inhalt
  2. LLM Agent
  3. Tools / Daten / Externe Systeme

Handlungsfähigkeit verändert das Auswirkungsmodell: Manipuliertes Modellverhalten kann die Auswahl von Tools, Parameter, Datenzugriffe oder externe Aktionen beeinflussen. Sicherheitskontrollen müssen daher über Prompt und Modellausgabe hinausreichen.

05Defensive Architektur

Mehrschichtige Abwehr

Widerstandsfähigkeit gegen Prompt Injection beruht auf mehreren Kontrollen bei Inhaltsverarbeitung, Modellausführung, Autorisierung und Überwachung.

Defensive Architektur erkunden
  1. 01
    Externe Inhalte als nicht vertrauenswürdig behandeln

    Dieselbe Annahme gilt für nutzerkontrollierte und extern abgerufene Inhalte.

  2. 02
    Herkunft und Vertrauenskennzeichnungen erhalten

    Quellen- und Vertrauenskontext durch die Verarbeitungskette weitergeben.

  3. 03
    Berechtigungen nach dem Prinzip geringster Rechte begrenzen

    Nur die für die aktuelle Aufgabe erforderlichen Tools und Daten bereitstellen.

  4. 04
    Tool-Aufrufe und Parameter validieren

    Angeforderte Operationen gegen eindeutige Anwendungsregeln prüfen.

  5. 05
    Autorisierung außerhalb des Modells durchsetzen

    Zugriffsentscheidungen in deterministischen Anwendungskontrollen halten.

  6. 06
    Menschliche Freigabe verlangen

    Folgenreiche oder schwer umkehrbare Aktionen vorab prüfen lassen.

  7. 07
    Agent-Verhalten und Tool-Ketten überwachen

    Entscheidungen, Aufrufe, Ergebnisse und Regelverstöße erfassen und prüfen.

06Evidenzbasis

Aktuelle Forschung

Kuratierte, quellenbasierte Forschungszusammenfassungen zu grundlegenden Papers, Benchmarks, Datensätzen und systematischen Übersichten.

Bereich öffnen

Neue Vorfälle

Quellengestützte Fallakten zu offengelegten Schwachstellen, Forschungsdemonstrationen, Red-Team-Befunden und Herstellerhinweisen, jeweils mit ausdrücklicher Evidenzeinordnung.

Bereich öffnen
07Referenzrahmen

Standards & Referenzen

Die Wissensbasis verknüpft geprüfte Leitlinien und Begriffe mit etablierten Sicherheitsrahmen, wenn diese Beziehung durch Quellen belegt ist.

  • ReferenzbereichOWASP GenAI Security

    Gemeinschaftlich entwickelte Leitlinien zu Sicherheitsrisiken generativer AI-Systeme.

  • ReferenzbereichNIST

    Leitlinien für Risikomanagement und Cybersicherheit mit Relevanz für AI-Systeme.

  • ReferenzbereichMITRE ATLAS

    Eine Wissensbasis zu gegnerischen Bedrohungen und Techniken im Umfeld von AI-Systemen.

Glossar öffnen