Lernpfade
AI Agents
Arbeiten Sie den Ablauf aus Vorschlag, Autorisierung, Ausführung und Ergebnis bei Tool-nutzenden Agenten durch sowie die Kontrollen, die mehrstufiges und Tool-übergreifendes Verhalten begrenzen.
- Zielgruppe
- Agent-Entwicklerinnen und -Entwickler, Platform Engineers, Security-Architektinnen und -Architekten
- Ungefährer Zeitaufwand
- Etwa 2,5 bis 3,5 Stunden
- Voraussetzungen
- Pfad Grundlagen; Pfad Indirekte Prompt Injection empfohlen
Lernziele
- Vorgeschlagene, autorisierte, ausgeführte und beobachtete Aktionszustände trennen
- Erklären, warum Tool-Verfügbarkeit oder Schemavalidität keine Berechtigung ist
- Drift- und Kettenbefunde als Evidenz nutzen, nicht als Autorisierung
- Menschliche Freigabe korrekt als an eine konkrete Aktion gebunden einordnen
Ablauf des Pfads
01 Agentenablauf und Angriffsfläche
- 01 - LernenAI Agents und Tool Calling
Wie Modellvorschläge zu Aktionen werden und wo Autorisierung entscheiden muss.
- 02 - AngriffAI-Agent-Prompt-Injection
Die Angriffsreferenz für Tool-nutzende Agenten.
- 03 - AngriffMCP-Tool-Metadaten-Injection
Optionale Vertiefung: vom Server gelieferte Tool-Metadaten vor jedem Aufruf.
- 04 - AngriffTool-Output-Injection
Tool-Ergebnisse sind variable Daten, auch wenn der Aufruf erfolgreich war.
- 05 - Lab - Kontrollierte SimulationTool-Output-Injection (Lab)
Behandeln Sie zurückgegebene Tool-Inhalte in einer kontrollierten Simulation als Daten.
02 Autorisierung und Fähigkeiten
- 06 - AbwehrAgentenautorisierung
Entscheidet deterministisch, ob eine aufgelöste Aktion ausgeführt werden darf, unabhängig vom Modellvorschlag.
- 07 - Lab - Kontrollierte SimulationAgentenautorisierung (Lab)
Entscheiden Sie aufgelöste Aktionen gegen eine Policy in einer kontrollierten Simulation.
- 08 - AbwehrLeast Privilege
Begrenzt, welche Identitäten, Tools und Fähigkeiten überhaupt existieren.
03 Mehrstufiges Verhalten
- 09 - AbwehrPlan-Drift-Erkennung
Vergleicht Aktionen mit einer von der Anwendung verwalteten Aufgabenbasis; Befunde schränken Befugnisse ein, erweitern sie nie.
- 10 - Lab - Kontrollierte SimulationPlan-Drift-Erkennung (Lab)
Trennen Sie harmlose Anpassung von wesentlicher Drift in einer kontrollierten Simulation.
- 11 - AbwehrTool-Chain-Analyse
Bewertet kumulative Effekte von Aktionsfolgen, die einzeln unauffällig wirken.
- 12 - Lab - Kontrollierte SimulationTool-Chain-Analyse (Lab)
Bewerten Sie Lese-dann-Sende-Folgen in einer kontrollierten Simulation.
04 Freigabe und Auswirkungsgrenzen
- 13 - AbwehrHuman-in-the-Loop
Informierte Freigabe, gebunden an eine konkrete Aktion, keine dauerhafte Befugnis.
- 14 - Lab - Kontrollierte SimulationMenschliche Freigabe (Lab)
Trennen Sie Gültigkeit einer Freigabe von Autorisierung in einer kontrollierten Simulation.
- 15 - AbwehrNetzwerk- und Egress-Beschränkungen
Steuert, welche Netzwerkpfade existieren, getrennt von der Aktionsautorisierung.
Vertiefung (optional)
- AngriffMulti-Agent-Prompt-Injection
Delegation und Nachrichten zwischen Agenten als zusätzliche Grenzen.
- AbwehrSandboxing / Eindämmung
Begrenzt die Auswirkungen beeinflusster Ausführung, ohne Ausgaben vertrauenswürdig zu machen.
- ForschungAgentDojo
Eine dynamische Benchmark-Umgebung für Prompt Injection bei Agenten.
- ForschungInjecAgent
Ein Benchmark für indirekte Injection gegen Tool-nutzende Agenten.
- Vorfall - Mit Evidenzeinordnung lesenAWS-2025-019 - Amazon Q Developer und Kiro
Ein Hersteller-Bulletin zu Coding-Agenten; im angegebenen Umfang zu lesen.
Wissenscheck
Denken Sie jede Frage zuerst selbst durch und öffnen Sie sie dann, um mit der erwarteten Begründung zu vergleichen. Es gibt keine Punkte.
Das Modell erzeugt einen schemagültigen Aufruf eines verfügbaren Tools. Darf er ausgeführt werden?
Nicht aus diesem Grund. Schemavalidität prüft die Form, Verfügbarkeit zeigt eine Fähigkeit; die Autorisierung muss die aufgelöste Aktion trotzdem entscheiden.
Die Drift-Erkennung sah nichts Auffälliges, weil Telemetrie fehlte. Liegt der Lauf innerhalb der Basis?
Nein. Unbeobachtet ist ein eigener Zustand, weder fehlgeschlagen noch sicher. Fehlende Evidenz ist als fehlend festzuhalten.
Ein Nutzer hat das Senden eines Berichts freigegeben. Darf der Agent die Freigabe für einen zweiten Versand nutzen?
Nein. Eine Freigabe ist an die konkret gezeigte Aktion gebunden und gewährt keine dauerhafte Befugnis.
Nach diesem Pfad sollten Sie...
- Vorschlag, Autorisierung, Ausführung und Ergebnis trennen
- Erklären, warum Tool-Erfolg oder Schemavalidität keine Berechtigung ist
- Drift- und Kettenbefunde nur als Evidenz nutzen
- Least Privilege, Freigabe und Egress-Grenzen zu einem Agentendesign verbinden