Zusammenfassung
Im September 2024 veröffentlichte Johann Rehberger (Embrace The Red) einen Befund zur macOS-App von ChatGPT und ihrer Memory-Funktion, die Informationen über Unterhaltungen hinweg speichert. Er zeigte, dass Prompt Injection aus nicht vertrauenswürdigen Inhalten ChatGPT dazu bringen konnte, vom Angreifer gewählte Anweisungen in der Memory abzulegen. Da die Memory in späteren Sitzungen wiederverwendet wird, beeinflusste der eingeschleuste Eintrag auch künftige Unterhaltungen und ließ deren Inhalte in der Demonstration an ein externes Ziel abfließen.
Dieser Eintrag ist ein Red-Team-Befund. Er zeigt, was ein Forscher in einer kontrollierten Umgebung erreichen konnte. Er belegt nicht, dass Angreifer ChatGPT-Nutzende ausgenutzt haben.
Einordnung und Evidenzstatus
| Feld | Wert |
|---|---|
| Record-Typ | Red-Team-Befund |
| Öffentliche Offenlegung | 2024-09-20 |
| Hersteller / Produkt | OpenAI / ChatGPT macOS app / Memory |
| Angriffsklasse | Indirekte Prompt Injection |
| Eintragsweg | Webinhalte - nicht vertrauenswürdige Webinhalte, die in einem Chat verarbeitet werden; die Offenlegung behandelt auch nicht vertrauenswürdige Dokumente |
| Betroffene Daten / Fähigkeiten | ChatGPT-Memory und die Inhalte späterer Chat-Sitzungen in der macOS-App |
| Demonstrierte Wirkung | Dauerhafte Vergiftung der Memory und fortgesetzte Offenlegung künftiger Chat-Inhalte über Sitzungen hinweg in der kontrollierten Demonstration |
| Ausnutzung in freier Wildbahn | Keine Ausnutzung in freier Wildbahn in den zitierten Quellen berichtet. Die Offenlegung beschreibt nur eine kontrollierte Forschungsdemonstration. |
| Behebungsstatus | Behoben (laut Offenlegung der Forschenden). Laut Offenlegung des Forschers hat OpenAI die Schwachstelle im September 2024 in ChatGPT-Version 1.2024.247 behoben. Behebungsstatus: Behebung laut Forscher. |
| Kennungen | Keine Kennung angegeben |
| Externe Bewertung | Keine externe Bewertung angezeigt |
Betroffenes System und Vertrauenspfad
Inhalte, die ChatGPT auf Wunsch der Nutzenden verarbeitet, etwa eine Webseite, sind variable Daten Dritter. Die Memory ist dagegen ein dauerhafter Speicher, dessen Einträge in späteren Unterhaltungen als Kontext mitgeführt werden. Kann ein nicht vertrauenswürdiger Inhalt einen Schreibvorgang in diesen Speicher auslösen, wird aus einem einmaligen Kontakt ein anhaltender Einfluss auf jede spätere Sitzung.
Frühere Arbeiten desselben Forschers vom Mai 2024 hatten bereits gezeigt, dass sich Memory-Einträge über Prompt Injection aus nicht vertrauenswürdigen Dokumenten und Webinhalten anlegen ließen.
Angriffskette im Überblick
Im Überblick: Eine Person lässt ChatGPT mit Inhalten arbeiten, die ein Angreifer kontrolliert. Diese Inhalte bringen das Modell dazu, einen dauerhaften Memory-Eintrag zu speichern. In späteren, unabhängigen Sitzungen wird der Eintrag als Kontext geladen. Die beeinflussten Antworten nutzen einen Ausgabekanal, über den Gesprächsinhalte an einen externen Server gelangen können.
Dieser Eintrag gibt weder den gespeicherten Memory-Text noch den Aufbau der Ausgabe oder andere Details wieder, die zur Wiederholung der Demonstration nötig wären.
Demonstrierte Wirkung und beobachtete Ausnutzung
Demonstriert: Ein einziger Kontakt mit nicht vertrauenswürdigen Inhalten erzeugte einen dauerhaften Memory-Eintrag, und die Demonstration des Forschers zeigte die fortgesetzte Offenlegung nachfolgender Chat-Inhalte über Sitzungen hinweg.
Gegen reale Nutzende beobachtet: in den zitierten Quellen nichts berichtet. Ein Schreibvorgang in die Memory ist eine dauerhafte Form von Modelleinfluss; die Sicherheitsfolge entstand erst durch die Verbindung von Persistenz und einem ausgehenden Ausgabekanal.
Begünstigende Kontrolllücken
- Ein Schreibvorgang in die dauerhafte Memory ließ sich durch Inhalte Dritter auslösen statt durch eine ausdrückliche Entscheidung der Nutzenden.
- Memory-Einträge wurden als Kontext wiederverwendet, ohne dass eine Provenienz gewollte Einträge von solchen unterschied, die nicht vertrauenswürdige Inhalte verursacht hatten.
- Antworten konnten ausgehende Anfragen erzeugen und so Kontextdaten einen Weg zu externen Zielen öffnen.
Reaktion von Hersteller und Forschenden
Die Offenlegung des Forschers gibt an, dass OpenAI die Schwachstelle im September 2024 in ChatGPT-Version 1.2024.247 behoben hat und der Befund am 2024-09-20 öffentlich vorgestellt wurde. Dieser Eintrag schreibt die Behebung dieser Aussage des Forschers zu. Er verweist außerdem auf dessen Rat, die von ChatGPT gespeicherten Memory-Einträge zu prüfen. Behebungsstatus: Behebung laut Forscher.
Nachweise, die Verteidiger sichern sollten
- Soweit verfügbar, ein Verlauf der angelegten und geänderten Memory-Einträge mit der Unterhaltung und Inhaltsquelle, die jeder Änderung vorausging.
- Herkunft der in einem Chat verarbeiteten externen Inhalte, etwa Webseiten oder Dokumente, verknüpft mit den beeinflussten Antworten.
- Ausgehende Netzwerkanfragen des Clients nach KI-Antworten, besonders zu unbekannten Zielen.
- Aufzeichnungen, welche Memory-Einträge in den Kontext jeder Sitzung geladen wurden.
Lehren für die Abwehr
- Datenprovenienz: Dauerhafte Einträge mit der Quelle kennzeichnen, die sie ausgelöst hat, damit Richtlinien aus Drittinhalten entstandene Einträge anders behandeln können.
- Agentenautorisierung: Einen Schreibvorgang in die dauerhafte Memory als autorisierungspflichtige Aktion behandeln, nicht als Nebeneffekt des Lesens.
- Informationsflusskontrolle: Verhindern, dass Kontextdaten über gerenderte Ausgaben nicht freigegebene Ziele erreichen.
- Least Privilege: Begrenzen, welche Sitzungen und Inhaltsarten langlebigen Zustand verändern dürfen.
- Prompt-Injection-Erkennung: Die Überwachung von Memory-Änderungen ist ein nützliches Signal, ersetzt aber keine Berechtigungslogik.
Verwandte Lernthemen
- Vertrauensgrenzen und Modellkontext - Was modellsichtbarer Kontext ist, warum Position kein Vertrauen erzeugt und warum Kontrollen außerhalb des Modells liegen.
- Was ist Prompt Injection? - Konzeptionelle Definition, direkt und indirekt sowie warum Kontrollverlust über Anweisungen nicht gleich Sicherheitsfolge ist.