Slack AI - Datenexfiltration über indirekte Prompt Injection

Zusammenfassung

Im August 2024 veröffentlichte PromptArmor eine Demonstration gegen Slack AI, den Assistenten, der Fragen anhand der Nachrichten in einem Slack-Workspace beantwortet. Die Forschenden zeigten, dass Text aus einem öffentlichen Channel in die Slack-AI-Antwort einer anderen Person gelangen und diese Antwort so lenken konnte, dass private Daten der Person in einen Link zu einem externen Ziel eingebettet wurden.

Dieser Eintrag ist eine Forschungsdemonstration. Er zeigt, dass sich das Produkt in einem kontrollierten Test manipulieren ließ. Er belegt nicht, dass Angreifer Slack-Kunden ausgenutzt haben.

Einordnung und Evidenzstatus

Betroffenes System und Vertrauenspfad

Slack AI durchsuchte Nachrichten, die die fragende Person sehen durfte, auch öffentliche Channels, denen sie nicht beigetreten war, und kombinierte sie in einer Antwort mit ihren eigenen privaten Inhalten. Eine Nachricht eines beliebigen Workspace-Mitglieds in einem öffentlichen Channel ist variabler Inhalt, wurde in der Antwort aber wie gleichwertig relevantes Material neben privaten Daten behandelt.

Die Forschenden wiesen außerdem darauf hin, dass eine Produktänderung vom 2024-08-14 hochgeladene Dateien und weitere Dokumente als Quelle für Slack AI ergänzte. Sie hatten diese Änderung nach eigener Aussage nicht getestet, hielten die Angriffsfläche dadurch aber für größer.

Angriffskette im Überblick

Im Überblick: Ein Angreifer, der Mitglied des Workspace ist, schreibt eine Nachricht in einen öffentlichen Channel. Eine andere Person fragt Slack AI nach etwas, das nur in ihren privaten Unterhaltungen steht. Slack AI ruft sowohl den privaten Inhalt als auch die Nachricht des Angreifers ab. Die Antwort folgt dem Text des Angreifers und zeigt einen Link. Klickt die Person darauf, erreichen die im Link enthaltenen privaten Daten einen Server des Angreifers.

Die Offenlegung beschreibt zudem eine verwandte Phishing-Variante, bei der der angezeigte Link nur auf eine Seite des Angreifers führte. Dieser Eintrag gibt weder den Nachrichtenwortlaut noch den Aufbau der Links wieder.

Demonstrierte Wirkung und beobachtete Ausnutzung

Demonstriert: Ein in einer privaten Unterhaltung gespeichertes Geheimnis wurde in einen vom Angreifer kontrollierten Link eingebaut; die Exfiltration hing vom Klick der betroffenen Person ab.

Gegen reale Kunden beobachtet: in der zitierten Quelle nichts berichtet. Die Beeinflussung der Antwort ist Modelleinfluss; die Sicherheitsfolge entstand erst durch den Link als Ausgabekanal zusammen mit dem Zugriff auf private Inhalte.

Begünstigende Kontrolllücken

• Inhalte anderer Workspace-Mitglieder wurden mit privaten Inhalten gemischt, ohne dass eine Provenienzunterscheidung begrenzte, wie sie die Antwort prägen durften.
• Antworten konnten Links zu beliebigen externen Zielen enthalten und so einen Abflussweg für Daten aus dem Modellkontext öffnen.
• Allein die Retrieval-Relevanz entschied, was in den Kontext gelangte; Relevanz begründet weder Vertrauen noch Anweisungsautorität.

Reaktion von Hersteller und Forschenden

Laut der Zeitleiste von PromptArmor wurde das Problem vor der Veröffentlichung an Slack gemeldet. Die damalige Antwort von Slack, in der Offenlegung zitiert, hielt die Belege für unzureichend und bezeichnete die Durchsuchbarkeit öffentlicher Channel-Nachrichten für alle Workspace-Mitglieder als beabsichtigtes Verhalten. Nach der Veröffentlichung gab Slack an, am 20. August 2024 einen Patch ausgerollt zu haben; Hinweise auf unbefugten Zugriff auf Kundendaten lagen nach eigenen Angaben nicht vor.

Nachweise, die Verteidiger sichern sollten

• Welche Nachrichten und Channels für jede AI-Antwort abgerufen wurden, einschließlich der Autoren von Inhalten aus öffentlichen Channels.
• Links in AI-Antworten und ob sie angeklickt wurden.
• Proxy- oder DNS-Protokolle zu Anfragen an unbekannte Domains nach dem Anzeigen von AI-Antworten.
• Neue öffentliche Channels mit wenigen Mitgliedern, deren Nachrichten in Antworten anderer Personen auftauchten.

Lehren für die Abwehr

• Datenprovenienz: festhalten, wer jedes abgerufene Element verfasst hat, und diese Kennzeichnung der Richtlinie zugänglich machen.
• Informationsflusskontrolle: Links in AI-Antworten blockieren oder entschärfen, die Kontextdaten zu nicht freigegebenen Zielen tragen würden.
• Ausgabevalidierung: die Struktur von Antworten prüfen, etwa welche Linkziele erlaubt sind, getrennt vom Rendern und Kodieren.
• Erkennung von Prompt Injection: Überwachung kann verdächtige abgerufene Inhalte markieren, ist aber ein Signal und keine Berechtigungslogik.

Verwandte Lernthemen

• RAG und Retrieval - Wie RAG als Anwendungsarchitektur funktioniert: die Retrieval-Pipeline, warum Relevanz kein Vertrauen ist, Security Trimming, Provenienz, Zitate und abgeleiteter Zustand.
• Was ist Prompt Injection? - Konzeptionelle Definition, direkt und indirekt sowie warum Kontrollverlust über Anweisungen nicht gleich Sicherheitsfolge ist.