Prompt Injection: Wie Angreifer KI-Agenten über Inhalte steuern

Ein KI-Agent liest E-Mails, Dokumente und Webseiten, um Aufgaben zu erledigen. Wer einen Text in seine Reichweite bringt, kann ihm deshalb Anweisungen unterschieben. Diese Angriffsform heißt Prompt Injection, und sie steht in der OWASP Top 10 für LLM-Anwendungen wie schon 2025 auch 2026 auf Platz 1. Unsere These: Prompt Injection lässt sich im Modell nicht zuverlässig verhindern. Schützen kann nur eine Architektur, in der eine manipulierte Absicht keinen Schaden anrichten kann.

Direkt oder indirekt: zwei Wege zum selben Ziel

Bei der direkten Prompt Injection gibt jemand die schädliche Anweisung selbst in das Eingabefeld ein. Angreifende und Nutzende sind dabei dieselbe Person, so grenzt es das deutsche Bundesamt für Sicherheit in der Informationstechnik (BSI) ab. Ein Sonderfall ist der Jailbreak: Die Person will das Modell dazu bringen, seine eigenen Sicherheitsvorgaben zu missachten.

Für Agenten gefährlicher ist die indirekte Prompt Injection. Die Anweisung steckt in Inhalten, die der Agent verarbeitet: einer E-Mail, einem PDF, einer Webseite, einem Support-Ticket. Kai Greshake und Kollegen haben diese Angriffsklasse im Februar 2023 beschrieben: Angreifer brauchen dafür keinen direkten Zugang zur Anwendung.

Ein illustratives Beispiel: Eine Kanzlei lässt einen Agenten eingehende Post vorsortieren und Antwortentwürfe schreiben. Eine E-Mail enthält in weißer Schrift die Bitte, die letzten Schriftsätze zu einem Mandat zusammenzufassen und an eine externe Adresse zu senden. Die Sachbearbeiterin sieht davon nichts. Dass das nicht theoretisch ist, zeigt der Fall EchoLeak in Microsoft 365 Copilot aus unserer Sammlung dokumentierter Vorfälle.

Warum das Modell Anweisung und Daten nicht trennt

Im Kontextfenster eines Sprachmodells landen Systemvorgaben, Ihre Frage, abgerufene Dokumente und Werkzeugausgaben als eine einzige Folge von Tokens. Die OWASP-Ausgabe 2026 hält fest, dass Sprachmodelle architektonisch nicht zwischen Anweisungen und Daten unterscheiden. Anders als bei SQL Injection gibt es deshalb kein sauberes Gegenmittel wie parametrisierte Abfragen. Das BSI sprach schon 2023 von einer intrinsischen Schwachstelle der derzeitigen Technologie. Wie das britische NCSC dieselbe Diagnose begründet, haben wir im Beitrag zur Selbstkontrolle von Agenten dargelegt.

Zudem können eingeschleuste Anweisungen unsichtbar sein, etwa als Text in Schriftgröße null oder als unsichtbare Unicode-Zeichen. Eine Sichtprüfung hilft laut BSI in der Regel nicht.

Filter und Systemprompts erhöhen nur die Hürde

Naheliegend sind Filter für verdächtige Eingaben und ein Systemprompt, der verbietet, Anweisungen aus Dokumenten zu befolgen. Beides ist sinnvoll, aber keine Grenze. Eine Forschergruppe um Milad Nasr und Nicholas Carlini hat im Oktober 2025 zwölf veröffentlichte Abwehrverfahren gegen Jailbreaks und Prompt Injection mit adaptiven Angriffen getestet, die sich auf die jeweilige Abwehr einstellen. Bei den meisten lag die Erfolgsquote der Angriffe über 90 Prozent, obwohl ursprünglich meist Werte nahe null gemeldet worden waren.

Der Entwickler Simon Willison hält Anbietern von Guardrails, die rund 95 Prozent abgefangene Angriffe versprechen, entgegen, dass eine solche Quote in der Websicherheit ein klares Durchfallen wäre. OWASP stuft Verbote im Systemprompt ausdrücklich als nur teilweise wirksam ein. Auch das BSI schreibt in seinem 2026 veröffentlichten Basisschutz gegen indirekte Prompt Injection, das Problem gelte weiterhin als nicht abschließend lösbar.

Die gefährliche Kombination: Daten, fremde Inhalte, Weg nach außen

Lässt sich Manipulation nicht verhindern, zählt, was ein manipulierter Agent anrichten kann. Simon Willison hat im Juni 2025 drei Eigenschaften beschrieben, die zusammen gefährlich werden: die "lethal trifecta". Meta hat darauf im Oktober 2025 die "Agents Rule of Two" aufgebaut: Innerhalb einer Sitzung soll ein Agent höchstens zwei der drei Eigenschaften vereinen, sonst braucht er Aufsicht, etwa eine menschliche Freigabe. Die OWASP-Ausgabe 2026 empfiehlt diese Regel als Mindeststandard.

Der E-Mail-Agent aus dem Beispiel vereint alle drei. Ein Agent, der eingehende Post nur vorsortiert und weder Nachrichten verschicken noch Adressen abrufen kann, bleibt manipulierbar, hat aber keinen Kanal für einen Datenabfluss.

Was stattdessen trägt

OWASP zieht 2026 die Konsequenz: Abwehr ist eine Frage der Architektur, nicht des Abfangens. Eine gelungene Injection darf nicht zu einem gelungenen Angriff werden. Daraus folgen drei Prinzipien.

• Wenig Rechte: Least Privilege je Aufgabe und Vorgang, Zugangsdaten im Anwendungscode statt beim Modell. Für Agenten bezeichnet OWASP minimale Rechte als tragende Maßnahme.
• Getrennte Prüfung: Werkzeugaufrufe laufen über eine deterministische Policy Engine, die Absicht und Parameter unmittelbar vor der Ausführung erneut prüft.
• Freigaben nach Wirkung: Lesen läuft nach bestandener Regelprüfung automatisch, Versenden, Löschen und Zahlen erst nach menschlicher Bestätigung (Human in the Loop). Die freigebende Person sollte laut OWASP die tatsächliche Aktion sehen, nicht eine Zusammenfassung des Modells.

Auch das BSI empfiehlt für KI-Agenten menschliche Bestätigung sicherheitskritischer Aktionen und laufende Protokollierung. In einer Steuerberatung hieße das etwa: Der Agent liest Belege und schlägt Buchungen vor, die Übermittlung an das Finanzamt bestätigt ein Mensch.

Schaden begrenzen statt Absichten erraten

AEGIS, das lokal betriebene Agentensystem von oQueo, setzt an dieser Stelle an. Die Planungsinstanz, in der das Sprachmodell arbeitet, hat weder Zugangsdaten noch Zugriff auf Werkzeuge. Jeder Vorschlag durchläuft eine Prüfinstanz aus deterministischem Code, die Werkzeug, Aktionsstufe und Ziel gegen Ihre Regeln prüft und nur signiert, was alle Prüfungen besteht. Inhalte aus dem Internet gelten standardmäßig als nicht vertrauenswürdig, Zugriffe sind nur auf freigegebene Domains möglich. Ein manipuliertes Modell kann weiter falsche Vorschläge machen, ihre Wirkung bleibt aber auf erlaubte Werkzeuge und Stufen begrenzt. Fehlerhafte Inhalte verhindert das nicht. Mehr dazu unter Sicherheit.