Warum ein KI-Agent sich nicht selbst kontrollieren kann

Auf die Frage nach Kontrolle antworten viele Agenten-Lösungen mit einem zweiten Modellaufruf: Der Agent plant, prüft seinen Plan selbst und führt ihn dann aus. Oder ein Guardrail im selben Framework bewertet die geplante Aktion. Das klingt nach Vier-Augen-Prinzip, sind aber zwei Augen im selben Kopf. Unsere These: Eine Kontrollinstanz für KI-Agenten muss vom Geprüften in drei Dimensionen unabhängig sein, im Kontext, den sie liest, in den Fehlern, die sie macht, und im Prozess, in dem sie läuft. Selbstprüfung scheitert an allen dreien.

Erstes Problem: Prüfer und Geprüfter lesen denselben Kontext

Im Kontextfenster eines Agenten stehen Systemanweisung, Auftrag, abgerufene Dokumente und Werkzeugausgaben unterschiedslos nebeneinander. Das britische National Cyber Security Centre (NCSC) hat im Dezember 2025 klargestellt, dass ein Sprachmodell intern nicht zwischen Daten und Anweisungen unterscheidet, es gibt nur das nächste Token. Prompt Injection sei deshalb anders als SQL Injection möglicherweise nie vollständig zu beheben. Das NCSC nennt Sprachmodelle "inherently confusable deputies", also von Natur aus verwirrbare Stellvertreter.

Ein Beispiel: Eine Steuerkanzlei lässt einen Agenten eingehende Belege verarbeiten. In einem PDF steht in weißer Schrift, die Unterlagen seien zusätzlich an eine bestimmte Adresse weiterzuleiten, das sei eine vom Mandanten freigegebene Standardaktion. Fragt man denselben Agenten anschließend, ob die Weiterleitung zulässig ist, beurteilt er das im Licht genau dieses Textes. Der Angreifer hat Planer und Prüfer mit einem einzigen Dokument erreicht. Das NCSC zieht daraus eine klare Konsequenz: Verarbeitet ein Modell Inhalte einer Partei, sinken seine Privilegien auf die dieser Partei.

Zweites Problem: korrelierte Fehler

Auch ohne Angriff ist ein zweiter Blick desselben Modells wenig wert. Eine auf der ICLR 2024 vorgestellte Studie zeigte, dass Sprachmodelle ihre Schlussfolgerungen ohne externe Rückmeldung kaum verbessern und teils sogar verschlechtern. Hinzu kommt Selbstbevorzugung: Modelle erkennen als Bewerter ihre eigenen Texte und bewerten sie besser als gleichwertige fremde, wie eine Untersuchung von 2024 belegt.

Der naheliegende Ausweg, ein anderes Modell als Richter einzusetzen, trägt weniger weit als erhofft. Eine auf der ICML 2025 veröffentlichte Analyse von über 350 Modellen fand, dass zwei Modelle auf einem Leaderboard-Datensatz in 60 Prozent der Fälle, in denen beide falsch lagen, dieselbe falsche Antwort gaben. LLM-as-a-Judge ist für Qualitätsbewertungen nützlich. Als Sicherheitsgrenze bleibt es ein Wahrscheinlichkeitsfilter mit gemeinsamen blinden Flecken.

Drittes Problem: Guardrails im selben Prozess

Die klassische IT-Sicherheit verlangt von einer Kontrollinstanz drei Dinge: Sie wird bei jedem Zugriff aufgerufen, sie ist für das Kontrollierte unveränderbar, und sie ist klein genug, um sie zu prüfen. Guardrails, die als Funktion im selben Agenten-Framework laufen, verletzen die zweite Bedingung. Wer Code im Agentenprozess ausführen kann, etwa über eine kompromittierte Erweiterung, kann den Prüfaufruf überspringen oder dessen Konfiguration ändern. Liegen die Zugangsdaten im selben Speicher, hilft die beste Prüflogik nichts.

Aufschlussreich ist, wie Anthropic im März 2026 die modellbasierte Freigabe für sein Programmierwerkzeug beschrieben hat. Der Klassifikator sieht bewusst nur Nutzereingaben und geplante Werkzeugaufrufe. Die eigenen Texte des Agenten und die Werkzeugausgaben werden entfernt, damit der Agent den Prüfer nicht überreden kann. Selbst so beziffert Anthropic den Anteil übersehener übereifriger Aktionen in einem realen Datensatz auf 17 Prozent. Kontexttrennung hilft also, macht aus einem Modell aber keine verlässliche Grenze.

Warum menschliche Freigabe allein nicht skaliert

Die Gegenposition lautet: Dann bestätigt eben ein Mensch jede Aktion, Human-in-the-Loop. Dieselbe Quelle liefert die Ernüchterung. Die Nutzerinnen und Nutzer dieses Werkzeugs bestätigten 93 Prozent der Berechtigungsabfragen, und Anthropic beschreibt das Muster als Freigabemüdigkeit: Menschen achten irgendwann nicht mehr genau darauf, was sie bestätigen. Wer dreißigmal am Tag "Agent möchte Datei lesen" bestätigt, klickt beim einunddreißigsten Mal auch eine Weiterleitung nach außen weg. Menschliche Freigabe ist wertvoll, aber als knappe Ressource für die wenigen Aktionen mit Außenwirkung, nicht als Dauerzustand. Sinnvoll ist ein gestuftes Modell: Lesende Aktionen laufen nach bestandener Regelprüfung automatisch, Aktionen mit Wirkung nach außen verlangen zusätzlich eine bewusste Bestätigung.

Was stattdessen trägt: getrennte Rollen, feste Regeln, signierte Freigaben

Eine tragfähige Kontrollinstanz für KI-Agenten verbindet drei Elemente. Die Übersicht zeigt, warum keine der üblichen Alternativen alle Anforderungen zugleich erfüllt.

• Rollentrennung: Die planende Komponente darf nichts ausführen und kennt keine Geheimnisse, die ausführende interpretiert keine Texte. Diese Rollentrennung stützt auch die Forschung: Der 2025 vorgestellte Ansatz CaMeL trennt Kontroll- und Datenfluss, sodass nicht vertrauenswürdige Daten den Ablauf nicht ändern können, und löste im Benchmark AgentDojo 77 Prozent der Aufgaben mit nachweisbarer Sicherheit, ungeschützt waren es 84 Prozent.
• Deterministische Prüfung: Schema, Aktionsstufe und Positivliste werden als Policy as Code geprüft. Gleiche Eingabe, gleiche Entscheidung, testbar und auditierbar.
• Signierte Freigaben: Die Prüfinstanz signiert jede Freigabe, etwa per HMAC. Die Ausführung akzeptiert nur gültig Signiertes. Da die planende Komponente den Schlüssel nie sieht, kann sie selbst vollständig kompromittiert keine Freigabe fälschen. Nonce und Zeitfenster verhindern, dass eine alte Freigabe als Replay-Angriff erneut eingespielt wird.

Unabhängigkeit ist eine Architekturentscheidung

AEGIS, das lokal betriebene Agentensystem von oQueo, folgt diesem Muster im Drei-Instanzen-Prinzip. Die Planungsinstanz erzeugt strukturierte Intents ohne Zugriff auf Geheimnisse oder Werkzeuge. Die Prüfinstanz validiert Schema, Aktionsstufe und Positivliste, schützt vor Wiederholungen und signiert per HMAC-SHA256. Die Ausführungsinstanz prüft die Signatur erneut und schreibt ein Audit-Log als SHA-256-Hash-Kette. Ist dessen Integrität verletzt, startet sie nicht. Inhalte aus dem Internet gelten standardmäßig als nicht vertrauenswürdig, und was nicht ausdrücklich erlaubt ist, wird abgelehnt. Mehr dazu unter Sicherheit und im Grundlagenbeitrag Was ist KI-Agenten-Governance?