In den Vorfällen, die wir in unserer Vorfallsammlung dokumentiert haben, lag die Ursache selten im Modell allein, sondern in zu weiten Rechten, fehlenden Freigaben und ungeprüften Inhalten. Das sind Entscheidungen, die bei der Einführung fallen. Diese Checkliste ordnet sie in vier Phasen, jeder Prüfpunkt mit kurzer Begründung und einem Verweis auf den Beitrag, der ihn vertieft. Unsere These: Sicher einführen heißt, in dieser Reihenfolge vorzugehen - Zweck festlegen, Rechte begrenzen, Freigaben definieren, Protokoll einschalten, Notabschaltung testen - und erst dann auszuweiten. Wer die Reihenfolge umdreht, baut Kontrollen um einen KI-Agenten herum, der bereits zu viel darf.
So ist die Checkliste aufgebaut
Als Ordnungsrahmen dient das AI Risk Management Framework (AI RMF) des US-amerikanischen National Institute of Standards and Technology (NIST). Gültig ist die Version 1.0 vom Jänner 2023, die NIST nach eigener Angabe überarbeitet (Stand Oktober 2026). Das Rahmenwerk ist freiwillig und gliedert Risikomanagement in vier Funktionen: Govern (Steuern), Map (Kontext erfassen), Measure (Messen und Testen) und Manage (Risiken behandeln). Govern ist keine eigene Phase, sondern zieht sich durch alle anderen. NIST betont ausdrücklich, dass seine Maßnahmen weder eine Checkliste noch zwingend eine feste Schrittfolge sind. Die Reihenfolge unten ist deshalb unsere Empfehlung für Agenten, keine Vorgabe des Standards.
| Phase | Ziel | Bezug im NIST AI RMF |
|---|---|---|
| 1. Vorbereitung | Zweck, Verantwortung und Rechtsrahmen klären | Govern, Map |
| 2. Aufbau | Rechte begrenzen, Freigaben und Protokoll einrichten | Govern, Manage |
| 3. Pilot | Unter realen Bedingungen testen, auch den Ernstfall | Measure |
| 4. Betrieb | Überwachen, überprüfen, kontrolliert ausweiten | Measure, Manage |
Phase 1: Vorbereitung
- Einen Prozess und einen Zweck festlegen. Ein klar umrissener Ablauf, etwa das Vorsortieren eingehender Belege in einer Steuerkanzlei, lässt sich begrenzen und prüfen, "Unterstützung im Büro" nicht. Typische Szenarien zeigen unsere Einsatzbereiche, den Unterschied zum Chatbot erklärt Was ist ein KI-Agent?
- Eine verantwortliche Person benennen. Jemand muss fachlich für den Agenten einstehen und über seine Regeln entscheiden. Auch das AI RMF sieht dokumentierte, klare Rollen und Zuständigkeiten vor.
- Alle Agenten erfassen. Eine Inventur mit Zweck, Konten, erreichbaren Systemen und Datenkategorien deckt auch Agentenfunktionen in lizenzierter Software und Schatten-KI auf. Das AI RMF sieht ein solches Inventar vor, den Aufbau beschreibt Was ist KI-Agenten-Governance?
- Datenschutz klären. Verarbeitet der Agent personenbezogene Daten, gilt die DSGVO. Hat die Verarbeitung voraussichtlich ein hohes Risiko zur Folge, gerade beim Einsatz neuer Technologien, ist vorab eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO nötig.
- Den Rechtsrahmen einordnen. Der AI Act knüpft Pflichten an den Einsatzzweck, Systeme zur Auswahl von Bewerbungen etwa gelten grundsätzlich als hochriskant. Was das für Ihren Agenten heißt, zeigt KI-Agenten und der AI Act. Für Einrichtungen im Anwendungsbereich des NISG 2026 gilt zusätzlich unser Beitrag zum NISG 2026.
Phase 2: Aufbau
- Eigenes Dienstkonto statt persönlichem Konto. Nur so lässt sich später unterscheiden, ob ein Mensch oder der Agent gehandelt hat, und nur so lassen sich die Rechte gezielt entziehen. Mehr dazu in Least Privilege für KI-Agenten.
- Werkzeuge per Positivliste freigeben. Was nicht ausdrücklich erlaubt ist, bleibt verboten (Default-Deny). OWASP nennt zu viele Funktionen, zu weite Rechte und zu viel Autonomie als Ursachen von Excessive Agency.
- Zugangsdaten vom Modell fernhalten. Schlüssel und Tokens gehören in ein Secrets-Management, nicht in den Prompt, und müssen jederzeit widerrufbar sein.
- Aktionen in Stufen einteilen. Lesen, lokale Änderung und Wirkung nach außen verlangen unterschiedlich strenge Prüfung. Versand, Zahlung und Löschung gehören in die höchste Aktionsstufe.
- Freigaben nach Wirkung festlegen und außerhalb des Agenten prüfen. OWASP empfiehlt, die Berechtigung in den nachgelagerten Systemen durchzusetzen, statt das Modell entscheiden zu lassen. Die Begründung liefert Warum ein KI-Agent sich nicht selbst kontrollieren kann, wie gute menschliche Freigaben aussehen, zeigt Human in the Loop.
- Protokoll einschalten, bevor der Agent arbeitet. Jede Aktion gehört mit Auslöser, Parametern, Prüfergebnis und Resultat manipulationssicher in einen Audit-Trail. Ein Chatverlauf beantwortet nach einem Vorfall die entscheidenden Fragen nicht.
Phase 3: Pilot
- Mit einem Agenten, einem Prozess und getrennten Umgebungen starten. Test- und Produktionsdaten bleiben getrennt. In einem der dokumentierten Fälle konnte ein Agent aus der Entwicklung heraus eine Produktionsdatenbank löschen.
- Erfolgs- und Abbruchkriterien vorher festlegen. Was der Pilot zeigen soll, etwa Zeitersparnis, Fehlerquote und keine einzige unzulässige Aktion, steht vor dem Start fest. Sonst wird jedes Ergebnis nachträglich zum Erfolg erklärt.
- Manipulation gezielt testen. Legen Sie präparierte E-Mails oder PDFs mit versteckten Anweisungen in den Eingang und prüfen Sie, ob der Agent dadurch außerhalb seiner Rechte handeln kann. Hintergrund liefert Prompt Injection bei KI-Agenten, systematisch geht das per Red Teaming. Auch das AI RMF sieht Tests vor dem Einsatz und regelmäßig im Betrieb vor.
- Die Notabschaltung üben. Prüfen Sie, dass der Agent sofort stoppt und seine Zugangsdaten entzogen werden, bevor Sie es brauchen. Das AI RMF sieht Mechanismen und Zuständigkeiten vor, um Systeme abzuschalten, die sich anders als vorgesehen verhalten. Ein ungetesteter Kill Switch ist eine Annahme, keine Kontrolle.
- Ablehnungen auswerten. Häufen sich abgelehnte Aktionen bei einem Werkzeug, ist entweder die Regel zu eng oder der Agent wird in die falsche Richtung gelenkt.
- Das Team schulen. Wer mit dem Agenten arbeitet, muss wissen, was er darf, woran man Manipulation erkennt und wen man bei Auffälligkeiten informiert. Eine Schulung baut diese KI-Kompetenz gezielt auf.
Phase 4: Betrieb
- Erst ausweiten, wenn der Pilot alle Punkte erfüllt. Jeder neue Prozess und jedes neue Werkzeug durchläuft wieder die Phasen 1 bis 3, statt nebenbei ergänzt zu werden.
- Rechte in festen Abständen überprüfen. Rechte wachsen schleichend, erst Postfach, dann Laufwerk, dann Buchhaltung, und ohne festen Termin entzieht sie niemand wieder.
- Positivlisten pflegen. Im Fall ForcedLeak stand eine abgelaufene Domain noch auf der Allowlist, Forscher registrierten sie und leiteten Daten dorthin. Ziele, die niemand mehr braucht, gehören gestrichen.
- Den Ablauf für Vorfälle festlegen. Ein Datenabfluss über einen Agenten kann eine Datenschutzverletzung sein, die nach Art. 33 DSGVO unverzüglich und möglichst binnen 72 Stunden der Aufsichtsbehörde zu melden ist. Wer meldet, wer abschaltet und wer die Protokolle sichert, muss vorher feststehen.
- Protokolle aufbewahren und auswerten. Legen Sie die Aufbewahrungsdauer fest. Für Hochrisiko-Systeme schreibt Art. 26 AI Act Betreibern grundsätzlich mindestens sechs Monate vor. Ab wann diese Pflicht greift, erklärt der oben verlinkte Beitrag zum AI Act.
- Modell- und Softwarewechsel als Änderung behandeln. Eine neue Modellversion oder Erweiterung kann sich anders verhalten (Modell-Drift). Sie durchläuft deshalb erneut die Tests aus Phase 3.
Reihenfolge vor Tempo
Schwierig wird die Einführung, wenn ein Agent schon in mehreren Prozessen läuft und die Kontrollen nachträglich eingezogen werden müssen. Beginnen Sie deshalb mit einem Prozess, haken Sie die vier Phasen ab und weiten Sie erst dann aus.
AEGIS, das lokal betriebene Agentensystem von oQueo, unterstützt vor allem die Aufbauphase technisch: Das Sprachmodell hat keine Zugangsdaten, Werkzeuge stehen auf einer Positivliste mit Default-Deny, jede Aktion trägt eine Aktionsstufe, ausgeführt wird nur, was eine unabhängige Prüfinstanz signiert hat, und das Audit-Protokoll ist eine Hash-Kette. Zweck, Verantwortung, Schulung und Vorfallprozess bleiben Aufgabe Ihrer Organisation. Im Pilotprogramm erarbeiten wir die Regeln gemeinsam für Ihre Prozesse. Mehr dazu unter Prinzip.
Quellen
- NIST - AI 100-1: Artificial Intelligence Risk Management Framework (AI RMF 1.0) (2023)
- NIST - AI Risk Management Framework, Übersichtsseite (2026)
- OWASP - LLM06:2025 Excessive Agency (2025)
- Amtsblatt der EU - Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung) (2016)
- Amtsblatt der EU - Verordnung (EU) 2024/1689 (KI-Verordnung) (2024)
- Future of Life Institute - AI Act, Artikel 26: Pflichten der Betreiber (2024)