Sicherheit und Compliance für KI-Agenten

Die typischen Risiken von KI-Agenten

Die Risiken eines Agenten entstehen nicht im Sprachmodell allein, sondern an der Stelle, an der Modellausgaben zu Aktionen in echten Systemen werden. Das OWASP GenAI Security Project führt in seinen Top 10 für LLM-Anwendungen genau diese Stelle als eigenes Risiko: Excessive Agency, also zu viele Funktionen, zu weite Berechtigungen und zu viel Autonomie. In der Praxis begegnen uns fünf Muster immer wieder.

1. Übermäßige Rechte

Agenten laufen häufig unter dem Konto der Person, die sie eingerichtet hat, oder unter einem technischen Konto mit Vollzugriff. Damit kann der Agent alles, was diese Person kann: jedes Postfach lesen, jede Datei löschen, jede Überweisung vorbereiten. Das Prinzip der minimalen Berechtigung wird bei Agenten oft als Erstes geopfert, weil es den Einstieg bequemer macht.

2. Prompt Injection

Bei einer Prompt Injection enthält eine Eingabe Anweisungen, die das Modell als Auftrag missversteht. Besonders gefährlich ist die indirekte Variante: Die Anweisung steckt in einer E-Mail, einem PDF oder einer Webseite, die der Agent im Rahmen seiner Aufgabe verarbeitet. Niemand muss dafür Zugang zu Ihren Systemen haben - eine präparierte Nachricht im Posteingang genügt. Dokumentierte Fälle dazu sammeln wir in unserem Beitrag Wenn KI-Agenten eigenmächtig handeln.

3. Handeln ohne Freigabe

Viele Agenten-Frameworks führen einen Werkzeugaufruf aus, sobald das Modell ihn erzeugt. Eine zweite Instanz, die prüft, ob dieser Aufruf in diesem Moment zulässig ist, gibt es nicht. Wo es Freigaben durch Menschen gibt, werden sie bei vielen Anfragen schnell zur Routine und verlieren ihre Schutzwirkung.

4. Datenabfluss

Ein Agent mit Lesezugriff auf vertrauliche Daten und einem Weg nach außen ist ein möglicher Kanal für Datenabfluss. Das muss kein E-Mail-Versand sein: Ein Link, den der Agent abruft, und dessen Adresse vertrauliche Inhalte enthält, reicht aus. Hinzu kommt der Abfluss an Cloud-Anbieter, wenn Dokumente zur Verarbeitung an externe Modelle übertragen werden.

5. Fehlende Protokolle

Nach einem Vorfall stellen sich immer dieselben Fragen: Was hat der Agent getan, auf wessen Veranlassung, auf welcher Grundlage? Chat-Verläufe beantworten das nicht. Fehlt ein Audit-Trail auf Ebene der einzelnen Aktion, lassen sich weder Ursache noch Schaden belastbar feststellen.

Wie AEGIS diesen Risiken begegnet

Keine dieser Maßnahmen verlässt sich auf das Wohlverhalten des Modells. Das ist der entscheidende Unterschied zu Schutzmaßnahmen, die im selben Prozess laufen wie der Agent, etwa Guardrails im Prompt oder eine Bewertung der Ausgabe durch ein zweites Modell. Wie die Instanzen zusammenspielen, zeigt die Seite Prinzip.

KI-Agenten und der AI Act

Der AI Act der EU reguliert nicht die Technik "Agent", sondern Einsatzzwecke. Ein Agent, der Belege vorkontiert oder Wissen aus internen Handbüchern beantwortet, ist in aller Regel kein Hochrisiko-KI-System. Ein Agent, der Bewerbungen vorsortiert oder über den Zugang zu wesentlichen Leistungen mitentscheidet, kann es sein.

Für Hochrisiko-Systeme verlangt der AI Act unter anderem eine wirksame menschliche Aufsicht einschließlich der Möglichkeit, das System sicher anzuhalten (Artikel 14), sowie automatisch erzeugte Protokolle, die Betreiber aufbewahren müssen (Artikel 26). Mit der Digital-Omnibus-Verordnung (EU) 2026/1744 wurde der Geltungsbeginn dieser Pflichten verschoben: für Systeme nach Anhang III auf den 2. Dezember 2027, für Systeme in regulierten Produkten nach Anhang I auf den 2. August 2028. Unabhängig davon gelten die Verbote bestimmter Praktiken nach Artikel 5 bereits seit Februar 2025.

AEGIS stellt keine Konformität her. Es liefert aber die technischen Bausteine, auf die sich eine Konformitätsarbeit stützen kann: begrenzte und dokumentierte Befugnisse, eine Prüfung vor jeder Ausführung, eine Höchststufe als Notbremse und ein manipulationssicheres Protokoll. Einen ausführlichen Überblick mit Quellen gibt der Beitrag Was ist KI-Agenten-Governance?

DSGVO und Datenhoheit

Sobald ein Agent personenbezogene Daten verarbeitet, gilt die DSGVO - in Kanzlei, Steuerberatung oder Praxis also praktisch immer. Drei Pflichten sind für Agenten besonders relevant: die Rechenschaftspflicht (Art. 5 Abs. 2), also der Nachweis, was mit welchen Daten geschah; Datenschutz durch Technikgestaltung (Art. 25), also Voreinstellungen, die nur so viele Daten nutzen wie nötig; und die Sicherheit der Verarbeitung (Art. 32). Bei umfangreicher Verarbeitung von Gesundheitsdaten kommt eine Datenschutz-Folgenabschätzung nach Art. 35 hinzu.

Wird ein Agent als Cloud-Dienst betrieben, wandern Dokumente, Prompts und Ergebnisse zu einem Auftragsverarbeiter, häufig mit Bezug zu Drittländern. AEGIS läuft auf Ihrer Hardware. Modelle, Wissensbasis und Protokolle bleiben in Ihrer Infrastruktur, und Sie entscheiden, ob das System überhaupt Ziele außerhalb Ihres Netzes erreichen darf. Das vereinfacht Verzeichnis, Folgenabschätzung und Gespräche mit Ihrer Datenschutzaufsicht erheblich - Datenhoheit im wörtlichen Sinn.

NIS2 und das NISG 2026

In Österreich setzt das Netz- und Informationssystemsicherheitsgesetz 2026 die NIS2-Richtlinie um und gilt seit 1. Oktober 2026. Erfasste Einrichtungen, darunter viele Gesundheitsdienstleister ab mittlerer Größe, müssen Risikomanagement, Zugriffskontrolle und Vorfallmeldung nachweisen. Ein Agent mit Zugriff auf Systeme ist aus dieser Sicht ein privilegiertes Konto wie jedes andere - mit dem Unterschied, dass er Anweisungen aus Texten bezieht. Rollentrennung, minimale Rechte und ein lückenloses Protokoll sind deshalb keine Kür, sondern Teil der geforderten Maßnahmen.

Was AEGIS nicht leistet

Ehrlichkeit gehört zur Sicherheit. AEGIS verhindert keine falschen Inhalte: Fasst ein Modell ein Dokument fehlerhaft zusammen, bleibt die Zusammenfassung fehlerhaft, auch wenn das Lesen erlaubt war. AEGIS ersetzt keine Rechtsberatung, keine Datenschutz-Folgenabschätzung und keine Schulung Ihres Teams. Und eine zu großzügig formulierte Positivliste bleibt zu großzügig. Wofür AEGIS steht, ist enger und dafür überprüfbar: Ohne gültige Freigabe der Prüfinstanz wird nichts ausgeführt, und jede Entscheidung ist nachvollziehbar.