KI verändert die Verantwortungsfrage

Künstliche Intelligenz entwickelt sich vom antwortenden Werkzeug zum handelnden Agenten. Agentische Systeme zeigen sich in der Lage, Ziele zu zerlegen, Anwendungen anzusteuern und innerhalb definierter Grenzen Aktionen auszulösen. Damit verschiebt sich eine zentrale Frage: Wer trägt die Verantwortung, wenn ein System einen Prozess eigenständig ausführt? 

„Wenn ein KI-Agent nicht nur empfiehlt, sondern handelt, macht er aus einer Qualitätsfrage eine Governance- und Haftungsfrage. Unternehmen müssen deshalb nachvollziehen können, welche Befugnisse ein Agent hatte und warum eine konkrete Aktion ausgelöst wurde“, erklärt Mathias Herrmann, CEO der ALLEHERZEN GmbH. Ein KI-Agent wird dabei nicht selbst zum Rechtssubjekt. Verantwortlich bleiben die Personen oder Unternehmen, die ein System entwickeln, bereitstellen, betreiben oder einsetzen – abhängig von Rolle, Einsatz und anwendbarem Recht.

AI Act verteilt Pflichten nach Rollen

Der AI Act sieht für Hochrisiko-KI umfangreiche Pflichten für Anbieter und Betreiber vor. Die zentralen Anforderungen werden nach der jüngsten Fristverschiebung für Annex-III-Systeme ab Dezember 2027 und für produktbezogene Hochrisiko-Systeme ab August 2028 anwendbar. Dazu gehören unter anderem Risikomanagement, technische Dokumentation und Protokollierung auf Anbieterseite. Betreiber müssen Systeme bestimmungsgemäß einsetzen, menschliche Aufsicht gewährleisten und den Betrieb überwachen. Entscheidend bleibt, wer welche Kontrolle hatte, und welche Pflichten verletzt wurden – soweit der risikobasierte Ansatz des EU AI Act. Agentische Systeme machen diese Zuordnung jedoch anspruchsvoller. Ein Agent kann ein internes System falsch bedienen, fehlerhafte Informationen weiterverarbeiten oder über eine Schnittstelle eine externe Aktion auslösen. Hinzu kommen Prompt Injection, manipulierte Daten, fehlerhafte Tool-Aufrufe und überhöhte Berechtigungen. 

„Das Risiko liegt deshalb nicht nur im Modell, sondern im Gesamtsystem und seinen Handlungsmöglichkeiten“, präzisiert Herrmann. „Haftung entsteht nicht automatisch durch einen Fehler des KI-Agenten. Maßgeblich sind die einschlägigen Regeln, etwa aus Vertrags-, Delikts- und Produkthaftungsrecht sowie sektorspezifischen Vorschriften. Die neue EU-Produkthaftungsrichtlinie erfasst ausdrücklich auch Software und KI-Systeme. Für Produkte, die nach dem 8. Dezember 2026 in Verkehr gebracht oder in Betrieb genommen werden, erweitert sie damit den produkthaftungsrechtlichen Rahmen auch auf KI.“ Besonders relevant ist die Beweisbarkeit. Führt ein Agent mehrere Schritte autonom aus, reicht der Blick auf das Endergebnis häufig nicht. Unternehmen müssen rekonstruieren können, welche Eingaben vorlagen, welche Werkzeuge beteiligt waren, welche Berechtigungen bestanden und wann eine Aktion ausgelöst wurde. Für bestimmte Hochrisiko-Systeme sieht der AI Act automatisch erzeugte Logs und angemessene Überwachung vor.

Strafen können erheblich ausfallen

Neben zivilrechtlichen Ansprüchen drohen bei Verstößen gegen den AI Act Verwaltungsstrafen. „Für verbotene KI-Praktiken sind bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Jahresumsatzes möglich – maßgeblich ist der höhere Betrag“, so der Experte. „Weitere Pflichtverstöße können bis zu 15 Millionen Euro oder drei Prozent kosten. Für falsche oder irreführende Angaben sind bis zu 7,5 Millionen Euro oder ein Prozent vorgesehen.“ Bei KMUs gelten besondere Begrenzungen. Für Unternehmen heißt das: Compliance darf nicht erst nach einem Vorfall beginnen. Wer Agenten produktiv einsetzen will, braucht eine Verbindung zwischen Berechtigung, menschlicher Kontrolle, Protokollierung und organisatorischer Verantwortung. Entscheidend ist die Trennung zwischen dem, was ein Agent lesen, anstoßen und ausführen darf.

Kontrollschicht als Leitplanke

Hier gewinnt ein Governed Access Layer an Bedeutung. Sie kann als kontrollierender Puffer zwischen KI-Agenten und den Systemen, Daten sowie Aktionen fungieren. Zugriffe lassen sich kontextbezogen begrenzen, kontrollieren und protokollieren. Das ersetzt keine rechtliche Prüfung oder menschliche Verantwortung, schafft aber eine technische Grundlage für Governance. „Wir müssen weg von der Vorstellung, dass Sicherheit allein durch ein besseres Modell entsteht“, fordert Herrmann. „Bei agentischer KI entscheidet die Zugriffsebene darüber, was ein Agent in der realen Welt überhaupt tun kann. Governance muss dort greifen, wo aus einer Modellentscheidung eine konkrete Aktion entsteht.“ Ein Beispiel für diesen Ansatz bietet die Lösung COLOSSOS. Der Governed Access Layer setzt an der Schnittstelle zwischen KI und Unternehmensressourcen an und zielt darauf, Zugriffe und Aktionen kontrollierbar zu machen. Verantwortlichkeit sollte nicht erst im Nachhinein rekonstruiert werden müssen, sondern bereits beim Zugriff technisch mitgedacht werden. Agentische KI wird damit nicht zur rechtsfreien Zone. Je autonomer Systeme handeln, desto wichtiger wird die Zuordnung von Rollen, Befugnissen und Kontrollmechanismen. Der EU AI Act liefert dabei den regulatorischen Rahmen. Die Herausforderung besteht darin, ihn in technische und organisatorische Prozesse zu übersetzen – damit Unternehmen Innovation nutzen können, ohne die Verantwortung dem Zufall zu überlassen.

Foto: Pixabay