EU AI Act im Dokumentenmanagement: Pflichten und wie Erklärbarkeit konkret aussieht

Der EU AI Act ist seit August 2024 in Kraft, die konkreten Anwendungspflichten treten gestaffelt in Kraft und erreichen 2026 den Bereich, der DMS-Betreiber betrifft. Wer ein DMS mit KI-Funktionen (Klassifikation, Extraktion, Chat, Agenten) einsetzt, muss ab jetzt Dokumentations-, Transparenz- und Human-Oversight-Anforderungen erfüllen. Die Frage ist nicht mehr ob, sondern wie. Der folgende Text beschreibt, welche Pflichten für gängige DMS-KI-Anwendungen greifen und wie ein konkreter Nachweis aussieht.

Welche Risikoklasse trifft DMS-KI?

Der EU AI Act klassifiziert KI-Systeme in vier Risikostufen: verboten, hochriskant, transparenzpflichtig und minimal. Reine Klassifikations- und Suchfunktionen im DMS sind in aller Regel keine Hochrisiko-Systeme im Sinne des Anhangs III. Sie fallen aber unter die generellen Transparenzpflichten (Art. 50) — der Nutzer muss wissen, wann KI im Spiel ist.

Agenten, die Entscheidungen vorschlagen oder ausführen (Retention-Löschung, Freigabe-Entscheidung, Vertragsprüfung), werden interessanter. Wo die Entscheidung ein arbeitsrechtlicher, finanzieller oder rechtlicher Effekt für eine Person hat, kann der Hochrisiko-Charakter greifen. Für die Mehrheit der DMS-Anwendungen bleibt es bei Transparenzpflichten — aber die Empfehlung der EU-Kommission ist eindeutig: baut die Governance so, als wäre es Hochrisiko, weil die konkrete Klassifikation im Streitfall kein Anwender-Argument ist.

Die vier konkreten Pflichten

Erstens: Transparenz gegenüber dem Nutzer. Wenn eine KI-Klassifikation, eine Extraktion oder ein Agenten-Vorschlag auf dem Bildschirm landet, muss der Nutzer erkennen, dass das eine KI-Ausgabe ist. Kleine Icons und Konfidenz-Scores erfüllen das in der Praxis; ein Design, das KI-Ausgaben wie System-Wahrheit aussehen lässt, erfüllt es nicht.

Zweitens: Dokumentation. Für jedes eingesetzte KI-System braucht es eine technische Dokumentation — Zweck, Trainingsdaten (soweit relevant), Modell-Provider, Modell-Version, bekannte Limitationen, Update-Zyklus. Wer ein Cloud-LLM nutzt, muss dokumentieren, welche Anbieter mit welchen Verträgen im Spiel sind. Wer ein lokales LLM nutzt (bei uns Default: Ollama-basiert), dokumentiert Modell, Version und Prüfstand.

Drittens: Human Oversight. Jede KI-Entscheidung muss von einem Menschen prüfbar und übersteuerbar sein. Konkret: Approval-Inbox mit Begründung, Konfidenz-Schwelle, Versionierung als Undo-Mechanismus. Autonomie-Grade („Auto-Apply“) sind erlaubt, müssen aber konfigurierbar und pro Aktionstyp begründet sein.

Viertens: Log-Pflichten. Jede KI-Aktion muss protokolliert und für eine definierte Aufbewahrungsfrist vorgehalten werden. Der Prüfer muss im Nachhinein rekonstruieren können, warum eine Entscheidung so und nicht anders gefallen ist.

Wie ein Beweis konkret aussieht

Nehmen wir den Fall Rechnungs-Agent: Eine Eingangsrechnung über 8 420 € kommt rein, der Agent extrahiert Beträge, IBAN, Steuersätze, sucht die Bestellung, prüft 3-Way-Match und schlägt die Ablage plus Zwei-Augen-Freigabe vor. Was muss das Protokoll enthalten, damit ein EU-AI-Act-Prüfer zufrieden ist?

Der Kopf des Eintrags enthält Zeitstempel, Tenant-ID, Agent-Definition (Version), das aufgerufene Modell (Name + Version), sowie den Prompt-Template-Hash. Danach folgt die Aktion selbst: welche Klasse wurde erkannt, welche Attribute extrahiert, mit welcher Konfidenz. Anschließend die Begründung in natürlicher Sprache — nicht als Marketing-Text, sondern als der tatsächliche Chain-of-Thought, den der Agent produziert hat. Zum Schluss die Evidence-Zeiger: welche Textstellen im Quelldokument, welche Bestellungs-ID im ERP, welche Kontrolldaten wurden herangezogen.

Der ganze Eintrag wird kryptografisch in die Audit-Hash-Chain verkettet. Wer nachträglich das Log manipuliert, kippt die Kette. Der Export als EU-AI-Act-Protokoll bündelt Einträge zu einem definierten Zeitraum, hängt das Hash-Manifest an und liefert eine PDF, die ein Prüfer außerhalb Ihres Systems eigenständig verifizieren kann.

Was Sie in einer Prüfung zeigen können müssen

Ein Behördenprüfer stellt in der Praxis drei Fragen. „Wie erkennt der Nutzer, dass KI im Spiel ist?“ — Zeigen Sie das UI mit Konfidenz-Score und KI-Kennzeichnung. „Wie prüfen Sie, dass die KI keine systematischen Fehler macht?“ — Zeigen Sie Ihre Fehler-Metrik pro Belegart und die letzten Fälle, in denen die KI daneben lag. „Können Sie eine konkrete Entscheidung nachweisen?“ — Öffnen Sie das Agent-Protokoll für den Fall.

Wer bei einer dieser drei Fragen improvisiert, hat verloren. Alle drei Fragen sind mit einer sauberen Agent-Runtime + Audit-Chain in unter fünf Minuten beantwortbar. Wer die Governance auf Karteikarten und Excel führt, ist auch nicht illegal — aber der Prüfer verlässt das Meeting mit einem schlechten Bauchgefühl, und das führt in der Regel zu Nachforderungen.

Was Sie nicht dürfen — auch wenn es funktioniert

Der EU AI Act verbietet einige Praktiken. Für DMS relevant sind zwei: die verdeckte manipulative KI (ein Agent, der Nutzer täuscht) und die soziale Bewertung (Scoring von Personen anhand ihres Verhaltens). Ersteres ist offensichtlich; letzteres ist subtiler. Ein „Mitarbeiter-Performance-Score“, der auf Klassifikationsraten basiert, kann in den Verbotsbereich fallen. Wir raten aktiv davon ab, KPI-Dashboards zu bauen, die Klassifikations-Performance einzelner Sachbearbeiter aggregieren.

Was das für Ihre nächste DMS-Ausschreibung heißt

Nehmen Sie den EU AI Act als Ausschluss-Kriterium ernst. In die Ausschreibung gehören konkret vier Punkte: Erstens, ein Muster-Protokoll für eine Agent-Aktion (nicht Screenshots — echte JSON- oder PDF-Ausgabe). Zweitens, die Modell-Governance (welche Modelle, welche Update-Zyklen, welche Lieferanten). Drittens, die Human-Oversight-Konfiguration (Konfidenz-Gates, Approval-Wege, Undo). Viertens, die Datenhoheits-Zusicherung (wo läuft das LLM, wer sieht die Prompts).

Wer bei diesen vier Punkten überzeugend antworten kann, hat die Governance ernst genommen. Wer stattdessen mit „das machen wir dann im Projekt“ antwortet, hat sie nicht. Der Aufwand, das nachträglich zu bauen, ist erfahrungsgemäß fünffach höher als das, was ein Anbieter kostet, der es bereits eingebaut hat.

Wenn Sie das Protokoll eines RecordTailor-Agenten für einen anonymisierten Beispiel-Fall sehen wollen, sagen Sie Bescheid. Wir schicken das Muster-PDF; kein Vertragsabschluss nötig.