TL;DR: Schritt-für-Schritt-Leitfaden zur Konformitätsbewertung für EU-KMU, die KI-Systeme mit hohem Risiko gemäß Anhang III einsetzen. Behandelt die Unterscheidung zwischen Betreiber und Anbieter, die Dokumentation sowie die Aufsicht.

Die korrekte Durchführung der Konformitätsbewertung gemäß dem EU-KI-Verordnung hängt von einer entscheidenden Unterscheidung ab: Sind Sie das Unternehmen, das das KI-System entwickelt und in Verkehr gebracht hat, oder das Unternehmen, das es in seinen eigenen Betriebsabläufen nutzt? Warum das wichtig ist: Ein tschechisches HR-Tech-Unternehmen mit 25 Mitarbeitern, das ein Tool zur Lebenslauf-Prüfung entwickelt und an Kunden verkauft, trägt die volle Last der Konformitätsbewertung. Das bedeutet technische Dokumentation, ein Qualitätsmanagementsystem, eine Konformitätserklärung und die CE-Kennzeichnung. Ein niederländisches Logistikunternehmen mit 40 Mitarbeitern, das dasselbe Tool lizenziert, ist ein Einsatzbetreiber mit wesentlich geringeren Verpflichtungen. Die richtige Einstufung entscheidet darüber, ob Ihr Compliance-Projekt zwei Wochen oder sechs Monate dauert.

Dieser Leitfaden führt Compliance-Beauftragte, technische Teams und Betriebsleiter in wachsenden SaaS-Unternehmen und mittelständischen Softwarefirmen durch das vierstufige Konformitätsverfahren für Betreiber, den vollständigen Dokumentationsumfang, der von Anbietern verlangt wird, und die spezifischen Unterscheidungsmerkmale, die bestimmen, welcher Weg für Ihr Unternehmen gilt.

Wann eine Konformitätsbewertung erforderlich ist

Eine Konformitätsbewertung ist nur für KI-Systeme mit hohem Risiko gemäß Anhang III erforderlich. Nicht jedes KI-Tool, das ein Dienstleistungsunternehmen oder ein wachsendes SaaS-Unternehmen nutzt, fällt darunter. Der EU-KI-Verordnung definiert in Anhang III acht Kategorien von Systemen mit hohem Risiko, die Bereiche wie biometrische Identifizierung, Management kritischer Infrastrukturen, Bildung und Ausbildung, Beschäftigungsentscheidungen, Zugang zu wesentlichen Diensten, Strafverfolgung, Migration und Grenzkontrolle sowie Justizverwaltung abdecken.

Wenn Ihr KI-System nicht unter eine dieser Kategorien fällt, ist keine Konformitätsbewertung erforderlich. Möglicherweise unterliegen Sie dennoch Transparenzpflichten gemäß Artikel 50 und Datenverwaltungspflichten gemäß der DSGVO, aber die vollständigen Konformitätsanforderungen von Anhang III gelten nicht.

Wenn Ihr System unter Anhang III fällt, stellt sich als Nächstes die Frage, ob Sie ein Anbieter oder ein Betreiber sind. Die Verordnung behandelt diese Rollen unterschiedlich.

Anbieter: Eine Organisation, die ein KI-System entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer eigenen Marke in Verkehr bringt. In Verkehr bringen bedeutet, das System anderen Parteien zur Verfügung zu stellen.

Betreiber: Eine Organisation, die ein KI-System im Rahmen ihrer beruflichen Tätigkeiten nutzt. Betreiber bringen das System nicht in Verkehr. Sie nehmen es innerhalb ihrer eigenen Organisation in Betrieb.

Der Konformitätspfad für einen Anbieter ist deutlich anspruchsvoller als für einen Betreiber.

Die Pflichten des Betreibers: Artikel 25 in der Praxis

Die meisten KMU, die KI-Tools von Drittanbietern für die Bewerberauswahl, die Bonitätsprüfung oder andere Anwendungsfälle gemäß Anhang III nutzen, sind Betreiber. Die Pflichten gemäß Artikel 25 stehen in einem angemessenen Verhältnis zu dieser Rolle.

Als Betreiber eines KI-Systems mit hohem Risiko ist Ihr Compliance-Team für vier Dinge verantwortlich.

Befolgen Sie die Gebrauchsanweisungen des Anbieters. Der Anbieter ist verpflichtet, technische Dokumentation und Anweisungen bereitzustellen, in denen der Verwendungszweck, die Bedingungen, unter denen das System sicher eingesetzt werden kann, sowie etwaige Anforderungen an die menschliche Aufsicht beschrieben werden. Ein Einsatz außerhalb des vorgesehenen Verwendungszwecks überträgt die Haftung vom Anbieter auf Sie.

Setzen Sie die menschliche Überwachung gemäß Artikel 14 um. Artikel 14 verpflichtet Betreiber, die Überwachung natürlichen Personen zu übertragen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, um die Systemausgaben zu verstehen, Anomalien zu erkennen und bei Bedarf einzugreifen oder das System zu übersteuern. Die Überwachung muss strukturell möglich sein: Das System darf nicht so konzipiert sein, dass es menschliches Eingreifen verhindert.

Überwachen Sie wesentliche Änderungen. Wenn das System so aktualisiert wird, dass sich sein Verwendungszweck oder sein Risikoprofil ändert, muss die Konformitätsbewertung möglicherweise wiederholt werden. Als Betreiber sind Sie dafür verantwortlich, wesentliche Änderungen Ihrem Anbieter zu melden.

Registrieren Sie sich bei Bedarf in der EU-Datenbank. Betreiber bestimmter risikoreicher Systeme, insbesondere im Kontext öffentlicher Behörden, müssen deren Nutzung in der öffentlichen KI-Datenbank der EU registrieren. Für die meisten KMU im privaten Sektor gilt diese Verpflichtung in erster Linie für Anbieter und nicht für Betreiber.

Die Verpflichtungen der Anbieter: Artikel 17 und der gesamte Konformitätsstapel

Wenn Ihre Organisation ein KI-System entwickelt, das in Verkehr gebracht werden soll, oder wenn Ihr Betriebsteam ein maßgeschneidertes System in Auftrag gegeben hat, das kommerzialisiert werden soll, sind Sie ein Anbieter und es gelten die vollständigen Verpflichtungen gemäß Anhang III.

Die zentrale Anforderung ist ein Qualitätsmanagementsystem (QMS) gemäß Artikel 17, das den gesamten Lebenszyklus des KI-Systems abdeckt. Das QMS muss Ihren Risikomanagementprozess, Ihre Datenverwaltungspraktiken, Ihre Validierungs- und Testmethodik, Ihren Plan zur Überwachung nach dem Inverkehrbringen sowie Ihre Verfahren zur Behandlung von Vorfällen und Nichtkonformitäten dokumentieren.

Über das QMS hinaus müssen Anbieter eine technische Dokumentation erstellen, eine Konformitätsbewertung durchführen (für die meisten Kategorien des Anhangs III ist eine Selbstbewertung zulässig; für die biometrische Identifizierung und eine kleine Anzahl anderer Kategorien ist eine Bewertung durch eine benannte Stelle erforderlich), eine EU-Konformitätserklärung ausstellen und das System mit der CE-Kennzeichnung versehen, bevor es in Verkehr gebracht wird.

Für ein mittelständisches Softwareunternehmen, das in einem regulierten KI-Bereich tätig ist, ist dies ein erheblicher Aufwand. Allein die Konformitätsbewertung erfordert in der Regel die Mitwirkung von Rechts-, Technik- und Datenteams sowie eine externe Überprüfung, wenn Sie regulierte Sektoren wie Finanzdienstleistungen oder das Gesundheitswesen anvisieren.

Das vierstufige Konformitätsverfahren für Betreiber

Für die meisten KMU ist das relevante Verfahren der Betreiberpfad. Hier ist ein strukturierter Ansatz.

Schritt 1: Klassifizieren Sie das System. Vergewissern Sie sich, dass das von Ihnen eingesetzte KI-System tatsächlich unter Anhang III fällt. Prüfen Sie die spezifische Kategorie, unter die es fallen könnte, und überprüfen Sie, ob eine der Ausnahmen gemäß Artikel 6 zutrifft. Ein KI-System, das für eine eindeutig untergeordnete Funktion genutzt wird (Erstellung interner Berichte, Zusammenfassung von Besprechungsnotizen), wird wahrscheinlich nicht als risikoreich eingestuft, selbst wenn es einen regulierten Bereich berührt. Dokumentieren Sie Ihre Gründe für die Klassifizierung.

Schritt 2: Beschaffen Sie sich die technische Dokumentation und die Konformitätserklärung des Anbieters. Bevor Sie ein System gemäß Anhang III bereitstellen, fordern Sie das technische Dokumentationspaket des Anbieters sowie dessen EU-Konformitätserklärung an. Die Konformitätserklärung ist die formelle Erklärung des Anbieters, dass das System die Anforderungen des EU-KI-Verordnunges erfüllt. Kann der Anbieter diese Dokumente nicht vorlegen, kommt er seinen eigenen Verpflichtungen als Anbieter nicht nach, und Sie sollten sein System nicht im Rahmen von Anhang III einsetzen.

Schritt 3: Setzen Sie die Maßnahmen zur menschlichen Aufsicht gemäß Artikel 14 um. Entwerfen und dokumentieren Sie Ihren Prozess zur menschlichen Aufsicht auf der Grundlage der Gebrauchsanweisung des Anbieters. Legen Sie fest, wer in Ihrem Betriebsteam für die Aufsicht verantwortlich ist, welche Schulungen diese Person erhalten hat, wie sie in das System eingreifen oder es außer Kraft setzen kann und wie Entscheidungen, die von der KI beeinflusst wurden, überprüft und aufgezeichnet werden.

Schritt 4: Dokumentieren Sie Ihre Betriebsabläufe. Erstellen Sie ein Einsatzprotokoll, das Folgendes umfasst: die Systemklassifizierung, die erhaltene Dokumentation des Anbieters, Ihren Überwachungsprozess, alle getroffenen Konfigurationsentscheidungen sowie Ihr Verfahren zur Überwachung und Meldung von Vorfällen. Dieses Dokument muss für die meisten KMU nicht ausführlich sein, aber es muss vorhanden sein und im Zuge der Weiterentwicklung des Systems auf dem neuesten Stand gehalten werden.

Technische Dokumentation: Der Mindestumfang

Der Mindestumfang der technischen Dokumentation für ein System gemäß Anhang III umfasst sechs Bereiche.

Systembeschreibung. Was das System leistet, wie es auf funktionaler Ebene funktioniert und was sein Verwendungszweck ist. Dazu gehören der verwendete KI-Ansatz, die Ein- und Ausgänge sowie der Einsatzkontext.

Erklärung zum Verwendungszweck. Eine präzise Darstellung des Anwendungsfalls, für den das System entwickelt und validiert wurde. Ein Einsatz außerhalb des vorgesehenen Verwendungszwecks stellt ein Compliance-Risiko für den Betreiber und ein Haftungsrisiko für den Anbieter dar.

Risikomanagementprozess. Wie der Anbieter die mit dem System verbundenen Risiken identifiziert, bewertet und gemindert hat, einschließlich der Risiken von Fehlern, Verzerrungen und Missbrauch.

Dokumentation zur Datenverwaltung. Die zum Trainieren und Validieren des Systems verwendeten Datensätze, die angewandten Maßnahmen zur Datenqualität sowie alle bekannten Einschränkungen oder Verzerrungen in den Trainingsdaten.

Metriken zu Genauigkeit, Robustheit und Cybersicherheit. Quantitative Leistungsbenchmarks für das System, einschließlich der Genauigkeit bei Validierungssätzen und der Sicherheitsmaßnahmen, die das System vor Manipulationen schützen.

Plan zur Überwachung nach der Markteinführung. Wie der Anbieter die Leistung des Systems nach der Bereitstellung überwachen wird, welche Kennzahlen er verfolgt und wie er Aktualisierungen oder festgestellte Probleme an die Betreiber kommunizieren wird.

Als Betreiber sollten Sie alle sechs Komponenten von Ihrem Anbieter erhalten, bevor Sie das System in Betrieb nehmen.

FAQ

Gilt die Konformitätsbewertung nach dem EU-KI-Verordnung auch für KI-Tools, die wir intern nutzen, und nicht nur für Produkte, die wir verkaufen? Ja, wenn die interne Nutzung unter eine Kategorie des Anhangs III fällt. Die interne Bereitstellung eines KI-Systems mit hohem Risiko, beispielsweise die Nutzung eines KI-Tools zur Bewertung der Mitarbeiterleistung, löst Verpflichtungen für den Bereitsteller gemäß Artikel 25 aus, auch wenn Sie kein Produkt in Verkehr bringen.

Wir sind ein wachsendes SaaS-Unternehmen, das eine KI-Funktion als Teil einer umfassenderen Plattform anbietet. Sind wir ein Anbieter? Mit ziemlicher Sicherheit ja, was die KI-Funktionskomponente betrifft. Wenn Sie diese Funktion Kunden zur Verfügung stellen, bringen Sie ein KI-System in Verkehr. Wenn die Funktion für Ihre Kunden eine Funktion gemäß Anhang III erfüllt, gelten für diese Funktion die vollständigen Anbieterpflichten, unabhängig davon, ob sie in ein umfassenderes Nicht-KI-Produkt eingebettet ist.

Können wir uns auf die CE-Kennzeichnung unseres Lieferanten als Nachweis für unsere eigene Konformität verlassen? Die CE-Kennzeichnung belegt, dass der Anbieter die erforderliche Konformitätsbewertung abgeschlossen hat. Als Betreiber können Sie darauf verweisen, um nachzuweisen, dass das von Ihnen eingesetzte System bewertet wurde. Sie deckt jedoch nicht Ihre Verpflichtungen als Betreiber ab. Die Umsetzung der menschlichen Aufsicht gemäß Artikel 14 und Ihre Dokumentation des operativen Einsatzes bleiben in Ihrer Verantwortung.

Was passiert, wenn wir ein von uns eingesetztes risikoreiches KI-System eines Drittanbieters modifizieren? Eine wesentliche Änderung an einem risikoreichen KI-System kann dazu führen, dass die Organisation, die die Änderung vornimmt, als Anbieter dieser modifizierten Version eingestuft wird. Der EU-KI-Verordnung definiert eine wesentliche Änderung als Änderungen, die den Verwendungszweck des Systems, seine Leistungskennzahlen oder sein Risikoprofil beeinflussen. Wenn Ihr technisches Team Änderungen dieses Ausmaßes an einem lizenzierten System vornimmt, holen Sie rechtlichen Rat ein, bevor Sie die modifizierte Version einsetzen.

Weiterführende Literatur

Wenn Sie sich zum ersten Mal mit der Klassifizierung nach Anhang III und der Konformitätsplanung befassen, bietet die KI-Bereitschaftsbewertung eine strukturierte Grundlage, bevor Sie einen Rechtsbeistand hinzuziehen oder mit der Dokumentation beginnen.

Autor: Dr. Hernani Costa — Gründer von First AI Movers und Core Ventures. KI-Architekt, strategischer Berater und Fractional CTO, der weltweit führende Innovationsunternehmen bei der Umsetzung von KI-Innovationen unterstützt. Promotion in Computerlinguistik, über 25 Jahre Erfahrung im Technologiebereich.

Ursprünglich veröffentlicht bei First AI Movers unter CC BY 4.0.