KI und autonome Systeme

Wer ein KI-System einsetzt, verantwortet das Ergebnis

Ob Sie KI entwickeln oder einsetzen: Die Frage ist dieselbe. Wer haftet, wenn das System falsch entscheidet? Wir bestimmen Ihre Rolle nach der KI-Verordnung und leiten daraus den Pflichtenkatalog ab. Die Haftung prüfen wir im selben Zug. Sie wissen danach, woran Sie sind.

Rolle, Risikoklasse, Haftung

Wir beraten Unternehmen, die KI-Systeme entwickeln, integrieren oder einsetzen, sowie Hersteller und Betreiber autonomer Systeme. Im Zentrum stehen die Anforderungen der KI-Verordnung, die haftungsrechtlichen Folgen automatisierter Entscheidungen und die vertragliche Risikoverteilung entlang der Wertschöpfungskette. Wir stufen das System ein, beraten bei der Aufbereitung der Governance im Unternehmen und vertreten Sie in Aufsichts- und Haftungsverfahren.

Die KI-Verordnung verpflichtet nicht alle Unternehmen gleich. Sie staffelt nach dem Risiko des Systems und nach der Funktion, die ein Unternehmen im Lebenszyklus einnimmt (Anbieter, Betreiber, Importeur oder Händler). Anbieter tragen die weitaus umfangreicheren Pflichten. Diese Zuordnung ist nicht statisch: Wer ein zugekauftes System unter eigenem Namen anbietet, seinen Zweck wesentlich ändert oder es substanziell modifiziert, kann selbst zum Anbieter werden, ohne dies zu beabsichtigen. Parallel dazu erfasst das europäische Produkthaftungsrecht nunmehr auch Software und KI-Systeme als Produkte. Regulierung und Haftung sind daher gemeinsam zu beurteilen. Wir prüfen beides in einem Zug.

Beratungsschwerpunkte

Unsere Beratungsschwerpunkte im Bereich KI und autonome Systeme umfassen insbesondere:

  • Einstufung nach der KI-Verordnung (Risikoklasse, Rollenbestimmung als Anbieter oder Betreiber, Prüfung von Ausnahmen, Abgrenzung zu KI-Modellen mit allgemeinem Verwendungszweck)
  • Compliance für Hochrisiko-KI (Risikomanagementsystem, Daten-Governance, technische Dokumentation, Protokollierung, menschliche Aufsicht, Konformitätsbewertung, CE-Kennzeichnung, Registrierung)
  • KI-Governance im Unternehmen (KI-Inventar, interne Richtlinien, Freigabeprozesse, Verantwortlichkeiten, KI-Kompetenz und Schulungspflichten nach Art. 4 KI-VO)
  • Produkthaftung für Software und KI (neue Produkthaftungsrichtlinie ab Dezember 2026, Beweiserleichterungen, Haftung für Updates und Lernverhalten, Rückgriff in der Lieferkette, Versicherungsfragen)
  • Haftung für KI-Ergebnisse (Fehlentscheidungen, Halluzinationen, Diskriminierung, Zurechnung in der Anbieter-Betreiber-Kette, vertragliche Risikoverteilung)
  • Trainingsdaten und Urheberrecht (Text- und Data-Mining, Vorbehalt der Rechteinhaber, Lizenzierung von Datensätzen, Zusammenfassung der Trainingsdaten bei GPAI-Modellen)
  • Rechte am KI-Output (Schutzfähigkeit, vertragliche Zuordnung von Nutzungsrechten, Kennzeichnung synthetischer Inhalte)
  • KI und Datenschutz (Rechtsgrundlagen für Training und Einsatz, automatisierte Entscheidungen im Einzelfall, Datenschutz-Folgenabschätzung, Betroffenenrechte)
  • KI-Verträge (Beschaffung und Lizenzierung von KI-Systemen, SLA und Leistungsmaße, Gewährleistung bei probabilistischen Systemen, Auditrechte, Haftungsbeschränkungen)
  • Automatisiertes Fahren (Zulassung und Erprobung, Testgenehmigungen, Haftung von Halter, Hersteller und Fahrer, Datenaufzeichnung)
  • Drohnen und unbemannte Systeme (Betriebskategorien und Genehmigungen, Betreiberregistrierung, Versicherungspflicht, Datenschutz beim Überflug)
  • Robotik und autonome Maschinen (Maschinenverordnung ab 2027, sicherheitsrelevante KI-Funktionen, Mensch-Maschine-Kollaboration, humanoide und mobile Systeme, Produkt- und Betreiberpflichten)
  • Sektorspezifische KI (KI in Medizinprodukten, im Finanzsektor, im Personalwesen und in der Kreditwürdigkeitsprüfung)
  • Behörden- und Gerichtsverfahren (Marktüberwachung, Auskunftsersuchen, Rückrufe, Haftungsprozesse)

Regulierung und Haftung greifen ineinander

Die Pflichten der KI-Verordnung knüpfen an zwei Parameter an: an die Risikoklasse des Systems und an die Rolle, in der ein Unternehmen mit ihm umgeht. Beides ist vorab zu bestimmen, weil sich Umfang und Adressat sämtlicher weiterer Pflichten daraus ableiten, von der Konformitätsbewertung über die technische Dokumentation bis zur menschlichen Aufsicht. In der Praxis scheitert dieser Schritt häufig an der Ausgangslage: Unternehmen beschaffen KI-Komponenten dezentral, oder die Komponenten stecken bereits in zugekaufter Software. Dann fehlt im Unternehmen das vollständige Bild darüber, welche Systeme überhaupt im Einsatz sind. Wir erheben deshalb zuerst den Bestand, stufen ihn ein und leiten daraus den konkreten Pflichtenkatalog ab.

Davon zu trennen, aber eng damit verbunden, ist die haftungsrechtliche Lage. Software und KI-Systeme gelten im europäischen Produkthaftungsrecht ausdrücklich als Produkte. Als Fehler kommen auch das Unterlassen von Sicherheitsupdates und das Verhalten eines Systems in Betracht, das nach dem Inverkehrbringen weiterlernt. Hinzu treten Beweiserleichterungen für Geschädigte. Sie greifen dort, wo der Nachweis von Fehlerhaftigkeit und Kausalität bisher an der technischen Komplexität des Systems scheiterte. Für Hersteller und Anbieter von Software verschiebt sich die Risikoverteilung damit spürbar. Anpassen müssen Unternehmen die vertragliche Dokumentation, die Entwicklungs- und Update-Prozesse, die Zuliefererverträge und den Versicherungsschutz.

Wir betrachten beide Regelungsbereiche gemeinsam. Die Rolle nach der KI-Verordnung wirkt sich auf die haftungsrechtliche Position aus: Wer durch Fine-Tuning, wesentliche Zweckänderung oder das Anbieten unter eigenem Namen zum Anbieter wird, übernimmt zusätzliche regulatorische Pflichten und rückt zugleich in der Haftungskette nach vorne. Wer nur eines der beiden Regime prüft, kommt regelmäßig zu unvollständigen Ergebnissen.

Roboter verlassen den Schutzzaun

Industrieroboter fahren heute feste Bahnen, hinter Zäunen, mit klarer Zuständigkeit. Die nächste Generation arbeitet neben Menschen und entscheidet selbst über den nächsten Schritt. Humanoide Systeme werden bereits erprobt, zuerst in Logistik und Fertigung. Wer sie baut oder beschafft, trifft auf eine Rechtslage ohne gefestigte Judikatur. Die Maschinenverordnung verlangt ab Januar 2027 den Sicherheitsnachweis auch für selbstlernendes Verhalten. Die KI-Verordnung stuft sicherheitsrelevante KI-Funktionen in solchen Produkten als Hochrisiko ein. Das neue Produkthaftungsrecht erfasst die Software gleich mit. Diese Systeme kommen, und die Verträge, die ihren Einsatz regeln, werden heute geschlossen. Wir begleiten Unternehmen von der Einstufung über den Zulieferervertrag bis zur Verteidigung im Haftungsfall.

Wen wir beraten

  • Entwickler von KI-Systemen und -Modellen
  • Unternehmen, die KI beschaffen und einsetzen (Betreiber)
  • Softwarehäuser und SaaS-Anbieter mit KI-Komponenten
  • Medizintechnik- und Life-Sciences-Unternehmen
  • Automotive- und Mobilitätsunternehmen
  • Hersteller von Robotik, Maschinen und autonomen Systemen
  • Banken, Versicherungen und Finanzdienstleister mit KI-Anwendungen
  • Personalabteilungen und HR-Tech-Anbieter
  • Investoren, die in KI-Unternehmen investieren möchten