Wenn ein Roboter einen Fehler macht

Stellen wir uns vor, ein Roboter legt einen Gegenstand am falschen Ort ab. Das könnte eine kleine Unannehmlichkeit sein. In einer anderen Umgebung könnte dieselbe Bewegung jemandem den Weg versperren oder ein empfindliches Bauteil beschädigen. Der Kontext bestimmt, was ein Fehler bedeutet.

„Der Roboter hat einen Fehler gemacht“ ist deshalb der Beginn einer Untersuchung. Welche Aufgabe hatte er erhalten? Was hatte er wahrgenommen? Welche Softwareversion lief? Wie war menschliche Unterstützung vorgesehen? Ein tragfähiger Verantwortungsrahmen betrachtet diese Fragen vor einem Ereignis. Die Beispiele hier sind veranschaulichende Szenarien, keine Berichte über einen tatsächlichen Unfall.

Zunächst in einen sicheren Zustand zurückkehren

Wenn etwas schiefgeht, müssen Menschen geschützt und eine Eskalation verhindert werden. Die Reaktion sollte für das System und seine Umgebung im Voraus festgelegt sein. Wer eine Aufgabe stoppen kann, wie Unterstützung erreichbar ist und wer einen Neustart freigibt, gehört zu den regulären Betriebsregelungen.

Menschliche Aufsicht verlangt mehr als eine Person in der Nähe. Diese Person muss den Systemzustand verstehen, auf Eingriffsmöglichkeiten zugreifen können und genügend Zeit für eine Entscheidung haben. Passen die zugewiesene Rolle und die tatsächlichen Arbeitsbedingungen nicht zusammen, kann Aufsicht auf dem Papier in der Praxis wenig wirksam sein.

Drei Fragen der Verantwortung

Die erste Frage ist betrieblich: Wer tut was, wenn ein Problem auftritt? Die zweite ist technisch: Welches Team untersucht es anhand welcher Aufzeichnungen? Die dritte ist rechtlich: Welche Pflichten haben die Beteiligten im Zusammenhang mit einem Schaden? Diese Fragen hängen zusammen, verlangen aber unterschiedliche Bewertungen.

Hersteller, Softwareanbieter, Integratoren und Betreiber können verschiedene Rollen haben. Die vertragliche Aufgabenverteilung ist wichtig; es sollte jedoch nicht angenommen werden, dass sie jede rechtliche Verantwortung beseitigt. Ein konkreter Fall hängt von Produkteigenschaften, Änderungen, Nutzung und anwendbarem Recht ab.

Der EU AI Act betrachtet KI-Systeme anhand ihres Nutzungskontexts und Risikos. Zu den Anforderungen an Hochrisikosysteme gehören unter anderem Aufzeichnungen, Dokumentation, menschliche Aufsicht und Robustheit. Dass ein Roboter KI verwendet, ordnet nicht automatisch jede Anwendung derselben Risikokategorie zu. ^[1]

Warum spricht das Recht auch über Software?

Das Verhalten eines Roboters kann sich nach der Lieferung verändern. Softwareupdates, neue Aufgaben und Hardwareänderungen können das System beeinflussen. Es sollte nachvollziehbar sein, wer eine Änderung vorgenommen hat und unter welchen Bedingungen sie validiert wurde.

Die EU-Produkthaftungsrichtlinie von 2024 erfasst ausdrücklich Software und KI-Systeme. Sie behandelt unter anderem den Zugang zu Beweismitteln für Menschen, die durch fehlerhafte Produkte geschädigt wurden. Beim Übergang zum neuen Rechtsrahmen müssen die nationale Umsetzung und der Zeitpunkt des Inverkehrbringens eines Produkts gesondert betrachtet werden. Zum Redaktionsschluss dieser Ausgabe im September 2026 läuft dieser Übergang noch. Die neuen Regelungen sollten nicht so gelesen werden, als gälten sie in gleicher Weise für jedes ältere Produkt. ^[2]

Die technische Lehre daraus ist, die Vergangenheit erklären zu können. Ohne Aufzeichnung der damaligen Konfiguration und Aufgabe wird es schwieriger, ein Ereignis zu verstehen. Unbegrenzte Aufzeichnung ist nicht nötig; sinnvolle Nachvollziehbarkeit verlangt definierte Zwecke, Zugriffsrechte und Aufbewahrungsfristen für die tatsächlich benötigten Daten.

Aufzeichnungen sollten Lernen ermöglichen

Hat ein Beschäftigter eingegriffen, wäre eine Untersuchung unvollständig, die sich nur auf die letzte Person am Knopf konzentriert. War die Anzeige verständlich? Reichte die Schulung aus? Kommunizierte das System sein erwartetes Verhalten? Beeinflusste die Arbeitsbelastung den Eingriff? Fehleranalysen sollten Zusammenhänge erkennen, die Wiederholungen verhindern können.

EU-OSHA empfiehlt, bei fortgeschrittener Robotik organisatorische und psychosoziale Auswirkungen neben technischen Risiken zu berücksichtigen. Dieser Ansatz bietet einen hilfreichen Rahmen, um Sicherheit als mehr als eine Eigenschaft des Geräts zu verstehen. ^[3]

Beschäftigte, die Störungen oder Beinaheunfälle melden, bringen wertvolle Erfahrung ein. Ob sie erfahren, was nach einer Meldung geschieht, beeinflusst ebenfalls das Vertrauen. Wiederholt sich ein Problem ohne Rückmeldung, unterstützt der Aufzeichnungsprozess das organisationale Lernen nicht ausreichend.

Eine Antwort, die die Gesellschaft versteht

Ein Hotelgast oder ein Besucher eines öffentlichen Gebäudes muss die technische Architektur nicht verstehen. Tritt ein Problem auf, möchte er einen erreichbaren Menschen, eine verständliche Erklärung und einen klaren weiteren Weg. Roboter, die gemeinsame Räume betreten, bringen diese Kommunikationsverantwortung mit sich.

Vertrauen kann nicht auf einem Perfektionsversprechen beruhen. Ehrlich benannte Betriebsgrenzen, die Möglichkeit zur Untersuchung von Fehlern und die Befugnis, den Einsatz bei Bedarf zu stoppen, bieten eine stärkere Grundlage. Wenn ein Roboter einen Fehler macht, darf Verantwortung nicht in einer Lücke zwischen Organisationen verschwinden.