Wir lernen, KI-Risiken zu erkennen. Aber was passiert mit denen, die es tatsächlich tun?

Über Verantwortung, Haftung und die Frage, ob unsere digitalen Schutzmechanismen überhaupt funktionieren.

Gerade absolviere ich meine Ausbildung zum KI-Manager an der MMAI Academy4.AI. Im aktuellen Modul 3 beschäftigen wir uns mit Recht und KI. Im Kern geht es um Risikobewertung, Sicherheit, digitale Souveränität, Glaubwürdigkeit, Kommunikation und Transparenz. Wir lernen, wie Unternehmen Risiken erkennen, dokumentieren und bewerten müssen. Wie Verantwortlichkeiten geregelt werden, welche rechtlichen Anforderungen gelten und wann menschliche Kontrolle erforderlich ist.

Wir diskutieren den EU AI Act, Datenschutz, Haftung und die Entwicklung rechtssicherer KI-Anwendungen. Und dann passiert etwas, das diesem theoretischen Wissen plötzlich eine ganz andere Bedeutung gibt.

Ein Statement auf LinkedIn – und viele neue Fragen

Ich stoße auf einen bemerkenswerten Beitrag von Anneke Buffone, PhD. Sie berichtet über ihre Forschungsarbeit bei Meta. Ihr Auftrag sei gewesen, Probleme zu erkennen. Doch gerade die entscheidenden Fragen habe man nicht stellen dürfen.

In ihrem Beitrag geht es um den Schutz von Kindern, um Forschungsergebnisse und um den Umgang eines mächtigen Technologieunternehmens mit diesen Erkenntnissen. Mein erster Kommentar fällt noch recht spontan aus. Ich frage sinngemäß, ob eine solche Forschungsfunktion am Ende nicht vor allem symbolischer Compliance gedient habe.

Ihre Reaktion und die weitere Auseinandersetzung mit dem Thema bringen mich dazu, meine ursprüngliche Bewertung zu hinterfragen. Denn es geht nicht allein um eine Forscherin und ihren ehemaligen Arbeitgeber. Es geht um ein System. Ein System, in dem Forschung, Sicherheitsmanagement und Compliance auf wirtschaftliche Interessen, Wachstumsziele und die Kontrolle über die öffentliche Darstellung treffen.

Was geschieht, wenn wissenschaftliche Erkenntnisse nicht zur gewünschten Unternehmensgeschichte passen?

Wenn Verantwortung zur Compliancefalle wird

Anneke ist mit ihrer öffentlichen Kritik nicht allein. In den vergangenen Jahren haben renommierte KI-Forscher, Entwickler und Sicherheitsverantwortliche ihre Unternehmen verlassen oder wurden entlassen. Jan Leike, Daniel Kokotajlo und weitere haben öffentlich über Risiken, fehlende Sicherheitsprioritäten und Interessenkonflikte gesprochen.

Die einzelnen Fälle sind unterschiedlich und ihre Hintergründe nicht immer abschließend geklärt. Doch ein Muster verdient Aufmerksamkeit: Was nützen hoch qualifizierte Sicherheitsforscher, wenn sie zwar Risiken erkennen, daraus aber möglicherweise keine wirksamen Konsequenzen entstehen?

Hier sehe ich die Gefahr einer systemischen Compliancefalle. Unternehmen schaffen Kontrollfunktionen und übertragen Verantwortung. Doch wenn die Ergebnisse dieser Arbeit mit wirtschaftlichen Interessen kollidieren, zeigt sich, ob die Verantwortlichen tatsächlich unabhängig handeln können.

Wer ist verantwortlich? Wer haftet?

Aufgrund des Wissens, das wir gerade in unserem Kurs „KI und Recht“ erwerben, und meines eigenen Rechtsempfindens steht für mich inzwischen eine weitere Frage im Raum: Wer ist für solche Situationen rechtlich zur Verantwortung zu ziehen, wenn sich die beschriebenen Vorgänge bestätigen?

Was geschieht mit digitalen Technologien, deren Betreiber erhebliche Risiken kennen, diese aber nicht ausreichend untersuchen oder beheben? Wenn manipulative Mechanismen eingesetzt werden, wenn gesetzliche Schutzpflichten verletzt werden oder wenn Risiken für Kinder und Jugendliche bewusst in Kauf genommen werden?

Müssen solche Systeme überprüft, technisch verändert, in ihrer Nutzung eingeschränkt oder im äußersten Fall vom Markt genommen werden?

In unserem KI-Management-Kurs entwickeln wir dafür Prüfketten: Risiken identifizieren, Rechtsgrundlagen prüfen, Verantwortlichkeiten zuordnen, Maßnahmen festlegen und deren Wirksamkeit kontrollieren. Wäre dies ein Use Case in unserem Kurs, würde ich einen dringenden Prüf- und Handlungsbedarf feststellen.

Ein begründeter Verdacht auf eine bewusste Rechtsverletzung müsste untersucht, dokumentiert und gegebenenfalls den zuständigen Behörden vorgelegt werden. Eine abschließende Haftungsentscheidung kann daraus allerdings noch nicht folgen. Dafür müssen konkrete Rechtsverstöße, die Verantwortung der Beteiligten und gegebenenfalls entstandene Schäden nachgewiesen werden.

Europa hat bereits rechtliche Instrumente

Die EU-Kommission hat 2026 vorläufige Verstöße von Meta gegen den Digital Services Act festgestellt. Dabei geht es unter anderem um den Schutz Minderjähriger und potenziell suchtfördernde Gestaltungsmerkmale wie endloses Scrollen, automatische Wiedergabe und personalisierte Empfehlungssysteme. Diese vorläufigen Feststellungen sind keine rechtskräftigen Urteile. Sie zeigen aber, dass Fragen nach digitaler Manipulation und unternehmerischer Verantwortung längst Gegenstand europäischer Aufsichtsverfahren sind.

Der Digital Services Act und die europäische KI-Verordnung verfolgen unterschiedliche Ansätze. Beide stehen im Zusammenhang mit der Herausforderung, technologische Risiken nicht nur zu beschreiben, sondern wirksam zu begrenzen. Die KI-Verordnung sieht unter bestimmten Voraussetzungen sogar vor, dass nicht konforme KI-Systeme korrigiert, vom Markt genommen oder zurückgerufen werden müssen. Die entscheidende Frage lautet deshalb nicht nur, welche Regeln existieren. Sondern wer ihre Einhaltung tatsächlich durchsetzt.

Wer klagt – und mit welchen Erfolgsaussichten?

Wenn Unternehmen Risiken kennen und gesetzliche Schutzpflichten verletzen, stellt sich die Frage nach den Konsequenzen. Wer kann dagegen vorgehen? Betroffene Familien? Verbraucherschutzorganisationen? Datenschutzbehörden? Europäische Aufsichtsbehörden? Oder Beschäftigte, die intern auf Missstände hingewiesen haben?

Die rechtlichen Wege unterscheiden sich. Behörden können Verstöße untersuchen und Maßnahmen anordnen. Betroffene können unter bestimmten Voraussetzungen Schadensersatz verlangen. Auch kollektive Verfahren kommen infrage. Doch zwischen einem dokumentierten Risiko und einer erfolgreichen Klage liegen schwierige Fragen: Beweisbarkeit, Kausalität, Zuständigkeit und Durchsetzbarkeit.

Wie lässt sich nachweisen, dass ein bestimmtes digitales Design einen konkreten Schaden verursacht hat? Welche Rolle spielen interne Forschungsberichte? Wer trägt Verantwortung, wenn Risiken bekannt waren, aber nicht angemessen berücksichtigt wurden?

Und was bedeutet das für Menschen wie Anneke?

Bei all diesen institutionellen Fragen dürfen wir die persönliche Dimension nicht übersehen. Menschen, die innerhalb großer Organisationen kritische Erkenntnisse gewinnen und später öffentlich darüber sprechen, können erheblichen beruflichen und persönlichen Belastungen ausgesetzt sein.

Welche Rolle kann Anneke in einer weiteren öffentlichen oder rechtlichen Aufarbeitung spielen? Welche Möglichkeiten hat sie, ihre wissenschaftlichen Erkenntnisse einzubringen? Und welchen Druck bedeutet es, sich mit einem solchen Thema öffentlich zu positionieren? Diese Fragen kann nur sie selbst beantworten.

Wie schützen wir Menschen, deren Arbeit darin besteht, Risiken aufzudecken – gerade dann, wenn diese Erkenntnisse für ihre Arbeitgeber unbequem werden?

Zwischen Innovation und Regulierung: Was ist der richtige Weg?

In unserer Ausbildung diskutieren wir die unterschiedlichen Ansätze im internationalen Wettbewerb. In den USA und China bestehen andere regulatorische und politische Rahmenbedingungen als in Europa. Die EU verfolgt mit ihrer KI-Verordnung einen vergleichsweise umfassenden risikobasierten Rechtsansatz. Damit sind erhebliche Anforderungen verbunden, die besonders kleinere Unternehmen vor Herausforderungen stellen.

Aber ist weniger Regulierung automatisch der bessere Weg? Garantiert mehr Regulierung tatsächlich mehr Sicherheit? Wie schaffen wir ein Verhältnis zwischen technologischer Innovation, wissenschaftlicher Erkenntnis und rechtlicher Verantwortung, bei dem der Schutz des Menschen nicht hinter wirtschaftlichen Interessen zurücksteht?

Es geht nicht darum, technologische Entwicklung zu verhindern. Es geht darum, Forschung ernst zu nehmen, Risiken frühzeitig zu erkennen, Fehlentwicklungen zu korrigieren und gegebenenfalls rechtliche Konsequenzen durchzusetzen. Es geht um die Unabhängigkeit von Forschung und Kontrolle.

Es geht um unsere Kinder. Und um unsere Zukunft.

Vielleicht ist das der Punkt, der mich an Annekes Beitrag am stärksten beschäftigt. Wir sprechen nicht nur über Algorithmen, Softwareprodukte oder Geschäftsmodelle. Wir sprechen über digitale Lebenswelten, die Kinder und Jugendliche täglich prägen: ihre Aufmerksamkeit, ihre Entscheidungen, ihr Selbstbild und ihre Möglichkeiten, die Welt eigenständig wahrzunehmen.

KI und Digitalisierung werden diese Entwicklung weiter beschleunigen. Wenn die Systeme, die unsere Zukunft prägen, manipulative Mechanismen enthalten oder bekannte Risiken nicht angemessen berücksichtigt werden, müssen wir ihre Gestaltung und ihren Einsatz infrage stellen können.

Verantwortungsvolle KI beginnt nicht mit der Existenz einer Compliance-Abteilung. Sie zeigt sich daran, was ein Unternehmen tut, wenn seine eigenen Erkenntnisse unbequem werden.

Wir brauchen technologische Exzellenz, wissenschaftliche Unabhängigkeit, überprüfbare Sicherheitsstandards und wirksame rechtliche Verantwortung. Und Menschen, die kritische Erkenntnisse offenlegen können, ohne dafür ihre berufliche Existenz aufs Spiel setzen zu müssen.

Danke an Anneke Buffone für den Anstoß. Denn am Ende steht für mich eine einfache Frage: Wenn wir heute bereits wissen, dass bestimmte digitale Systeme Menschen schaden können – wer übernimmt dann die Verantwortung dafür, dass diese Erkenntnisse unsere Zukunft tatsächlich verändern? Technologie muss dem Menschen dienen. Nicht umgekehrt.

Quellen und weiterführende Informationen

Anneke Buffone, LinkedIn · EU-Kommission: Minderjährigenschutz (29.04.2026) · EU-Kommission: Potenziell suchtförderndes Design (10.07.2026) · Digital Services Act · EU AI Act: Artikel 79