Datenschutzrechtliche Rahmenbedingungen für Entwicklung und Einsatz von KI-Systemen in sozialen Einrichtungen 

Erstellt von der Foundation Metaverse Europe mit freundlicher Unterstützung des Datenschutzteams der Kanzlei Gleiss Lutz.

Künstliche Intelligenz (KI) eröffnet sozialen Einrichtungen vielfältige Möglichkeiten, Arbeitsabläufe effizienter zu gestalten, individuelle Unterstützungsangebote passgenauer auszurichten oder Verwaltungsprozesse zu optimieren. Ein denkbares Beispiel ist ein Frühwarnsystem für Kindeswohlgefährdung: Eine soziale Einrichtung verfügt über anonyme Berichte zu sog. Gefährdungsbeurteilungen. Eine KI wertet diese Berichte aus und assistiert den Fachkräften mit einer „dritten Meinung“ zur Risikoeinschätzung bei neuen Fällen. Oder die KI generiert fiktive Fälle, an denen neue Fachkräfte angelernt werden können.

Grundlage für den Einsatz von KI-Systemen sind in der Regel umfangreiche Datenbestände, die oft personenbezogene Informationen enthalten. Dadurch rückt das Datenschutzrecht in den Mittelpunkt.

Die Datenschutz-Grundverordnung (DS-GVO) bildet den verbindlichen rechtlichen Rahmen für die Verarbeitung dieser Daten. Sie verpflichtet soziale Einrichtungen, bei der Entwicklung und beim Einsatz von KI-Systemen eine Vielzahl spezifischer Anforderungen zu erfüllen. Bestimmte Einrichtungen unterliegen zudem noch anderen datenschutzrechtlichen Anforderungen, etwa aus dem Sozial- oder Kirchenrecht.^[1] Dieses Whitepaper bietet einen praxisorientierten Überblick über die zentralen datenschutzrechtlichen Vorgaben, die Einrichtungen im Zusammenhang mit der Entwicklung und dem Einsatz von KI-Systemen beachten müssen. 

Klärung der datenschutzrechtlichen Verantwortlichkeit

Wenn Einrichtungen KI-Systeme einsetzen möchten, sollte eine zentrale Frage am Anfang jeder datenschutzrechtlichen Betrachtung stehen: Wer trägt die datenschutzrechtliche Verantwortung für die bei Entwicklung und/oder Einsatz des KI-Systems stattfindende Datenverarbeitung? Diese Klärung ist weit mehr als eine bloße Formalie – sie bildet die Basis für alle weiteren datenschutzrechtlichen Überlegungen. Denn erst wenn eindeutig feststeht, ob ein Akteur als Verantwortlicher, Auftragsverarbeiter oder ggf. als gemeinsam Verantwortlicher agiert, lassen sich die jeweils geltenden Pflichten und Anforderungen rechtssicher bestimmen. 

Die DS-GVO unterscheidet grundsätzlich zwischen dem „Verantwortlichen“ und dem „Auftragsverarbeiter“. Der Verantwortliche ist die Stelle, die über die Zwecke und Mittel der Verarbeitung personenbezogener Daten entscheidet. Er ist der zentrale Adressat aller datenschutzrechtlichen Pflichten. Er muss sämtliche materiellen Datenschutzvorgaben einhalten und nachweisen können, dass ein dem Risiko angemessener technischer und organisatorischer Datenschutz umgesetzt wurde. Der Auftragsverarbeiter hingegen handelt ausschließlich im Auftrag und nach den Weisungen des Verantwortlichen, d.h. gerade nicht nach selbstbestimmten Zwecken.

In der Praxis bedeutet das: Betreibt eine Einrichtung ein KI-System ausschließlich für eigene Zwecke auf eigenen Servern, ist sie in der Regel alleiniger Verantwortlicher. Häufiger ist jedoch, dass mehrere Parteien zusammenarbeiten – zum Beispiel, wenn eine Einrichtung ein KI-System eines externen Anbieters als von diesem gehostete Cloud-Lösung einsetzt. Dann ist die Einrichtung Verantwortlicher, während der Anbieter in der Regel als Auftragsverarbeiter agiert. In solchen Konstellationen ist es wichtig, eine sogenannte Vereinbarung über die Auftragsverarbeitung abzuschließen, die die jeweiligen Rechte und Pflichten klar regelt.

Nutzen Anbieter des KI-Systems die im Rahmen der Anwendung erhobenen Daten nicht nur im Auftrag, sondern auch für eigene Zwecke, etwa zur Weiterentwicklung ihrer KI-Systeme, kann es zu einer sogenannten „gemeinsamen Verantwortlichkeit“ kommen. Das bedeutet: Beide Parteien entscheiden gemeinsam über Zwecke und Mittel der Datenverarbeitung und sind entsprechend auch gemeinsam für die Einhaltung der Datenschutzvorgaben verantwortlich. Eine solche Konstellation setzt eine transparente vertragliche Vereinbarung zwischen den Beteiligten voraus, in der Zuständigkeiten, Informationspflichten und Verantwortlichkeiten klar geregelt sind.

Auffinden der einschlägigen Rechtsgrundlage 

Sind die datenschutzrechtlichen Verantwortlichkeiten geklärt, sollten Verantwortliche sich Gedanken über die einschlägigen Rechtsgrundlagen machen. Denn die Verarbeitung von personenbezogenen Daten (etwa Namen oder Adressen und Daten, die über solche „Kennungen“ mit einer Person verknüpft sind) ist nur zulässig, wenn eine Rechtsgrundlage diese erlaubt – also entweder die betroffene Person eine Einwilligung erteilt hat oder eine gesetzliche Vorschrift die Datenverarbeitung erlaubt. 

Die Entwicklung und das Training eines KI-Modells können in der Regel mit anonymisierten Daten durchgeführt werden. Solche Daten unterliegen nicht dem Datenschutzrecht, sodass für ihre Verwendung keine datenschutzrechtliche Erlaubnis erforderlich ist. Aber Achtung: Nach Ansicht der Aufsichtsbehörden stellt auch der Vorgang des Anonymisierens eine Verarbeitung personenbezogener Daten dar, der folglich einer Rechtsgrundlage bedarf. Für unterschiedliche Akteure kommen je nach Konstellation verschiedene Rechtsgrundlagen in Betracht:

• Private Stellen: Berechtigtes Interesse (Art. 6 Abs. 1 lit. f DS-GVO);
• Öffentliche Stellen: Öffentliches Interesse (Art. 6 Abs. 1 lit. e DS-GVO i.V.m. bundes- bzw. landesgesetzlicher Rechtsgrundlage);
• Leistungsträger (z.B. bei Leistungen der Kinder- und Jugendhilfe): Sozialdatenschutzrechtliche Grundlage erforderlich.

Bei der Verarbeitung sensibler Daten (Gesundheit, Genetik, Sexualität, Religionszugehörigkeit, weltanschauliche Überzeugungen, politische Meinungen etc.) muss außerdem eine Ausnahme nach Art. 9 Abs. 2 DS-GVO vorliegen. Soweit keine spezialgesetzlichen Regelungen eingreifen, kommt hier in der Regel nur eine ausdrückliche Einwilligung (Art. 9 Abs. 2 lit. a DS-GVO) als mögliche Rechtsgrundlage in Betracht, die einzuholen allerdings praktisch kaum möglich ist.

Auch für die Verarbeitung von personenbezogenen Daten als „Input“ eines KI-Systems ist eine Rechtsgrundlage erforderlich. Für das Auffinden der einschlägigen Rechtsgrundlage ist auch hier je nach Verantwortlichem, der das KI-System im konkreten Fall einsetzt, zu unterschieden. Sollte das KI-System zur Optimierung einer bisherigen Aufgabe eingesetzt werden, kann für die Verarbeitung von personenbezogenen Daten als „Input“ des KI-Systems meist auf diejenige Rechtsgrundlage zurückgegriffen werden, die die Datenverarbeitung im Rahmen der Erfüllung dieser Aufgabe (ohne KI) legitimiert. Denn für die Verwendung bestimmter technischer Mittel oder einer bestimmten Software für dieselbe Verarbeitung bedarf es keiner besonderen Rechtsgrundlage.

Die nachfolgende Grafik veranschaulicht, welche unterschiedlichen Rechtsgrundlagen – je nach Art der datenverarbeitenden Stelle – für die Verarbeitung personenbezogener Daten in Betracht kommen:

Verbot automatisierter Einzelfallentscheidungen

Wenn mit einem KI-System personenbezogene Daten verarbeitet werden, ist besonders darauf zu achten, dass keine unzulässigen automatisierten Einzelfallentscheidungen getroffen werden. Darunter versteht man Entscheidungen, die ohne maßgebliche menschliche Mitwirkung allein durch das KI-System getroffen werden – und die gleichzeitig das Potenzial haben, die betroffene Person erheblich zu beeinträchtigen. Dies kann etwa der Fall sein, wenn Leistungen verweigert oder andere nachteilige Maßnahmen ergriffen werden.

Automatisierte Entscheidungen sind grundsätzlich unzulässig. Die DS-GVO sieht jedoch einige klar definierte Ausnahmen vor, unter denen sie erlaubt sein können. Zulässig ist eine automatisierte Entscheidung nur, wenn sie für den Abschluss oder die Erfüllung eines Vertrags erforderlich ist, wenn sie ausdrücklich durch eine Rechtsvorschrift erlaubt ist oder wenn die betroffene Person ausdrücklich eingewilligt hat. Besonders streng sind die Anforderungen, wenn sensible personenbezogene Daten, etwa Gesundheitsdaten, verarbeitet werden: In diesen Fällen muss entweder eine ausdrückliche Einwilligung der betroffenen Person oder eine besondere gesetzlich geregelte Rechtsgrundlage im erheblichen öffentlichen Interesse vorliegen. Da beides (bislang) höchst selten der Fall ist, sind automatisierte Entscheidungen auf Grundlage sensibler personenbezogener Daten kaum rechtskonform umzusetzen.

Um unzulässige automatisierte Entscheidungen zu vermeiden, muss daher vor dem Einsatz eines KI-Systems genau geprüft werden, ob es im jeweiligen Anwendungsfall zu einer Beeinträchtigung für betroffene Personen kommen kann.

Ist dies der Fall, muss sichergestellt werden, dass nicht das KI-System die Entscheidung trifft, sondern ein Mensch. Und zwar nicht nur formal, sondern auch inhaltlich: Der Mensch muss die Entscheidung eigenverantwortlich, auf Basis der vorliegenden Fakten und unter Berücksichtigung aller rechtlichen Vorgaben treffen – und zwar nicht fremdbestimmt vom Ergebnis oder Vorschlag des KI-Systems.

Damit das gelingt, braucht es klare und dokumentierte Abläufe, die gewährleisten, dass die menschlichen Entscheidungsträger mit gleicher Sorgfalt wie ohne KI-Unterstützung prüfen und entscheiden. Der Beitrag des KI-Systems darf lediglich zu einer Verbesserung der Entscheidungsqualität oder zeitlichen Beschleunigung der Entscheidungen führen, sie aber nicht vorwegnehmen. 

Informationspflichten

Nach der DS-GVO sind datenschutzrechtlich Verantwortliche verpflichtet, betroffene Personen umfassend über die Verarbeitung ihrer personenbezogenen Daten zu informieren, wenn sie die Daten bei der betroffenen Person selbst oder aus einer anderen Quelle erheben. Gegenstand der Informationspflicht sind insbesondere Umfang, Zwecke, Rechtsgrundlagen und Dauer der Datenverarbeitung sowie die der betroffenen Person nach der DS-GVO zustehenden Rechte. 

Jedoch führt der bloße Einsatz eines KI-Systems nicht automatisch zu neuen Informationspflichten nach der DS-GVO. Das KI-System kann lediglich ein technisches Hilfsmittel für eine bestehende Verarbeitungstätigkeit sein, vergleichbar mit jeder anderen Software, die zur Bearbeitung von Daten eingesetzt wird. Einrichtungen müssen also nicht allein deshalb, weil sie KI einsetzen, die betroffenen Personen zusätzlich datenschutzrechtlich informieren.

Anders sieht es aus, wenn personenbezogene Daten, die ursprünglich für einen bestimmten Zweck erhoben wurden (z.B. für die Erfüllung einer bestimmten Aufgabe), nun für Zwecke der KI-Entwicklung verarbeitet werden. Denn in diesem Fall ändert sich der Verarbeitungszweck. Einrichtungen sind dann verpflichtet, die betroffenen Personen über diesen neuen Verarbeitungszweck zu informieren.

Zusätzliche Informationspflichten können entstehen, wenn das KI-System automatisierte Einzelfallentscheidungen trifft. In solchen Fällen muss der Verantwortliche die betroffene Person darüber informieren, dass eine automatisierte Entscheidungsfindung stattfindet, aussagekräftige Informationen über die involvierte Logik mitteilen und die Tragweite und die angestrebten Auswirkungen der Verarbeitung erläutern. 

Dabei ist es jedoch nicht erforderlich, technische Details oder den genauen Algorithmus offenzulegen. Vielmehr geht es darum, das Verfahren und die Grundsätze so zu beschreiben, dass die betroffene Person nachvollziehen kann, wie ihre Daten im Rahmen der automatisierten Entscheidung verwendet wurden. Die Informationen sollen klar, transparent und leicht verständlich sein, damit die betroffene Person die Entscheidung und deren Grundlage nachvollziehen kann.

Betroffenenrechte 

Bei der Verarbeitung personenbezogener Daten für die Zwecke der KI-Entwicklung und mithilfe eines KI-Systems sind – wie bei jeder Verarbeitung personenbezogener Daten – die Rechte der betroffenen Personen auf Auskunft, Berichtigung, Löschung, Einschränkung der Verarbeitung, Datenportabilität sowie Widerspruch zu beachten. 

Dabei ergeben sich im Kontext der Entwicklung und des Einsatzes von KI die folgenden Besonderheiten: 

• Verlangt der Betroffene Auskunft bezüglich einer automatisierten Entscheidungsfindung, sind ihm ggf. aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung mitzuteilen. Es sollte dem Verantwortlichen mithin möglich sein, die Funktionsweise und die wesentlichen Abläufe des eingesetzten KI-Systems nachvollziehbar und transparent zu erklären, sodass die betroffene Person nachvollziehen kann, wie und warum die Entscheidung auf Basis ihrer personenbezogenen Daten getroffen wurde. Dafür muss sich der Verantwortliche ggf. selbst Auskunftsansprüche gegenüber einem dritten KI-Anbieter einräumen lassen, damit das KI-System für ihn keine „black box“ darstellt.
• Sind personenbezogene Daten Teil eines KI-Modells, ist die Berichtigung oder Löschung dieser Daten meist mit erheblichem technischem und organisatorischem Aufwand verbunden. Nicht zuletzt aus diesem Grund empfiehlt es sich, anonymisierte Daten zur Entwicklung von KI-Modellen zu nutzen. 
• Soweit die Entwicklung eines KI-Modells auf ein berechtigtes Interesse gestützt wird, haben betroffene Personen das Recht, der Verarbeitung zu widersprechen. Inwieweit der Verantwortliche zwingende Interessen vorweisen und den Widerspruch zurückweisen kann, hängt vom Einzelfall ab. 

Durchführung einer Datenschutz-Folgenabschätzung

Wenn Einrichtungen ein KI-System einsetzen, das personenbezogene Daten verarbeitet, muss in vielen Fällen vorab eine Datenschutz-Folgenabschätzung (DSFA) durchgeführt werden. Denn eine solche ist insbesondere dann vorgeschrieben, wenn neue Technologien eingesetzt werden und dabei ein voraussichtlich hohes Risiko für betroffene Personen besteht. Genau das ist nach Einschätzung der Datenschutzaufsichtsbehörden regelmäßig der Fall, wenn KI-Systeme eingesetzt werden, die mit personenbezogenen Daten arbeiten.

Ziel der DSFA ist es, Risiken für die Rechte und Freiheiten der betroffenen Personen frühzeitig zu erkennen und geeignete Schutzmaßnahmen zu ergreifen. Die DSFA ist also ein strukturiertes Verfahren, mit dem sich der Verantwortliche bewusst macht, welche Auswirkungen die geplante Datenverarbeitung haben kann.

Eine DSFA sollte mindestens folgende Punkte enthalten:

• Beschreibung der Verarbeitung: Welche Daten sollen zu welchen Zwecken verarbeitet werden? Welche Interessen verfolgt der Verantwortliche dabei?
• Bewertung der Erforderlichkeit: Ist die Verarbeitung in diesem Umfang und auf diese Weise tatsächlich notwendig, um die angestrebten Ziele zu erreichen?
• Risikobewertung: Welche Risiken bestehen für die betroffenen Personen? 
• Maßnahmen zur Risikominimierung: Welche technischen und organisatorischen Schutzmaßnahmen sind vorgesehen, um diese Risiken zu verringern oder ganz auszuschließen?

Weitere Pflichten des Verantwortlichen

Beim Einsatz von KI-Systemen kann es dazu kommen, dass personenbezogene Daten in Länder außerhalb der Europäischen Union oder des Europäischen Wirtschaftsraums übermittelt werden. Das gilt insbesondere dann, wenn außereuropäische Anbieter oder Dienstleister in die Entwicklung oder den Betrieb des KI-Systems eingebunden sind.

In diesem Fall ist zu prüfen, ob für den Datenempfänger ein sogenannter Angemessenheitsbeschluss der EU-Kommission gilt (z. B. für Kanada, Japan, Südkorea). Ist dies nicht der Fall, können sog. Standardvertragsklauseln abgeschlossen werden. Dabei ist jedoch zu berücksichtigen, dass in manchen, v.a. öffentlichen Bereichen, strengere Vorgaben gelten, die eine Übermittlung in Drittländer ohne Angemessenheitsbeschluss ausdrücklich untersagen.

Führt die Entwicklung bzw. der Einsatz eines KI-Systems zu Änderungen an den Verarbeitungstätigkeiten des Verantwortlichen, ist dies zudem im Verarbeitungsverzeichnis entsprechend abzubilden.

Zusammenfassung

Der Einsatz von KI in sozialen Einrichtungen bietet großes Potenzial, Prozesse zu verbessern und individuelle Unterstützungsleistungen zu optimieren. Gleichzeitig bringt die Verarbeitung personenbezogener Daten im Rahmen von KI-Systemen umfassende datenschutzrechtliche Herausforderungen mit sich. Verantwortliche Einrichtungen müssen daher sorgfältig prüfen, wie sie die Vorgaben der DS-GVO erfüllen können. Klare Verantwortlichkeiten, die Wahl der richtigen Rechtsgrundlage, die Beachtung des Verbots automatisierter Einzelfallentscheidungen sowie die Transparenz gegenüber Betroffenen sind dabei zentrale Erfolgsfaktoren.

Die nachfolgende Übersicht fasst die wichtigsten Maßnahmen zusammen, die für den datenschutzkonformen Einsatz von KI zu beachten sind:

Nr.	To-Do
1	Verantwortlichkeiten klären Wer ist der datenschutzrechtliche Verantwortliche? Gibt es nur einen oder mehrere datenschutzrechtlich Verantwortliche? Werden Auftragsverarbeiter eingesetzt?
2	Auffinden der Rechtsgrundlage Welche Rechtsgrundlage ist für die Verarbeitung personenbezogener Daten einschlägig?
3	Verbot der automatisierten Einzelfallentscheidung beachten Kommt es zu automatisierten Einzelfallentscheidungen durch/mithilfe des KI-Systems? Ist dies ausnahmsweise zulässig?
4	Informationspflichten erfüllen Müssen betroffene Personen gesondert über die Verarbeitung ihrer personenbezogenen Daten informiert werden? Wenn ja, wie kann das gewährleistet werden?
5	Betroffenenrechte erfüllen   Wie können die Rechte der betroffenen Personen gewährleistet werden, insbesondere die Rechte auf Auskunft, Löschung und Widerspruch?
6	Datenschutz-Folgenabschätzung  Muss eine Datenschutz-Folgenabschätzung durchgeführt werden?
7	Internationaler Datentransfer Kommt es zu einer Übermittlung personenbezogener Daten außerhalb der EU? Wenn ja, wie ist hierbei die Einhaltung datenschutzrechtlicher Vorgaben abgesichert?
8	Verarbeitungsverzeichnis ergänzen Ist die Verarbeitung personenbezogener Daten bereits im Verarbeitungsverzeichnis abgebildet oder muss dieses ergänzt werden?

---

[1] Die detaillierte Darstellung dieser spezialgesetzlichen Anforderungen ist nicht Gegenstand dieses Whitepapers, der nur einen ersten Überblick geben soll. Inhaltlich ähneln sich die Anforderungen jedoch so sehr, dass die Anforderungen der DS-GVO auch für Einrichtungen als Orientierung dienen können, die zusätzlich oder stattdessen anderen rechtlichen Regimen unterliegen.