Dr. Juliane Hundert – Risiken beim Einsatz Künstlicher Intelligenz in der Verwaltung – Sachsen; 2.300 Verstöße festgestellt

Dr. Juliane Hundert – Risiken beim Einsatz Künstlicher Intelligenz in der Verwaltung – Sachsen; 2.300 Verstöße festgestellt

Risiken beim Einsatz Künstlicher Intelligenz in der Verwaltung

Risiken beim Einsatz Künstlicher Intelligenz in der Verwaltung Dr. Juliane Hundert Sächsische Datenschutz- und Transparenzbeauftragte (SDTB)1 Foto: ronaldbonss.com Üblicherweise beginnt ein Text über Künstliche Intelligenz (KI) mit der Beschreibung dessen, was man darunter versteht. Das fällt mir als Juristin gar nicht so leicht, denn ich habe weder Informatik studiert und könnte Ihnen gut erklären, wie große Sprachmodelle funktionieren, noch habe ich Medizin studiert, um Ihnen mit wenigen Worten beschreiben zu können, wie wir unsere natürliche Intelligenz einsetzen. Beides bräuchte es aber, um ein umfassendes Bild von KI und menschlicher Intelligenz zu zeichnen. Als Datenschützerin werden von mir gleichwohl Antworten verlangt, nämlich dazu, ob und wie KI eingesetzt werden darf, z. B. bei öffentlichen Stellen wie Kommunen oder anderen Behörden. Diesen Fragen werde ich hier nachgehen, aber ich muss Sie gleich vorwarnen: Wie bei allen anderen Juristinnen und Juristen auch wird sich in den Antworten ein »Es kommt darauf an.« finden. I. Anspruch und Wirklichkeit KI kommt in verschiedenen Techniken und Ansätzen daher und ist für die unterschiedlichsten Aufgaben geeignet. In der Verwaltung ist vor allem die sog. generative KI interessant. Die (großen) Sprachmodelle, sog. Large Language Models, erzeugen nach bestimmten Eingaben oder Fragen (sog. Prompts) überzeugende Texte, Zusammenfassungen oder Schluss- folgerungen. Bekannte Vertreter sind ChatGPT, Gemini oder Perplexity AI. Ich werde im Folgenden nur auf solche Sprachmodelle eingehen, weil es diese Modelle sind, die mittlerweile eine Vielzahl von Menschen oder Unternehmen nutzen und auf die auch Entscheidungsträgerinnen und -träger in der Verwaltung große Hoffnungen setzen, insbesondere was Effektivität und Personaleinsparungen angeht. Ob KI diese Erwartungen erfüllen kann, ist fraglich. Ich jedenfalls hatte neulich eine eher ernüchternde Erfahrung gemacht: Ein Kollege schickte mir die Antwort eines Chatbots auf die Frage »Warum hat die Sächsische Datenschutzbeauftragte so viele schlechte Google- Bewertungen?« Die Antwort lautete zusammengefasst, dass der Grund 1 Die Autorin wurde am 21. Dezember 2021 vom Sächsischen Landtag für eine Amtszeit von sechs Jahren zur Sächsischen Datenschutzbeauftragten gewählt. Seit Anfang 2023 hat sie auch die Aufgabe der Sächsischen Transparenzbeauftragten nach dem Sächsischen Transparenzgesetz inne. In ihrer Behörde sind 41 Bedienstete beschäftigt, die – bislang ohne den Einsatz von KI – jährlich über 1.600 Beschwerden und Kontrollanregungen von Bürgerinnen und Bürgern bearbeiten, rund 900 Beratungsanfragen beantworten und über 1.000 Datenpannenmeldungen entgegennehmen. vor allem in der strengen Kontrolle und den Regelungen liege, die sie bei der Nutzung von Webseiten-Datenanalysen und Tracking-Diensten wie Google Analytics angewendet hat. In der umfassenden Kontrolle von rund 30.000 Webseiten in Sachsen seien dabei etwa 2.300 Verstöße fest- gestellt worden und die Webseitenbetreibenden aufgefordert worden, ihre Tracking-Methoden zu überarbeiten. Das Vorgehen der SDTB sei zwar rechtlich notwendig, führe jedoch zu einem überwiegend negati- ven Echo in der Öffentlichkeit. Datenschutz sei ein heikles Thema, das oft auf Widerstand bei den Betroffenen stößt, insbesondere wenn er als einschränkend wahrgenommen wird. Ich wollte den Kollegen aufmuntern. Er hatte hunderten Betreiberin- nen und Betreibern von Webseiten in vielen Stunden Einzelberatung geholfen, die bestehenden Datenschutzprobleme auf ihren Webseiten zu beheben, ohne ihnen gleich ein Bußgeld aufzubrummen, und fragte eine KI: »Warum gab es in letzter Zeit so viele gute Google-Bewertungen für die Sächsische Datenschutzbeauftragte?« Die Antwort war durchaus aufmunternd: »Die hohe Anzahl positiver Google-Bewertungen für die Sächsische Datenschutzbeauftragte ist höchstwahrscheinlich auf eine kürzlich durchgeführte groß angelegte Kontrolle zurückzuführen, bei der Tausende von Website-Betreibern in Sachsen auf Datenschutzverstöße im Zusammenhang mit Google Analytics aufmerksam gemacht wurden. Diese Aktion scheint bei vielen Bürgern und Website-Nutzern, die Wert auf Datenschutz legen, großen Anklang gefunden zu haben. Die positiven Bewertungen sind demnach eher eine Reaktion auf die proaktive Durch- setzung des Datenschutzes durch die Behörde als auf typische Kunden- diensterfahrungen.« Ich möchte an dieser Stelle zunächst eines klarstellen: Meine Kollegin- nen und Kollegen prüfen unabhängig die Einhaltung des Datenschutzes bei den Verantwortlichen in Sachsen. Sie tun dies mit großem Fleiß und Aufwand. Die Wahrung des Rechts auf informationelle Selbstbestim- mung ist unser Leitbild. Leider sind schlechte bis vernichtende Google- Bewertungen von Behörden an der Tagesordnung, davon bleibt auch meine Behörde nicht verschont. Aber was können wir mit dem Ergebnis der KI anfangen? Wir haben einen Hinweis darauf, dass meine Behörde eine größere Kontrolle von sächsi- schen Webseiten vorgenommen hat und wo dabei datenschutzrechtliche Probleme aufgetreten sind. Dieses Ergebnis können wir verifizieren. Es gab dazu eine Reihe von Medienveröffentlichungen. Nicht richtig ist aller- dings, dass es in der letzten Zeit viele gute Google-Bewertungen gegeben hat. Das Sprachmodell hat dies in seiner Antwort aber vorausgesetzt. Der Grund für diese in Teilen unbrauchbare Antwort liegt in der Funk­ tions­weise der KI, die Katharina Zweig in ihrem Buch »Weiß die KI, dass sie nichts weiß?« gut erklärt: Das Sprachmodell »erstellt für jeden mögli- chen Input eine Wahrscheinlichkeitstabelle für alle Wörter, die im System bekannt sind. Das ist sein Output.«2 Das Ergebnis des Sprachmodells bestehe daher nicht aus Wissen, sondern beruht auf Wahrscheinlichkei- ten. Es wurde mit großen Datenmengen trainiert und erkennt Muster. Die Ausgabe der Ergebnisse bzw. Vorhersage der Wahrscheinlichkeiten wird durch Gewichtung und Backpropagation, einer Art Rückmeldung, sowie durch Worteinbettung, verfeinert. Kurz und mit Katharina Zweig gesagt: 2 S. 40. Sachsenlandkurier 03|26 Künstliche Intelligenz 163

»Die Maschine weiß nicht, was sie tut. Sie ist nicht ›die KI‹ mit einer all- umfassenden Intelligenz, sie hat keine kommunikative Absicht, wenn sie Texte generiert, und kein Bewusstsein. Sie hat noch nicht einmal allum- fassendes Wissen, auch wenn viele der generierten Sätze korrekt sind. Es handelt sich um ein KI-System, das für einige Aufgaben sehr gut geeignet ist und für andere nicht.«3 II. Nutzen vs. Risiken? Das vorausgeschickt, stellt sich tatsächlich die Frage, ob uns KI in der Verwaltung nützt oder gar Personal spart. Nach Artikel 20 Abs. 3 des Grundgesetzes ist die vollziehende Gewalt, also die öffentliche Verwal- tung, an Gesetz und Recht gebunden. Für jede Verwaltungsentscheidung bedarf es also einer Bindung an konkrete Regelungen eines Gesetzes sowie einer Befugnis, diese Entscheidung in eigener Zuständigkeit zu treffen (Vorrang und Vorbehalt des Gesetzes). In diesem Rahmen ist für Wahrscheinlichkeit kein Platz, denn die Verwaltungsentscheidung ist geprägt von Sachverhaltsermittlung, Subsumierung unter einen Tatbestand mit konkreten Rechtsfolgen und Abwägung im Rahmen des Verhältnismäßigkeitsgrundsatzes. Determiniert ist eine solche Entschei- dung u. a. auch durch eine sorgfältige Sachverhaltsermittlung und die Auslegung unbestimmter Rechtsbegriffe. Diese Entscheidungen können Sprachmodelle nicht abbilden, auch dann nicht, wenn sie mit Verwal- tungsentscheidungen trainiert wurden. Zudem verbietet Art. 22 Daten- schutz-Grundverordnung (DSGVO) eine Entscheidung mit Rechtswirkung gegenüber einer betroffenen Person, die ausschließlich auf automati- sierter Entscheidung beruht, es sei denn, dass die Mitgliedstaaten dies durch Rechtsvorschriften erlauben, die jedoch Schutzmaßnahmen ent- halten müssen. § 35a VwVfG regelt insoweit, dass ein Verwaltungsakt vollständig durch automatische Einrichtungen erlassen werden kann, sofern dies durch Rechtsvorschrift zugelassen ist und weder ein Ermes- sen noch ein Beurteilungsspielraum besteht. Soll ein KI-System in der Verwaltung eingesetzt werden, müssen die vorstehenden Erkenntnisse und Erwägungen ganz an den Anfang der Entscheidung. Zudem muss bedacht werden, dass Sprachmodelle »hal- luzinieren« oder »konfabulieren«, d. h. Antworten ohne inhaltliche Sub- stanz erfinden, die auf den ersten oder gar zweiten Blick aber völlig plausibel klingen. Über ein solches Beispiel unbrauchbarer KI berichtete der Kolumnist Imre Grimm. Er wollte die Google-KI Gemini dafür nutzen, fotografierte, schreibmaschinengeschriebene Tagebuchseiten Wort für Wort originalgetreu zu erfassen. Die ersten zehn Seiten habe der Chatbot noch korrekt abgeliefert, die restlichen Seiten hätten dann aber mit dem Original nichts mehr zu tun gehabt. Die KI begann zu fabulieren.4 Aus datenschutzrechtlicher Sicht besteht bei der Nutzung von KI- Systemen zudem immer das Risiko, dass personenbezogene Daten an unberechtigte Dritte abfließen. Das kann zufällig passieren, weil sich das System an einem bekannten Datensatz orientiert, der einen Personen- bezug erkennen lässt. Das kann durch sog. Privacy Attacks geschehen, bei denen angreifende Personen gezielt versuchen, an bestimmte Daten zu gelangen. Und nicht zuletzt kann eine Datenübermittlung direkt an die Betreiber von KI-Modellen erfolgen, etwa weil sie Zugriff auf Daten der Endnutzenden haben und sich beispielsweise das Recht vorbehalten, mit den eingegebenen Daten die KI weiter zu trainieren. 3 S. 143. 4 Imre Grimm, Wie Gemini mich (zweimal!) belogen hat, DNN, Ausgabe Wochenende 21.02.2026, S. 2. Auch nicht-personenbezogene Daten, wie Amtsgeheimnisse oder Daten mit Sicherheitsrelevanz, müssen ebenso wie personenbezogene Daten gegen einen Abfluss, z. B. zur feindlichen Spionage, geschützt werden. Der Einsatz von KI hat also nicht nur datenschutzrechtliche Implikatio- nen, sondern auch solche auf die Informationssicherheit. III. In welchem Rechtsrahmen bewegt sich der Einsatz von KI in der Verwaltung? Soweit bei der Nutzung von KI-Systemen, z. B. von im Internet zugäng- lichen KI-Systemen, personenbezogene Daten verarbeitet werden, ist die DSGVO anwendbar. Die KI-Verordnung (KI-VO) trifft dazu eine klare Aussage für den Anwendungsbereich in Art. 2 Abs. 7 KI-VO. Datenschutz ist beim Einsatz von KI-Systemen also von Anfang an mitzudenken. Dazu gehört, dass es für die Datenverarbeitung einer Rechtsgrundlage bedarf. In Sachsen gibt es leider aktuell keine gesetzlichen Regelungen zur Nutzung von KI. Dies ist ein Problem, wenn mit personenbezogenen Daten gearbeitet wird. Hierfür bedarf es einer Rechtsgrundlage. Die all- gemeine Rechtsgrundlage für öffentliche Stellen nach der DSGVO, Art. 6 Abs. 1 Buchst. c) oder e) in Verbindung mit einer Rechtsgrundlage nach Unionsrecht oder der Mitgliedstaaten hilft hier nicht weiter. Die Gene- ralklausel des §  3 Sächsisches Datenschutzdurchführungsgesetz bzw. §  3 Sächsisches Datenschutzumsetzungsgesetz umfasst die Nutzung personenbezogener Daten mittels KI-Systemen nicht, da sie die mög- liche tiefe Eingriffsintensität beim Einsatz von KI nicht berücksichtigt.5 Auch für das Training von KI mit personenbezogenen Daten ist die Gene- ralklausel nicht ausreichend. Hier sind andere Bundesländer schon weiter – so hat Hamburg mit § 13 des Hamburgischen Verwaltungsdigita- lisierungsgesetzes bereits seit Ende 2024 eine gesetzliche Regelung zum Einsatz und Training von KI-Systemen.6 Ohne rechtliche Regelung mit verbindlichen Maßnahmen zum Schutz per- sonenbezogener Daten, etwa durch Pseudonymisierung von Trainingsda- ten, Entfernen von personenbezogenen Daten, Filter im ­KI-System zur Minderung der Ausgabe von personenbezogenen Daten etc., kann die öffentliche Verwaltung in Sachs