IFK präsentiert ALeKs in Potsdam; Qualitätsverlust durch unsachgemäße Zweckbestimmung

IFK präsentiert ALeKs in Potsdam; Qualitätsverlust durch unsachgemäße Zweckbestimmung

Protokoll der 50. Sitzung der Konferenz der Informationsfreiheitsbeauftragten in Deutschland (IFK) am 10. Juni 2026 in Potsdam

1 Protokoll der 50. Sitzung der Konferenz der Informationsfreiheitsbeauftragten in Deutschland (IFK) 10. Juni 2026 – Potsdam Anwesend Baden-Württemberg Prof. Dr. Tobias Keber, Sabine Grullini Berlin Meike Kamp, Jana Schönefeld Brandenburg Dagmar Hartge, Monika Kuschewsky (zeitweise), Sven Müller, Marcel Schäffer, Pia Busch Bremen Dr. Timo Utermark Bund Dr. Michaela Schmitz Hamburg Thomas Fuchs Hessen Stephanie Wetzstein Mecklenburg-Vorpommern Sebastian Schmidt Nordrhein-Westfalen Bettina Gayk, Jutta Katernberg Rheinland-Pfalz Kevin Boldt Saarland Helena Hopfner Sachsen Dr. Juliane Hundert Sachsen-Anhalt Jens Olaf Platzek, Melanie Lange Schleswig-Holstein Dr. h. c. Marit Hansen Thüringen Tino Melzer, Saskia Springer

2 Gast zu TOP 9 Philipp Kaufhold, Vorsitzender Richter, 9. Kammer, Verwaltungsgericht Potsdam Beginn und Ende: 10. Juni 2026, 9:00 bis 15:30 Uhr Hinweis: Gemäß Abschnitt B, V. der Geschäftsordnung der IFK wird über die Sitzung grundsätzlich ein Ergebnisprotokoll erstellt. TOP 1 Begrüßung, Genehmigung der Tagesordnung, Freigabe des Protokolls der 51. Sitzung des AKIF Der Vorsitz eröffnet die 50. Sitzung der IFK und begrüßt die Teilnehmenden. Die Tagesordnung der IFK wird einstimmig angenommen. Die IFK genehmigt die Veröffentlichung des Protokolls des 51. Arbeitskreises für Informationsfreiheit (AKIF) vom 21./22. April 2026. TOP 2 Unser Prototyp und das Projekt des Bayerischen Justizministeriums ALeKs (Anonymisierungs- und Leitsatzerstellungs-Kit zur smarten Veröffentlichung von Gerichtsentscheidungen) – Präsentation und Diskussion Prof. Dr. Axel Adrian, Honorarprofessor im Fachbereich Recht, und Philipp Heinrich, Mitarbeiter am Lehr­ stuhl für Korpus- und Computerlinguistik (Friedrich-Alexander-Universität Erlangen-Nürnberg) stellen das Projekt des Bayerischen Justizministeriums ALeKs vor. Ausgangspunkt des Vortrags ist die Feststellung, dass es nicht „die eine KI“ gebe. Vielmehr setzten sich KI-Systeme für juristische Anwendungen aus unterschiedlichen Teilbereichen der KI-Forschung zusam­ men. Genannt werden insbesondere Sprachverarbeitung (Natural Language Processing), Mustererken­ nung, Wissensrepräsentation und automatisiertes Schließen. Erst das Zusammenwirken dieser Kompo­ nenten ermögliche den Aufbau leistungsfähiger hybrider KI-Systeme für juristische Anwendungsfälle. Anschließend werden die Anforderungen der Verordnung (EU) 2024/1689 (KI-VO) erläutert. Die Refe­ renten betonen, dass zentrale Begriffe der Verordnung nicht nur rechtlich, sondern auch technisch ver­ standen werden müssten. Im Mittelpunkt stehen dabei die Anforderungen an Datenqualität, Genauigkeit und Robustheit. Hervorgehoben werden insbesondere die Anforderungen an Relevanz, Repräsentativität, Fehlerfreiheit und Vollständigkeit der verwendeten Datensätze sowie die Vermeidung von Verzerrungen (Bias), eine nachvollziehbare Dokumentation der Datenherkunft und die kontinuierliche Überprüfung der Datengrundlage. Darüber hinaus verlange die KI-VO Transparenz hinsichtlich der Genauigkeit eingesetz­ ter Systeme. Anbieter müssten geeignete Genauigkeitskennzahlen offenlegen und dokumentieren. Auch wenn Systeme zur Anonymisierung gerichtlicher Entscheidungen nach Erwägungsgrund 61 grundsätzlich nicht als Hochrisiko-KI-Systeme gelten, plädieren die Referenten dafür, sie an denselben Qualitätsmaß­ stäben zu messen. Im Zusammenhang mit diesen Anforderungen werden die Forschungsprojekte LeAK I/II, AnGeR, RAGE und DIREGA vorgestellt. LeAK diene der automatisierten Anonymisierung gerichtlicher Entscheidungen und wäre auf amtsgerichtliche Entscheidungen aus dem Miet- und Verkehrsrecht zugeschnitten. AnGeR erweitere diesen Ansatz auf weitere Instanzen und Rechtsgebiete. Das geplante Projekt RAGE soll Ver­ zerrungen in Trainingsdaten automatisiert erkennen und reduzieren. DIREGA untersuche hybride KI-Sys­

3 teme zur juristischen Entscheidungsunterstützung. Gemeinsam würden die Projekte das Ziel verfolgen, qualitativ hochwertige und KI-VO-konforme Trainingsdaten und Systeme für die Justiz bereitzustellen. Ein Schwerpunkt des Vortrags liegt auf dem Begriff der Zweckbestimmung. Nach der KI-VO dürfe ein KI-System nur innerhalb des vorgesehenen Anwendungsbereichs eingesetzt werden. Die Referenten veranschaulichen dies am Beispiel des im Projekt LeAK entwickelten Modells. Dieses sei ausschließlich zur Anonymisierung von Amtsgerichtsurteilen aus dem Miet- und Verkehrsrecht entwickelt und trainiert worden. Kritisch bewertet wird daher die Verwendung des Modells im bayerischen Projekt ALeKs zur Anonymisierung einer großen Zahl von Entscheidungen unterschiedlicher Instanzen und Rechtsgebiete. Nach Auffassung der Referenten werde das Modell damit außerhalb seiner ursprünglichen Zweckbestim­ mung eingesetzt. Der hierdurch entstehende Qualitätsverlust solle durch einen „Human-in-the-Loop“- Ansatz kompensiert werden. Die Referenten äußern jedoch Zweifel, ob dieser Ansatz bei großen Fall­ zahlen praktikabel sei. Im Mittelpunkt der weiteren Ausführungen stehen die Leistungsfähigkeit und die Grenzen automatisier­ ter Anonymisierungssysteme. Zur Bewertung der Genauigkeit werden insbesondere die Kennzahlen Re­ call und Precision herangezogen. Während Recall angibt, wie viele tatsächlich zu anonymisierende Stellen erkannt werden, beschreibt Precision den Anteil zutreffend erkannter Stellen. Nach Auffassung der Re­ ferenten kommt dem Recall bei Anonymisierungssystemen besondere Bedeutung zu, da bereits einzelne übersehene Identifikatoren erhebliche Folgen haben können. Ziel sei daher ein Recall von deutlich über 99 % bei direkten Identifikatoren. Die Bewertung der Systeme müsse auf hochwertigen, möglichst feh­ lerfreien Goldstandards beruhen. Zugleich seien die Ergebnisse auf Ebene ganzer Textstellen und nicht lediglich einzelner Tokens zu bewerten. Die vorgestellten Evaluationen zeigen, dass speziell trainierte Modelle sehr hohe Genauigkeitswerte er­ reichen können. Für das auf Miet- und Verkehrsrecht trainierte Modell LeAK 2022++ werden Recall-Wer­ te von rund 99 % bei direkten Identifikatoren erreicht. Das Modell basiert auf XLM-RoBERTa Large und wurde auf umfangreichen Datensätzen vortrainiert sowie anschließend für die Erkennung und Klassifika­ tion zu anonymisierender Textstellen feinjustiert. Anschließend wird die Robustheit des Systems untersucht. Hierzu wird das ursprünglich für Amtsge­ richtsurteile entwickelte Modell auf Entscheidungen des Oberlandesgericht München aus elf verschie­ denen Rechtsgebieten angewendet. Die Ergebnisse zeigen deutliche Leistungseinbußen außerhalb der ursprünglichen Trainingsdomäne. Ein speziell für diese Daten angepasstes AnGeR-Modell erzielt dem­ gegenüber erheblich bessere Ergebnisse. Die Referenten verdeutlichen die praktischen Folgen anhand von Hochrechnungen auf 50.000 Entscheidungen: Die Verwendung eines nicht zweckentsprechend ein­ gesetzten Modells führe zu einer erheblichen Zahl zusätzlicher übersehener Identifikatoren und damit zu einem erheblich höheren manuellen Nachbearbeitungsaufwand. Nach Auffassung der Referenten lasse sich dieser Qualitätsverlust nicht ohne Weiteres durch menschliche Kontrolle kompensieren. Als Fazit wird festgehalten, dass automatisierte Anonymisierung technisch grundsätzlich möglich sei und bereits sehr hohe Qualitätswerte erreiche. Voraussetzung für einen verlässlichen Einsatz seien jedoch eine zweckentsprechende Verwendung der Systeme, hochwertige Trainingsdaten sowie eine kontinu­ ierliche Überprüfung von Genauigkeit und Robustheit. Zudem bestehe weiterer Forschungsbedarf hin­ sichtlich der Erkennung und Vermeidung von Verzerrungen in Trainingsdaten. Vor Auswahl und Einsatz KI-gestützter Systeme in der Justiz sollten daher insbesondere Zweckbestimmung, Datenbasis, mögliche Bias-Strukturen, die Methodik der Genauigkeitsmessung sowie die Robustheit bei abweichenden Ein­ satzbedingungen geprüft werden. Im Anschluss an den Vortrag werden verschiedene Fragen zu den rechtlichen und praktischen Rahmen­ bedingungen KI-gestützter Anonymisierungssysteme erörtert.

4 Baden-Württemberg verweist zunächst auf die Ausnahmeregelung der KI-Verordnung für Systeme zur Anonymisierung gerichtlicher Entscheidungen und fragt, ob solche Systeme überhaupt als Hochrisiko- KI einzuordnen seien und ob sich eine entsprechende Bewertung nicht bereits aus Artikel 6 Absatz 3 KI-VO in Verbindung mit den Erwägungsgründen ableiten lasse. Die Referenten entgegnen, dass nach dem Wortlaut der KI-VO zwar eine Herausnahme solcher Systeme naheliege, sie jedoch aus praktischer Perspektive eine abweichende Risikobetrachtung vornehmen würden. Hintergrund sei die Sorge, dass bei umfangreicher Anwendung eines nicht domänenspezifisch trainierten Modells erhebliche Anonymisie­ rungsfehler entstehen könnten. Diese würden bei einer deutlich erhöhten Veröffentlichungsquote syste­ matisch sichtbar und könnten – insbesondere bei automatisierter Fehleridentifikation durch Dritte – zu erheblichen rechtlichen und politischen Folgewirkungen führen. Vor diesem Hintergrund plädieren die Referenten dafür, die Anforderungen der KI-VO unabhängig von der formalen Einordnung freiwillig als Qualitätsmaßstab heranzuziehen. In diesem Zusammenhang fragt Baden-Württemberg auch nach dem zugrundeliegenden Anonymisie­ rungsbegriff sowie nach dem Umgang mit verbleibenden Re-Identifizierungsrisiken. Die Referenten verweisen auf die wissenschaftliche Definition von Anonymität als Frage des faktischen Aufwands der Re-Identifikation: Ein Datensatz gilt dann als anonym, wenn eine Re-Identifizierung nur mit unverhältnis­ mäßigem technischem, organisatorischem oder finanziellem Aufwand möglich ist. Zugleich wird darauf hingewiesen, dass dieser Aufwand durch technische Fortschritte kontinuierlich sinken könne, wodurch Re-Identifizierungsrisiken dynamisch steigen. Eigene Experimente zeigten zudem, dass selbst mit be­ grenztem Aufwand relevante Textstellen in bestehenden Entscheidungen wieder identifizierbar seien. Berlin fragt sodann nach der Möglichkeit domänenunabhängiger Anonymisierungssysteme. Die Referen­ ten erläutern, dass derzeit hohe Qualitätswerte insbesondere durch domänenspezifisch trainierte Model­ le erreicht werden. Die ursprüngliche Zielsetzung von Projekten wie AnGeR sei zwar eine zunehmende Generalisierbarkeit über verschiedene Rechtsgebiete hinweg gewesen, tatsächlich zeige sich jedoch, dass Leistungsfähigkeit stark von der Nähe zur Trainingsdomäne abhängt. Eine domänenunabhängige Lösung sei grundsätzlich denkbar, setze aber eine erhebliche Erweiterung und Standardisierung von Trainings­ daten voraus. Zur Einordnung der Größenordnung wird darauf hingewiesen, dass die Erstellung eines belastbaren Goldstandards für neue Textsorten typischerweise mit erheblichen Kosten im sechsstelligen Bereich verbunden sei. Hamburg fragt im Anschluss nach dem geplanten Forschungsprojekt zur Bias- und Verzerrungsanalyse und nach dem zugrundeliegenden Verständnis von „Bias“. Die Referenten betonen, dass Verzerrungen auf verschiedenen Ebenen entstehen können: in den Trainingsdaten selbst, in deren Auswahl sowie in statistischen Ungleichgewichten innerhalb der Datenbasis. Ziel sei nicht die inhaltliche Veränderung ge­ richtlicher Entscheidungen, sondern die Vermeidung systematischer Verzerrungen bei der maschinellen Verarbeitung. Als Beispiel wird erläutert, dass ein unausgewogener Trainingsdatensatz (etwa eine do­ minante Verurteilungsquote in bestimmten Gruppen) zu unerwünschten statistischen Korrelationen im Modell führen könne, die anschließend reproduziert würden. Mehrere Länder erkundigen sich nach vergleichbaren Projekten und den eingesetzten Modellen. Die Re­ ferenten verweisen auf verschiedene nationale und internationale Initiativen sowie auf den Einsatz von Open-Source-Sprachmodellen. Zugleich wird