--- title: "Justizbehörden in Deutschland verwenden Hochrisiko-KI-Systeme in Potsdam; Bußgelder drohen bei Nichteinhaltung." sdDatePublished: "2026-09-02T11:25:00Z" source: "https://www.datenschutz.sachsen.de/download/IFK/IFK_Protokoll_50_Anlage_ALeks-Praesentation.pdf" topics: - name: "artificial intelligence" identifier: "medtop:20001298" - name: "law" identifier: "medtop:20000121" - name: "data protection policy" identifier: "medtop:20000627" locations: - "Stuttgart" - "Munich" - "Regensburg" - "Bavaria" - "Erlangen" - "Nürnberg" - "Potsdam" - "Germany" --- Justizbehörden in Deutschland verwenden Hochrisiko-KI-Systeme in Potsdam; Bußgelder drohen bei Nichteinhaltung. ALeKs Unser Prototyp und das Projekt des Bayerischen Justizministeriums ALeKs (Anonymisierungs- und Leitsatzerstellungs-Kit zur smarten Veröffentlichung von Gerichtsentscheidungen) Konferenz der Informationsfreiheitsbeauftragten in Deutschland Potsdam, 10.06.2026 Prof. Dr. Axel Adrian | Rechtstheorie und -gestaltung Philipp Heinrich, M.Sc. | Korpus- und Computerlinguistik Es gibt nicht die eine KI Analogie: Gehirn und KI-Systeme Es gibt nicht die eine KI Abbildung: Eigene Darstellung. Friedrich-Alexander-Universität Erlangen-Nürnberg 5 Für die Rechtswissenschaften relevante Teildisziplinen der KI-Forschung Verschiedene technische Disziplinen Abbildung: https://gokulchittaranjan.files.wordpress.com/2015/09/pipeline1.png http://neuralnetworksanddeeplearning.com/images/tikz36.png Alexey Cheptsov (HLRZ Stuttgart) Eigene Darstellung (E ᴧB ᴧ ¬R) → A ∀x [∃y. ∃z. Eyx ᴧ Bzx ᴧ ¬Rzxy → Ayxz] O(E ᴧB ᴧ ¬R) → OA □E ᴧ □(B ᴧ ¬R) → A Wissensrepräsentation Natural Language Processing Maschinelles Schließen Mustererkennung (Machine-/Deeplearning) Symbolische und subsymbolische KI Friedrich-Alexander-Universität Erlangen-Nürnberg 6 Unser Forschungsteam Friedrich-Alexander-Universität Erlangen-Nürnberg Drei Fakultäten, Principal Investigators, Wissenschaftliche Mitarbeiter Unser Forschungsteam an der FAU Prof. Dr. Axel Adrian (Rechtswissenschaft und Wissenschaftstheorie) Prof. Dr. Andreas Maier (Mustererkennung) Prof. Dr. Stephanie Evert (Natural Language Processing) Prof. Dr. Michael Kohlhase (Wissensrepräsentation) Prof. Dr. Lutz Schröder (Theoretische Informatik) Osman Anil Basaran, Ass. jur., LL.M. Legal Tech (Regensburg) Michael Gritz, Notarassessor, Dr. Verena Stürmer, Notarassessorin, Dr. Helmut Birner, Notarassessor Julia Mosebach, Referendarin, Julian Werner, Referendar, Melanie Rosa, Referendarin Daniel Odorfer, Referendar, Dr. Michael Keuchen Philipp Heinrich, M.Sc. Steffen Bothe, M.A. Bao Minh Doan Dang, M.A. Naveed Unjum, M.Sc. Max Rapp, M.Sc. (phil.), Ms.Sc. (logic) – Masteranden außerhalb des Projekts – Stephan Prettner, M.Sc. Sven Grünke, IT & Lab Sebastian Wind, M.Sc. Florian Frank, M.Sc., Merlin Humml, M.Sc., Johannes Lindner (stud. B.Sc.), studentische Hilfskraft Moritz Blöcher, B.Sc. (stud. M.Sc.), Masterand Prof. Dr. Christian Bergler (Mustererkennung) Lucca Baumgärtner, B.Sc., stud (M.Sc.) Aurelius Adrian, stud. (B.Sc.) Sonstige Beteiligte Legal CCL KWARC ML T.SC 8 Friedrich-Alexander-Universität Erlangen-Nürnberg im Herbst 2024 Das AnGer-Projektteam 9 Verordnung (EU) 2024/1689 (KI-VO) KI-Systeme in der Justiz sind Hochrisiko-Systeme i.S.d. KI-VO Die Verordnung (EU) 2024/1689 (KI-VO) Bei Einsatz eines KI-Systems in der Justiz sind nach der KI-VO insbesondere die Vorgaben für KI-Hochrisikosysteme gemäß Anhang III Nr. 8 lit. a KI-VO zu beachten: „ KI-Systeme, die bestimmungsgemäß von einer oder im Namen einer Justizbehörde verwendet werden sollen, um eine Justizbehörde bei der Ermittlung und Auslegung von Sachverhalten und Rechtsvorschriften und bei der Anwendung des Rechts auf konkrete Sachverhalte zu unterstützen, oder die auf ähnliche Weise für die alternative Streitbeilegung genutzt werden sollen“ Hochrisiko-KI-Systeme müssen entsprechend ihrer Zweckbestimmung eingesetzt werden und es gelten z.B. gem. Art. 3, 10, 15 KI-VO hohe Anforderungen für - Transparenz, - Datenqualität, - Genauigkeit, - Robustheit - etc. Ignoriert man diese Normen, drohen Rechtsfolgen wie Bußgelder und Nutzungsverbote. Friedrich-Alexander-Universität Erlangen-Nürnberg 11 Anonymisierungs- /Pseudonymisierungs-KI-Systeme für gerichtliche Urteile, Dokumente oder Daten sind nach Erwg. 61 KI-VO: KEIN KI- Hochrisikosystem Artikel 111 (Übergangsbestimmungen) und 113 KI-VO (schrittweises in Kraft treten): Am 21. August 2024: Erlass der EU KI-VO. Ab 2. Februar 2025: * Kapitel I: Allgemeine Bestimmungen. * Kapitel II: Verbotene Praktiken. Ab 2. August 2025: * Kapitel III: Hochrisiko-KI: Abschnitt 4: Notifizierende Behörden und notifizierte Stellen. * Kapitel V: GPAI (generative KI). Ausnahme: Art. 111 KI-VO für unterschiedliche Integrations- und Komplexitätstiefen * Kapitel VII: Governance. * Kapitel XII: Sanktionen (ohne Art. 101: Geldbußen für Anbieter von GPAI). * Kapitel IX: Beobachtung nach dem Inverkehrbringen, Informationsaustausch und Marktüberwachung: Abschnitt 3: Durchsetzung: Art. 78: Vertraulichkeit. Ab 2. August 2027: * Kapitel III: Hochrisiko-KI: Art. 6 Abs. 1 und entsprechende Pflichten. Datenqualität i.S.d. KI-VO Die KI-VO Die wichtigsten Anforderungen an die Datenqualität gem. Art 10 KI-VO sind: • Relevanz, Repräsentativität, Fehlerfreiheit und Vollständigkeit der Daten (Was ist der Goldstandard) • Minimierung von Verzerrungen (BIAS), um diskriminierende Ergebnisse zu vermeiden • Dokumentation und Nachvollziehbarkeit der Datenquellen • Einhaltung von Datenschutzgesetzen und Datensicherheit (Anonymisierung, realistische Maskierung) • Kontinuierliche Überwachung und Anpassung im Lebenszyklus des KI-Systems Friedrich-Alexander-Universität Erlangen-Nürnberg 12 Unsere Forschungsprojekte bauen aufeinander auf Unsere Forschungsprojekte an der FAU 15 Friedrich-Alexander-Universität Erlangen-Nürnberg LeAK I/II (2022) autom. Anonymisierung von AG Urteilen in Miet- und Verkehrsrecht (BayStMJ) AnGer (2025) zusätz. semi- autom. realist. Maskierung von Urteilen verschiedenster Rechtsgebiete und Instanzen (BMBF) RAGE autom. Erkennung und Herausnahme von Verzerrungen (BIAS) i.S.d. KI- VO in Texten (nur geplant) DIREGA Erforschung der Leistungsfähigkeit möglicher (hybrider) KI-Systeme für die Justiz (BNotK) ZIEL: Künftige Hochrisiko- KI- Systeme können die KI-VO erfüllen bzgl. Genauigkeit, Robustheit, Dokumentierbarkeit VERFÜGBARMACHUNG von anonymen, realistisch maskierten verzerrungs- /diskriminierungsfreien Texten als Trainingsdaten mit KI-VO Datenqualität KI-Hochrisikosysteme in der Justiz Rechtsbegriffe müssen auch technisch ausgelegt werden Die EU-KI-VO • „Zweckbestimmung“ (Art. 8 II, Art. 3 Nr. 12) verlangt, (nur) die Verwendung, für die ein KI- System laut Anbieter bestimmt ist Art 3 XII: „…„Zweckbestimmung“ die Verwendung, für die ein KI-System laut Anbieter bestimmt ist, einschließlich der besonderen Umstände und Bedingungen für die Verwendung, entsprechend den vom Anbieter bereitgestellten Informationen in den Betriebsanleitungen, im Werbe- oder Verkaufsmaterial und in diesbezüglichen Erklärungen sowie in der technischen Dokumentation;“ • „Genauigkeit“ verlangt Angabe und Transparenz von Genauigkeitskennzahlen • „Robustheit“ verlangt Widerstandsfähigkeit gegenüber Risiken im Zusammenhang mit den Systemgrenzen Art 15 I, III: „ (1) Hochrisiko-KI-Systeme werden so konzipiert und entwickelt, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und in dieser Hinsicht während ihres gesamten Lebenszyklus beständig funktionieren… (3) Die Maße an Genauigkeit und die relevanten Genauigkeitsmetriken von Hochrisiko- KI-Systemen werden in den ihnen beigefügten Betriebsanleitungen angegeben.“ Friedrich-Alexander-Universität Erlangen-Nürnberg 17 müssen an Hand der EU-KI-VO in spezifischer Weise beurteilt werden KI-Projekte in der Justiz 18 Friedrich-Alexander-Universität Erlangen-Nürnberg z.B. • Frauke • OLGA • JUKION (Codefy+KI) • JANO • PfüB-KI • …. Perplexity-Abfrage am 4.9.2025: „Für das KI-System FRAUKE werden in der verfügbaren Fachliteratur und den Berichten keine spezifischen exakten Metriken zur Messung der Genauigkeit (wie z. B. Accuracy, Precision oder Recall) öffentlich angegeben. Allerdings ist bekannt, dass die Bewertung der Genauigkeit bei KI-Systemen im Justizbereich typischerweise mit standardisierten Maschinenlern-Performance-Metriken erfolgt, wie sie etwa im Bereich KI-Sicherheit und bei anderen KI- Anwendungen verwendet werden“ - Künstliche Intelligenz auf dem Prüfstand: Anforderungen ... https://pmc.ncbi.nlm.nih.gov/articles/PMC12287159/ - Maschinelles Lernen – Metriken als Gradmesser für KI ... https://safe-intelligence.fraunhofer.de/artikel/maschinelles- lernen-metriken-als-gradmesser-fuer-ki-sicherheit-reicht-das-aus Zweckbestimmung am Beispiel unserer Anonymisierungsprojekte: Anonymisierung einer bestimmten Textsorte Zweckbestimmung i.S.d. EU-KI-VO 20 Friedrich-Alexander-Universität Erlangen-Nürnberg KI-VO erfordert, ein KI-System nur zu dem Zweck einzusetzen, zu dem es laut Anbieter bestimmt ist: • Unser KI-System (LeAK 2022) wurde entwickelt, um Texte automatisch zu anonymisieren Es geht nur um Anonymisierung = Erkennung datenschutzrelevanter Textstellen • Unser KI-System (LeAK 2022) wurde nur auf Amtsgerichtsurteilen trainiert • Die Trainingsdaten bestanden nur aus Urteilen zum Wohnraummietrecht und Verkehrsrecht Nur das LeAK 2022-Modell wurde durch die Justiz in ALeKS integriert. Im Projekt „50K“ (https://www.lto.de/recht/justiz/j/anonymisierung-gerichtsentscheidungen-per-ki-bayern-aleks-anonymisierung) werden auch Urteile anderer Instanzen und Rechtsgebiete bearbeitet. Die Kompensation des Recall-Verlustes soll durch „human in the loop“ erfolgen. Genauigkeit Recall und Precision am Beispiel unserer Anonymisierungsprojekte Genauigkeit i.S.d. EU-KI-VO 22 Friedrich-Alexander-Universität Erlangen-Nürnberg Art. 15 verlangt Angabe von Genauigkeitskennzahlen für ein eingesetztes KI-System • Genauigkeit = Wie oft trifft das System richtige Entscheidungen? Wie bestimmt man Genauigkeit? Was sind „richtige“ Entscheidungen? • System zum Zweck der Anonymisierung: alle kritischen Textstellen müssen maskiert werden ➞Recall keine Textstellen sollen unnötig maskiert werden ➞Precision • Berechnung durch Evaluation gegenüber manuell annotiertem Goldstandard • Was soll gezählt werden: Token? ganze Textstellen? Texte mit Anonymisierungsfehlern? Bestimmung von Recall und Precision Genauigkeit i.S.d. EU-KI-VO 23 Friedrich-Alexander-Universität Erlangen-Nürnberg https://mapa-demo.pangeamt.com/mapa/1.0/anonymization/model_showcase true positive (TP) false positive (FP) partial match false negative (FN) 𝑹= TP TP + FN 𝑷= TP TP + FP für ein System zur vollautomatischen Anonymisierung von hochsensiblen Texten Anforderungen an die Bestimmung von Genauigkeit 25 Friedrich-Alexander-Universität Erlangen-Nürnberg Anwendungsspezifische Anforderungen an die Evaluation: • Evaluation auf Ebene ganzer Textstellen (ein nicht maskiertes Token genügt!) • Recall wichtiger als Precision (➞F-Score kein nützliches Maß) • anzustreben ist extrem hoher Recall > 99% für direkte Identifikatoren (PII) ➞immer noch mindestens 10.000 Anonymisierungsfehler in 1 Mio Urteile! • Anforderungen an sonstige identifizierende Merkmale nicht offensichtlich, erforden eine Abschätzung des Deanonymisierungsrisikos (➞AnGer) • höchste Anforderungen an Qualität des Goldstandards, um Recall > 99% zu messen (muss praktisch fehlerfrei sein ≠ computerlinguistische Goldstandards < 97%) • Was ist mit teilweise erkannten Textstellen? Standard: strenge Evaluation akzeptiert nur exakt erkannte Textstellen CLUEval: entscheidend für Recall ist, ob alle kritischen Token einer Textstelle maskiert werden (auch wenn z.B. in zwei Textstellen zerlegt) – und analog für Precision LeAK 2022++ (im Rahmen von AnGer optimiertes LeAK-Modell) Evaluation: AG-Urteile im Miet- und Verkehrsrecht 26 Friedrich-Alexander-Universität Erlangen-Nürnberg • XLM-RoBERTa Large (Conneau et al. 2019) mit 500 M Parametern, vortrainiert auf 2,5 TB Webdaten • Finetuning für die Erkennung von Textstellen (span identification per BIO-Tagging) über ~10 Epochen • Lernrate optimiert mittels Grid Search (auf Development-Daten) • Multitask-Modell zur Erkennung von Textstelle + Informationskategorie + Risikoniveau • 50% Trainingsdaten, 25% Development-Daten, 25% Testdaten Rechtsgebiet Precision Recall Recall (PII) Mietrecht 97.04% 96.05% 98.90% Verkehrsrecht 97.41% 97.38% 99.11% Gesamtergebnis 97.25% 96.79% 99.03% Robustheit Recall und Precision am B