Dynamiq und IBM watsonx Orchestrate entwickeln einen kostenbewussten Workflow für juristische Recherche bei einem europäischen Versicherungskunden; Vertragsprüfung halbiert, Klauselidentifikation 2 Minuten
Wie Dynamiq mit IBM watsonx einen kostenbewussten Workflow für die juristische Recherche aufgebaut hat
IBM watsonx Orchestrate hat einen eigenständigen Multi-Agent-Workflow zu einer unternehmensweiten Funktion ausgebaut und dazu beigetragen, die Zeit für die Prüfung von Rechtsverträgen um die Hälfte zu verkürzen. Von Rechtsabteilungen wird erwartet, dass sie zeitnah fundierte Antworten zu Verträgen, Richtlinien und Compliance-Fragen liefern. Das Dokumentenvolumen nimmt jedoch stetig zu, während das Unternehmen zunehmend fast sofortige Reaktionszeiten erwartet. Dies war das Hauptproblem eines europäischen Versicherungskunden, der mit dem IBM-Partner Dynamiq zusammenarbeitete. Um diese Herausforderung zu bewältigen, nutzte der IBM-Partner Dynamiq IBM watsonx, um eine technische Lösung für ein Problem zu bieten, das durch zahlreiche unstrukturierte Informationen, Übergaben und einen hohen manuellen Aufwand bei der Überprüfung entstanden war. Dynamiq implementierte ein System zur Unterstützung der Zusammenfassung mehrerer Vertragsdokumente, von Fragen und Antworten zu Richtlinien, Wettbewerbsanalysen und Compliance-Prüfungen über verschiedene Rechtsordnungen hinweg. Die daraus resultierende Architektur verband Koordinierung, kostengünstige Anfrageklassifizierung und eingehende Recherche, wodurch die Zeit für die Vertragsprüfung von 90 Minuten auf 45 Minuten und die Bearbeitungszeit für geschäftliche Anfragen von zwei Tagen auf eine Stunde verkürzt werden konnte. Darüber hinaus beschleunigte sie die Klauselidentifizierung – also den Prozess des Auffindens und Extrahierens spezifischer Bestimmungen, Verpflichtungen oder Bedingungen, die in langwierigen Verträgen verborgen sind – von 20 Minuten auf zwei Minuten. Im Rechtswesen kommt es auf diese Schnelligkeit an. Das ist wichtig, weil schon eine einzige übersehene Klausel Auswirkungen auf die Haftung, Zahlungsbedingungen oder Compliance-Verpflichtungen haben kann und Anwälte häufig unter hohem Zeitdruck Dutzende von Klauseln in verschiedenen Verträgen vergleichen müssen. Der Kunde benötigte einen einzigen Workflow für juristische Aufgaben, die sich normalerweise über verschiedene, voneinander getrennte Tools und manuelle Überprüfungen erstrecken. Dieser musste mehrere Verträge zusammenfassen, Fragen zur Richtlinienkonformität anhand interner Vereinbarungen beantworten, interne Vertragstexte mit externen Quellen vergleichen und Compliance-Prüfungen über mehrere Rechtsordnungen hinweg durchführen. Das Ziel war klar: Rechtsabteilungen dabei zu unterstützen, dem Unternehmen schneller fundiertere Entscheidungen zu liefern, ohne die Kosten zu erhöhen. Was die Herausforderung zusätzlich erschwerte, waren strenge funktionale Anforderungen. Das System musste streng kostenoptimiert bleiben. Es musste die Aufgaben über einen agentenbasierten, aber teilweise deterministischen Ablauf leiten, wobei der Klassifizierungsagent alle Anfragen kategorisieren musste (siehe Diagramm) und die vollständige Rückverfolgbarkeit über jeden Schlussfolgerungs- und Tool-Schritt hinweg gewährleistet sein musste. Zudem musste es in die bestehende Such- und Dokumenteninfrastruktur integriert werden und die Ausführung von Anfragen in weniger als vier Minuten abschließen. Das System musste zudem mit proprietären Repositorien für Rechtsdokumente, externen Rechtsrecherchen über EXA sowie Zugriffskontrollen, die den SOC-2-Anforderungen entsprechen, kompatibel sein. Die Kombination dieser Einschränkungen macht aus einer Demo eine Herausforderung für den Produktiveinsatz. Für die Endnutzer zeigte sich der Nutzen der Lösung von Dynamiq sofort. Anwälte können nun von der manuellen Suche nach Klauseln und dem Vergleich mehrerer Dokumente zu strukturierten, mit Quellenangaben versehenen Ergebnissen übergehen. Die Stakeholder in den Unternehmen erhielten schneller Antworten. Aus Sicht der Gesamtbetriebskosten (TCO) besteht die wesentliche Veränderung darin, dass aufwendige Schlussfolgerungen nur noch für die Fragen reserviert sind, die dies erfordern, anstatt einheitlich auf jede Anfrage angewendet zu werden. Im Mittelpunkt des Konzepts steht ein dreiteiliges System: ein Orchestrator, ein kostengünstiger Agent zur Klassifizierung juristischer Anfragen und ein fortschrittlicher Agent für die juristische Recherche. Jede Komponente hat eine eigene Rolle und ein eigenes Kostenprofil, wodurch der gesamte Workflow sowohl praxisnah als auch skalierbar bleibt. Der Orchestrator trägt dazu bei, dass die kostengünstigste Wahl des Agenten getroffen wird. Der Klassifizierer bietet eine schnelle und kosteneffiziente Triage, empfohlene Weiterleitung und Beantwortung einfacher Anfragen. Der Forschungsagent konzentriert sich auf fortgeschrittene juristische Recherchen, jedoch nur, wenn dies vom Klassifizierungs-Agenten empfohlen wird. Dynamiq hat einen Orchestrierungsagenten entwickelt, der eine Route festlegt, Muster bestimmt und synthetisiert. Er leitet jede Anfrage an den Klassifikator weiter, bevor er direkt antwortet, und entscheidet dann, ob der kostengünstigere Pfad ausreicht oder ob die Anfrage eskaliert werden sollte. Außerdem überwacht er den Token-Verbrauch während des gesamten Laufs und wendet Budgetkontrollen auf zwei Arten an. Zunächst fordert er den Forschungsagent auf, Annahmen zu bestätigen, wenn der Klassifikator eine Inferenzanfrage mit geringer Konfidenz und hohen Kosten erkennt. Anschließend wird die Anzahl der Forschungstoken pro Schritt streng begrenzt, sobald die Kosten stark ansteigen, wobei bei Bedarf eine eingeschränkte Zusammenfassung und eine Kontrollabfrage („Weiter?“) ausgegeben werden. Der Orchestrator leitet Phrasen wie „unsere Bedingungen“, „meine Verträge“ und „interne Richtlinien“ standardmäßig an interne Abfragen weiter. Bei der Ermittlung des besten Modells für den Orchestrator stellte das Team fest, dass Claude 4 Sonnet und GPT-5 zwar relativ leistungsfähig, jedoch auch langsamer und mit relativ hohen Inferenzkosten verbunden waren. Das Team entschied sich für Grok-4-fast, da dieses Modell im Vergleich zu kostspieligeren Optionen das erforderliche Gleichgewicht zwischen Geschwindigkeit, Kosten und Qualität bot. Der Klassifizierungsagent für Rechtsanfragen (in der Abbildung als „Agent 1“ bezeichnet) ist für eine schnelle und kostengünstige Vorab-Einstufung konzipiert. Er nutzt IBM Granite 4 Small als erste Anlaufstelle für jede Anfrage und liefert strukturierte Ergebnisse in sechs Bereichen: Komplexität, Datenquellen, Aufgabentyp, Begründung, Empfehlung und Konfidenz. Diese Ausgabe bestimmt, ob das System lokal bleibt, an den Forschungsagenten weitergeleitet wird oder einen hybriden Weg einschlägt. Sie bestimmt auch, ob externe Aufrufe zulässig sind. Wenn der Klassifikator eine Anfrage als „INTERNAL_ONLY“ kennzeichnet, wird der Zugriff auf EXA deaktiviert. Das deterministische Routing bietet Teams eine vorhersehbare Möglichkeit, kostengünstige Aufgaben von aufwendigeren Aufgaben zu trennen, bevor der Workflow weitere Token verbraucht. Einfache Abfragen umfassen rechtliche Definitionen, unkomplizierte Fragen zu Richtlinien und Statusabfragen. Mäßig komplexe Anfragen erfordern unter Umständen den Einsatz des Recherche-Agenten für Erläuterungen zu Vertragsbedingungen, die Analyse einzelner Dokumente und grundlegende Compliance-Prüfungen. Komplexe Anfragen erfordern eine Eskalation für vergleichende Dokumentenanalysen, Compliance-Bewertungen auf Klauseleebene, Rechtsrecherchen aus mehreren Quellen und aufwendigere juristische Argumentationsaufgaben. Tatsächlich fungiert der Klassifikator sowohl als Routing-Ebene als auch als Ebene zur Kostenkontrolle. Granite 4 Small bot ein etwa dreimal besseres Preis-Leistungs-Verhältnis und eine etwa dreimal höhere Kosteneffizienz als das Grok-4-fast-Modell, das an anderer Stelle im System verwendet wurde. Der erweiterte Rechtsrechercheagent (im vorstehenden Diagramm als „Agent 2“ bezeichnet) übernimmt die komplexeren semantischen Aufgaben und wird nur dann aktiviert, wenn der Klassifikator einen EXTERNAL_ONLY- oder HYBRID-Pfad empfiehlt. Der auf Grok basierende Forschungsagent übernimmt die Suche mit mehreren Tools und anspruchsvollere Schlussfolgerungen. Er ist mit einem auf Milvus aufbauenden RAG-Subsystem (Retrieval-Augmented Generation) für die firmeneigenen Rechtsdokumente des Kunden verbunden. Für den Kontext in Bezug auf öffentliches Recht und Rechtsprechung ist der Subagent mit EXA verbunden. Der Forschungsagent liefert vier wesentliche Ergebnisse: Jede Antwort umfasst eine Zusammenfassung, eine detaillierte Analyse, Empfehlungen, Quellenangaben sowie eine Risikobewertung, die Unklarheiten, Widersprüche, veraltete Verweise und Lücken in der Abdeckung aufzeigen kann. Wenn das System widersprüchliche Fakten erkennt, macht es den Widerspruch durch nebeneinander angeordnete Zitate deutlich. Wenn die ersten Suchergebnisse in Milvus und EXA unzureichend sind, greift der Agent auf allgemeinere Einbettungen oder kuratierte Suchanfragen zurück und protokolliert ein „coverage_gap“-Flag. Um den Anforderungen des Kunden hinsichtlich vollständiger Rückverfolgbarkeit gerecht zu werden, nutzt die Laufzeitumgebung einen auf XML basierenden ReAct-Inferenzmodus, um den Regel-, Aktions- und Beobachtungszyklus einheitlich und für das Debugging zugänglich zu halten. Diese Struktur erstellt detaillierte Schrittprotokolle – detaillierte, mit Zeitstempeln versehene Aufzeichnungen jeder Regelentscheidung, jedes Tool-Aufrufs und jeder Modellantwort, die während eines einzelnen Workflow-Durchlaufs auftreten. Zudem ermöglicht sie klarere Nachanalysen über den Manager, die Agenten, die Tools und die Foundation Models hinweg. Außerdem gewährleistet sie Transparenz darüber, wie das Multi-Agenten-System Prompts und Antworten mit watsonx Orchestrate austauscht, wenn der Workflow über die API ausgelöst wird. Zur Nachvollziehbarkeit werden Modell- und Einbettungsversionen zusammen mit jedem Trace gespeichert. Bei der Erstellung des Multi-Agenten-Systems importierte Dynamiq dieses über die API als externen Agenten in IBM watsonx Orchestrate, wobei ein Bearer-Token und eine von der Dynamiq-Plattform generierte Service-Instanz-URL verwendet wurden. Das Team entschied sich für watsonx Orchestrate, da es einen eigenständigen Multi-Agent-Workflow in eine unternehmensweite Funktion verwandelt. Anstatt den Zugriff auf eine einzige Schnittstelle zu beschränken, ermöglicht Orchestrate jedem autorisierten Benutzer, den Forschungsagenten über den Chat aufzurufen. Darüber hinaus können Benutzer diesen Agenten gemeinsam mit Agenten koordinieren, die mit Systemen wie SAP, Salesforce und ServiceNow verbunden sind. Darüber hinaus bietet es einen regulierten Katalog, in dem der Agent als vollwertiges Tool erscheint, sodass IT- und Compliance-Teams weiterhin den Überblick behalten. Die Teams können sehen, welche Anwendungen ausgeführt werden, wer sie nutzt und wie sie mit dem übrigen Unternehmens-Stack verbunden sind – ohne dass Dynamiq die Integrationslogik neu erstellen muss. Die Lösung geht auf drei zentrale Herausforderungen bei der Wartung und Skalierung von KI-Agenten ein. Erstens optimiert das Multi-Agenten-System die Kosten mithilfe von IBM Granite 4 Small. Routinemäßige juristische Triage beansprucht keine kostenintensiven Ressourcen für die Schlussfolgerungsfindung. Zweitens kann das Rechtsteam im gesamten Unternehmen das Agentensystem mithilfe von IBM watsonx Orchestrate mit einer Benutzeroberfläche seiner Wahl nutzen. Schließlich bietet die Gesamtarchitektur des Agentensystems die Flexibilität, bei der Umstellung auf den Produktivbetrieb sowohl in der Cloud als auch vor Ort bereitgestellt zu werden. Bei diesem Anwendungsfall geht es nicht nur darum, rechtliche Fragen schneller zu beantworten. Es geht darum, diese Antworten vertrauenswürdiger zu machen und ihre Bereitstellung in großem Maßstab kostengünstiger zu gestalten. Der Workflow bewahrt die Zitationsgrenzen zwischen internen und externen Quellen, protokolliert