Das TAR 1 Referenzmodell: Was das neue Framework der Sedona Conference für die GenAI-Review bedeutet

Im März 2024 veröffentlichte die Sedona Conference ein Whitepaper, das die Denkweise von Praktikern über KI-gestützte Reviews im Stillen grundlegend verändert hat. Das von Tara Emory, Jeremy Pickens und Wilzette Louis von Redgrave Data verfasste „TAR 1 Reference Model“ argumentiert, dass generative KI überhaupt kein neues Framework für Reviews erfordert. Sie fügt sich nahtlos in denselben rechtssicheren Prozess ein, auf den sich Prozessabteilungen (Litigation Teams) seit über einem Jahrzehnt verlassen. Diese These ist heute noch bedeutender als zum Zeitpunkt der Veröffentlichung des Papers, da GenAI-Review-Tools in den Support-Abteilungen für Rechtsstreitigkeiten in ganz Kanada und darüber hinaus von Pilotprojekten in den täglichen Einsatz übergegangen sind. Das Verständnis des Referenzmodells liefert Ihrem Team ein gemeinsames Vokabular, um jedes GenAI-Review-Tool – einschließlich Claira – anhand eines Standards zu bewerten, den Gerichte und Gegenanwälte bereits anerkennen.

Was TAR 1 eigentlich ist

Technology-Assisted Review, oder TAR, wurde vor über einem Jahrzehnt von Maura Grossman und Gordon Cormack als ein Prozess definiert, bei dem Fachexperten ein computergestütztes System trainieren, dessen Bewertungen dann auf einen gesamten Dokumentenbestand hochgerechnet werden. TAR 1 ist der spezifische Workflow innerhalb dieser breiteren Kategorie, der für die erste Durchsicht (First-Pass Review) am relevantesten ist. Es erstellt ein prädiktives Modell und wendet dieses Modell an, um einen gesamten Bestand als relevant (responsive) oder nicht relevant zu klassifizieren. Historisch gesehen basierte TAR 1 auf diskriminativen Algorithmen für maschinelles Lernen wie Support Vector Machines oder logistischen Regressionsklassifikatoren, die mit Tausenden von manuell codierten Beispielen trainiert wurden. Die zentrale Erkenntnis des Sedona-Papers ist, dass ein Large Language Model, wenn es richtig instruiert (gepromptet) wird, ebenfalls als überwachter Klassifikator fungiert. Die Engine ändert sich. Das Gefährt – sprich der gesamte TAR-1-Prozess – bleibt gleich.

Diese Unterscheidung ist keineswegs akademisch. Sie bedeutet, dass die Review-Protokolle, Argumente zur Rechtssicherheit und Qualitätsmetriken, die Ihr Team bereits für TAR 1 etabliert hat, für generative KI nicht neu erfunden werden müssen. Sie müssen lediglich konsequent auf eine neue Art von Engine angewendet werden.

Die fünf Schritte des Referenzmodells

Das Paper beschreibt fünf Schritte, die unabhängig davon gelten, welcher prädiktive Algorithmus zugrunde liegt: Definition des Untersuchungsumfangs (Scope), Erstellung des Kontrollsatzes (Label Control Set), Modell-Iteration (Iterate Model), Klassifizierung (Classify) und Validierung (Validate). Scope bedeutet, den Dokumentenbestand zusammenzustellen und die Grenzen der Relevanz durch Anwälte definieren zu lassen, bevor die Klassifizierung beginnt. Control Set bedeutet, eine Zufallsstichprobe zu ziehen, diese manuell zu prüfen und sie als unabhängigen Benchmark beiseite zu legen, mit dem das Modell niemals trainiert wird. Die Modell-Iteration ist der Ort, an dem die eigentliche Arbeit stattfindet: Auswahl zusätzlicher Trainingsbeispiele, Kodierung dieser Informationen in das Modell oder den Prompt, Anwendung der aktualisierten Version auf das Control Set und Bewertung, ob sich Präzision (Precision) und Trefferquote (Recall) ausreichend verbessert haben, um eine weitere Runde zu rechtfertigen. Classify wendet das fertige Modell auf den gesamten, noch nicht klassifizierten Bestand an. Validate – ein Schritt, den das Paper als optional, aber zu selten genutzt bezeichnet – nimmt eine abschließende Stichprobe des klassifizierten Outputs vor, um zu bestätigen, dass die Hochrechnung korrekt war.

Was sich zwischen diskriminativem TAR 1 und GenAI TAR 1 unterscheidet, liegt ausschließlich im Schritt der Modell-Iteration. Diskriminative Systeme lernen aus gelabelten Beispielen, die direkt in einen Algorithmus eingespeist werden. GenAI-Systeme lernen aus einem Prompt, den ein Mensch in natürlicher Sprache schreibt, testet und verfeinert. Die Sedona-Autoren weisen ausdrücklich darauf hin, dass die Person, die den Prompt verfasst, eine andere sein sollte als diejenige, die das Control Set geprüft hat. So bleibt das Control Set ein unvoreingenommenes Prüfinstrument für das Modell und wird nicht zu einer Quelle vorab bekannter Antworten. Es lohnt sich, diese Aufgabentrennung in Ihre eigenen Review-Protokolle zu integrieren, unabhängig davon, welche Engine Sie verwenden.

Wo GenAI die Abwägungen verändert

Das Paper geht offen mit den Aspekten um, die noch unbewiesen sind. Diskriminatives TAR 1 liefert fein abgestufte Scores, wodurch ein Review-Team den Cut-off-Punkt, der Recall und Precision ausbalanciert, mit einer gewissen Präzision wählen kann. GenAI TAR 1 klassifiziert oft in gröberen Abstufungen. Dies kann dazu zwingen, sich entweder für einen Cut-off mit sehr hohem Recall und niedriger Precision oder umgekehrt zu entscheiden, mit nur wenig Spielraum dazwischen. Zudem ist GenAI derzeit pro geprüftem Dokument teurer und läuft langsamer als diskriminative Modelle, obwohl die Autoren erwarten, dass sich beide Lücken schließen werden. Was GenAI im Gegenzug bietet, ist Flexibilität: Derselbe Durchgang, der ein Dokument als relevant markiert, kann auch Privilegierungsrisiken erkennen, Schlüsseldaten extrahieren oder Inhalte zusammenfassen – Aufgaben, die früher völlig separate Workflows erforderten.

Für Litigation-Support-Teams ist dies die praktische Frage, bei deren Beantwortung das Referenzmodell hilft: Nicht, ob ein GenAI-Review im Prinzip rechtssicher ist, sondern ob ein bestimmtes Tool die TAR-1-Schritte präzise genug implementiert, um sie in der Praxis rechtssicher zu machen. Ein Tool, das Control Sets überspringt, Trainingsdaten mit dem Produktionsbestand vermischt oder den Scope der Relevanz nicht abbilden kann, bietet kein GenAI TAR 1. Es bietet eine unüberwachte Abkürzung, die sich lediglich mit der Terminologie von TAR 1 schmückt.

Was das für Praktiker bedeutet

Claira wurde unter der Prämisse entwickelt, dass das Referenzmodell zum Standard und nicht zur Ausnahme wird. Jede Entscheidung über den Scope in einem Fall beginnt mit dem Case Context. Hier definiert Ihr Team den Hintergrund, die Streitfragen und die Relevanzkriterien, auf die es im Verfahren ankommt – genau die Arbeit, die das Sedona-Paper als Scope-Schritt beschreibt. Dieser Kontext zieht sich durch jeden folgenden Durchgang, sodass die Definition von Relevanz genau so stabil bleibt, wie es das Referenzmodell verlangt, anstatt sich im Laufe des Reviews zu verändern. Wenn es an der Zeit ist, diese Definition auf den gesamten Dokumentensatz anzuwenden – sei es durch objektive Codierung oder einen Massendurchlauf zur Relevanzkennzeichnung –, lassen sich die zugrunde liegenden Schritte direkt auf Classify und, sofern sich das Team dafür entscheidet, Validate abbilden.

Wir haben bereits darüber geschrieben, wie die Prinzipien von Sedona Canada die Erwartungen an einen rechtssicheren KI-Review-Prozess in Kanada prägen. Dieses Referenzmodell gibt dieser Erwartung eine konkrete Form. Verhältnismäßigkeit und Kooperation lassen sich leichter nachweisen, wenn Ihr Workflow für jede Phase des Prozesses – von der ersten Definition des Untersuchungsumfangs bis zur abschließenden Validierung – auf einen benannten, gut dokumentierten Schritt verweisen kann.

Die wichtigste Botschaft des Sedona-Papers ist eher beruhigend als beunruhigend. Generative KI verlangt von Litigation-Support-Teams nicht, die Frameworks über Bord zu werfen, die TAR jahrelang rechtssicher gemacht haben. Sie fordert sie auf, GenAI-Tools an genau denselben Standards zu messen und jedem Tool gegenüber skeptisch zu sein, das seine Arbeit nicht in jedem der fünf Schritte offenlegen kann. Wenn Ihr Team evaluiert, wie ein präziser GenAI TAR 1-Workflow in Nuix Discover aussehen sollte, buchen Sie eine Demo mit unserem Team. Wir zeigen Ihnen gerne, wie Claira jeden Schritt des Referenzmodells abbildet – Control Sets eingeschlossen.