Durchführung einer groß angelegten KI-Überprüfung

Dieser Leitfaden führt Sie durch die Strategie, die Sequenzierung und die Ermessensentscheidungen, die mit der Durchführung einer groß angelegten, KI-gestützten Dokumentenprüfung in Claira verbunden sind. Er wurde für Rechtsteams verfasst, die kurz davor stehen, Zehn- oder Hunderttausende von Dokumenten mittels KI zu prüfen, und dies rechtssicher, effizient und ohne Überraschungen tun wollen.

Die Kernidee dabei: Eine KI-Prüfung ist keine größere, schnellere Keyword-Suche. Sie ähnelt eher der Delegation eigenverantwortlicher Arbeit an einen gut informierten jüngeren Kollegen – mit dem Unterschied, dass dieser Kollege 10.000 Dokumente pro Stunde lesen kann, niemals müde wird und lückenlos dokumentiert, was er getan hat und warum. Ihre Aufgabe verlagert sich von der eigentlichen Dokumentenprüfung hin zur präzisen Instruktion, zur Validierung der Ergebnisse und zur Ausübung der abschließenden Beurteilung, die in das endgültige Produktionsfeld einfließt.

1. Der Wandel der Denkweise

Befreien Sie Ihr Team vor allem anderen von der klassischen Booleschen oder suchbegriffbasierten Denkweise.

Traditionelle Datenbankabfragen sind algorithmisch und facettiert: Man muss an jede Schreibweise, jede Namensvariante, jede Art und Weise, wie ein Produkt oder eine Person referenziert werden könnte, denken, gewichtet nach Metadaten wie Empfängeranzahl oder Datumsbereichen. Diese Arbeit ist nicht mehr notwendig. Das LLM verarbeitet sprachliche Variabilität von Natur aus – Rechtschreibung, Übersetzungen, Tippfehler, Namensvariationen, Synonyme. Sie müssen keine Liste mit jeder erdenklichen Formulierung erstellen, wie „der Vertrag“ in 200.000 Dokumenten vorkommen könnte.

An die Stelle dieser Arbeit tritt die Instruktion in natürlicher Sprache. Sie erklären dem Modell, worum es in dem Fall geht und was Sie wissen möchten – genau so, wie Sie es einem Referendar bei einer Tasse Kaffee erklären würden. Die Qualität der Prüfung wird nun durch die Qualität dieses Briefings bestimmt, nicht durch die Raffinesse Ihrer Suchsyntax.

Dies ist die größte Umstellung für erfahrene eDiscovery-Spezialisten. Vertrauen Sie dem Modell bei sprachlichen Variabilitäten. Konzentrieren Sie Ihre Energie stattdessen auf Kontext und Instruktion.

2. Zwei Ebenen der Abgrenzung

Jede KI-Prüfung hat zwei Ebenen der Abgrenzung. Halten Sie diese in Ihrem Kopf strikt auseinander.

Ebene 1 – die Aufgabe. Was soll mit dieser Prüfung festgestellt werden? Was sind die Kernfragen? Wer sind die relevanten Personen? Wie lautet die Sachverhaltstheorie? Dies muss vom Rechtsteam kommen. Niemand sonst kann es formulieren.

Ebene 2 – das Ergebnis. In welchem Format sollen die Antworten vorliegen – Ja/Nein-Flags pro Frage, Begründungen im Freitext, strukturierte Felder, Zusammenfassungen? Dies ist rein technischer Natur und wird von Claira übernommen. Das Ziel ist ein Ergebnis, das sich leicht validieren, filtern und ohne erneuten KI-Durchlauf direkt in die Produktionsfelder übertragen lässt.

Sie kümmern sich um Ebene 1. Claira kümmert sich um Ebene 2.

3. Vorbereitung vor dem Projektstart

Bevor Sie das Abonnement aktivieren und mit der Erstellung von Prompts beginnen, bereiten Sie drei Grundlagen vor.

3.1 Der Fallkontext

Dies ist eine schriftliche Zusammenfassung des Sachverhalts. Sie muss weder feingeschliffen sein noch einer bestimmten Vorlage folgen. Betrachten Sie sie als das Briefing-Memo, das Sie einem neuen Anwalt geben würden, der an dem Fall mitarbeitet. Es sollte Folgendes enthalten:

• Eine kurze Sachverhaltsschilderung des Streits oder der Untersuchung

• Den relevanten Zeitraum

• Die wesentlichen Anschuldigungen oder Kernfragen

• Die Argumentationslinie der Klage oder Verteidigung, sofern relevant

• Wichtige Akteure, Produkte, Projekte oder Systeme, die in den Dokumenten erwähnt werden

Sie können dies aus Schriftsätzen ableiten, allerdings sind Schriftsätze oft ungeeignetes Ausgangsmaterial – zu prozessual, zu sehr auf das Wesentliche reduziert. Ein internes Briefing-Memo, eine Fallzusammenfassung oder ein Strategiepapier ist in der Regel besser geeignet. Wenn Sie bereits ein solches Dokument für die Akte erstellt haben, ist das Ihr Ausgangspunkt.

Claira führt diesen rohen Kontext durch einen strukturierten Extraktionsschritt, um ein Fallkontext-Objekt zu erstellen – eine saubere Aufschlüsselung von Fragen und Personen, die das Modell bei jedem folgenden Prompt verwendet. Sie können dieses strukturierte Ergebnis einsehen und bestätigen, bevor eine Prüfung startet. Dies ist die erste Plausibilitätsprüfung.

3.2 Die Fragen

Listen Sie jede Frage auf, die Sie in Bezug auf die Dokumente beantwortet haben möchten. Filtern Sie nicht vor, versuchen Sie nicht zu optimieren und fassen Sie keine Fragen zusammen, die Ihnen ähnlich erscheinen. Wenn Sie einem Team von Referendaren 30 oder 50 Fragen stellen würden, geben Sie uns genau diese 30 oder 50 Fragen.

Formulieren Sie diese in natürlicher Sprache, und zwar in der Sprache, die für Ihr Team am geläufigsten ist. Das Modell ist bei der Ein- und Ausgabe sprachunabhängig.

Claira analysiert die Fragenliste und empfiehlt, wie diese strukturiert werden sollten – welche kombiniert werden können, welche gestaffelt werden sollten und welche nur bei Dokumenten gestellt werden, die einen vorherigen Filter passiert haben. Diese Empfehlung hängt von der Art der Fragen ab. Daher ist eine vollständige Liste wichtiger als eine perfekt aufgeräumte.

3.3 Die Ausschlussliste

Identifizieren Sie alle Dokumentenordner, Dateninhaber, Quellsammlungen oder Dokumententypen, die das Team bedenkenlos gänzlich von der Prüfung ausschließen kann. Seien Sie hierbei eher zurückhaltend – der Durchsatz ist so hoch, dass eine breite Einbeziehung in der Regel die richtige Standardeinstellung ist –, aber es gibt fast immer Bereiche mit eindeutig irrelevantem Material, das nicht angefasst werden muss.

Diese Liste wird zusammen mit dem Kontext und den Fragen für die Prompt-Erstellung übergeben.

4. Erstellung des Prompts

Ein Claira-Prompt besteht aus dem Fallkontext plus der konkreten Frage. Der Fallkontext gilt für das gesamte Mandat; die Frage ist das, was sich je nach Aufgabe ändert. Zusammen sagen sie dem Modell: Darum geht es in dem Fall, und das sollst du bei diesem Dokument prüfen.

Claira erstellt und verfeinert den Prompt zunächst, insbesondere bei der ersten Prüfung eines Teams. Sie sehen jeden Prompt, jedes Kontextobjekt und jedes Ergebnis. Nichts bleibt verborgen.

Der Prompt liefert ein strukturiertes Ergebnis, das in dedizierte KI-Felder des jeweiligen Dokuments geschrieben wird – niemals direkt in das endgültige Relevanzfeld für die Produktion. Diese Trennung ist gewollt: Die Entscheidung der KI ist ein Input für Ihre Entscheidung, nicht die Entscheidung selbst. Die Übertragung von den KI-Feldern in die Produktionsfelder nehmen Sie nach der Qualitätskontrolle (QC) nach eigenem Ermessen per Massenaktualisierung vor.

Jedes Ergebnis enthält zudem eine kurze Begründung – ein Satz darüber, warum das Modell so geantwortet hat. Dies ist es, was eine schnelle Sichtung und Prüfung (Skim-Review) in großem Stil ermöglicht, und genau das sichert Ihre Argumentation ab.

5. Qualitätssicherung vor dem Hauptdurchlauf

Lassen Sie den Prompt beim ersten Erstellen nicht direkt auf den gesamten Dokumentenbestand los. Führen Sie ihn stattdessen für kleine Testmengen aus und prüfen Sie die Ergebnisse sorgfältig.

Das bewährte Vorgehen:

• Wählen Sie eine Stichprobe von Dokumenten aus, von denen Sie bereits wissen, dass sie die jeweiligen Kriterien erfüllen müssen – die offensichtlichen Fälle, die Sie auch mit einer einfachen Keyword-Suche finden würden.

• Lassen Sie den Prompt für 50 dieser Dokumente laufen.

• Prüfen Sie das Ergebnis.

• Lassen Sie weitere 50 Dokumente durchlaufen.

• Prüfen Sie das Ergebnis.

Dabei geht es nicht um statistische Repräsentativität. Sie prüfen vielmehr, ob das Modell die Anweisung so interpretiert, wie Sie es beabsichtigt haben. Wenn es zu viele Dokumente als relevant markiert (Over-Coding), weil die Anweisung zu vage war („jeder mit diesem Nachnamen“), oder zu wenige (Under-Coding), weil sie zu eng gefasst war, verfeinern Sie den Prompt und lassen ihn erneut laufen. Dies entspricht dem Moment, in dem ein Junganwalt mit den ersten Ergebnissen zu Ihnen zurückkehrt. Die meisten Prompts benötigen mindestens eine Überarbeitungsrunde, manche auch mehrere.

Bei einer hohen Vielfalt an Dokumententypen (E-Mails, Verträge, technische Spezifikationen, Excel-Tabellen) empfiehlt es sich, QA-Durchläufe pro Typ durchzuführen, um sicherzustellen, dass der Prompt über alle Formate hinweg funktioniert. Sie können sich dann dafür entscheiden, den Hauptdurchlauf in separate Segmente pro Dokumententyp aufzuteilen.

6. Der Hauptdurchlauf

Sobald die QA fehlerfrei ist, startet die vollständige Prüfung. Claira verarbeitet rund 10.000 Dokumente pro Stunde. Ein Bestand von 200.000 Dokumenten ist in weniger als einem Tag abgeschlossen.

Für die meisten Fälle empfiehlt Claira einen gestuften Workflow (Tiered Workflow), anstatt jedem Dokument jede Frage zu stellen. Das Prinzip:

1. Ein Prompt im ersten Durchgang trifft eine grobe Entscheidung: Hat dieses Dokument überhaupt einen Bezug zum Fall und zu welchem groben Themenbereich gehört es?

2. Dokumente, die diesen ersten Filter nicht bestehen, werden nicht mit den detaillierten Folgefragen belastet.

3. Dokumente, die den Filter bestehen, durchlaufen die nachgelagerten, detaillierteren Prompts.

Diese Staffelung hat zwei Vorteile: Sie konzentriert das Token-Budget auf potenziell relevante Dokumente und sorgt für sauberere Ergebnisse, da irrelevanten Dokumenten keine Fragen gestellt werden, auf die sie keine Antwort liefern können. Claira empfiehlt die optimale Strukturierung auf Basis Ihrer Fragenliste.

7. Qualitätskontrolle nach dem Durchlauf

Die Qualitätskontrolle (QC) unterscheidet sich bei einer KI-Prüfung grundlegend von der einer manuellen Prüfung durch Menschen.

Menschliche Reviewer machen zufällige Fehler – ein Reviewer bewertet anders als ein anderer, mangelnde Konzentration führt zu einer Fehlklassifizierung, Müdigkeit verzerrt die Ergebnisse im Laufe einer Arbeitswoche. Zufällige Fehler erfordern stichprobenartige Prüfungen, um sie aufzuspüren. Bei der traditionellen eDiscovery werden üblicherweise rund 350 Dokumente stichprobenartig geprüft, um die Fehlerquote auf 5 % oder 2,5 % zu begrenzen, unabhängig von der Gesamtgröße des Bestands (bis zu etwa 10 Millionen Dokumente).

KI-Systeme machen keine zufälligen Fehler. Sie machen systematische Fehler – war der Prompt in eine bestimmte Richtung missverständlich formuliert, wird das Modell jedes Grenzdokument auf die gleiche Weise falsch bewerten. Um das zu finden, benötigen Sie keine 350 zufälligen Dokumente. Sie benötigen eine geschichtete Stichprobenprüfung (Stratified Sampling): Wählen Sie gezielt die Dokumente aus, die für eine bestimmte Fragestellung markiert wurden, und prüfen Sie, ob die Anweisung wie gewünscht umgesetzt wurde.

In der Praxis sieht die QC wie folgt aus:

• Rufen Sie alle Dokumente auf, die die KI für Frage 1 markiert hat. Sichten Sie 20 bis 30 davon zusammen mit ihren Begründungen. Handelt es sich hierbei durchweg um plausible Treffer? Wenn ja, fahren Sie fort. Wenn systematisch etwas falsch läuft, war der Prompt ungenau – passen Sie ihn an und lassen Sie diese Frage erneut prüfen.

• Wiederholen Sie dies für jede Frage.

• Führen Sie Stichproben bei Nicht-Treffern durch, um sicherzustellen, dass das Modell nicht systematisch eine ganze Kategorie übersieht.

Zwei wichtige Asymmetrien, die man verinnerlichen sollte:

• Falsch-negative Ergebnisse sind das eigentliche Risiko. Ein Dokument, das hätte markiert werden müssen, es aber nicht wurde, ist ein Problem, das Sie möglicherweise nie entdecken. Konzentrieren Sie Ihre QC-Bemühungen darauf, diese Fälle abzufangen.

• Falsch-positive Ergebnisse sind tolerierbar. Ein zu weit gefasster Prompt, der auch Dokumente markiert, die sich letztlich als irrelevant herausstellen, ist unproblematisch – diese sortieren Sie bei der menschlichen Prüfung aus. Der Preis dafür ist lediglich Lesezeit, nicht der Verlust von Beweismitteln.

Die QC kann zeitlich verschoben werden. Die Entscheidungen der KI sind dauerhafte Felder im jeweiligen Dokument und bleiben in der Datenbank gespeichert. Sie können die Prompts im Mai ausführen und die finale QC im November durchführen – das Ergebnis bleibt abrufbar, ohne dass zusätzliche Token-Kosten anfallen. Dies ist besonders wertvoll, wenn die Kapazität der Prüfer der Engpass ist und nicht die Verarbeitungsleistung. Sie können die KI-Arbeit so schnell durchziehen, wie es die Prompts erlauben, und später menschliche Reviewer hinzuziehen, um die Ergebnisse zu validieren und zu übertragen, ohne etwas neu berechnen zu müssen.

8. Massenübertragung in die Produktion

Nach der QC entscheidet der Anwalt, was in das Relevanzfeld für die Produktion übernommen wird. Da die KI-Ergebnisse in dedizierten Feldern mitsamt Begründung vorliegen, ist dies meist ein Massenvorgang: Filtern Sie nach den KI-Feldern, bei denen sich das Team sicher ist, und übertragen Sie diese gesammelt in die Produktionsfelder. Dort, wo das Team der KI widerspricht, gehen die Dokumente in die manuelle Prüfung oder werden mit einem angepassten Prompt neu bewertet.

Die Argumentation für die Rechtssicherheit ist denkbar einfach: Ja, es wurde KI eingesetzt. Aber die Entscheidung hat der Anwalt getroffen. Das Audit-Protokoll zeigt genau, welcher Kontext geladen, welcher Prompt ausgeführt, was vom Modell ausgegeben und was vom Menschen entschieden wurde. Dies entkräftet das Risiko von Halluzinationen auf dieselbe Weise, wie die Supervision durch erfahrene Anwälte Fehler von Junganwälten abfängt – der leitende Anwalt trägt die Verantwortung für die Entscheidung.

9. Rechtssicherheit und Audit-Protokoll

Alles wird lückenlos dokumentiert:

• Das Fallkontext-Objekt einschließlich der strukturierten Fragen und Personen, die aus dem Briefing extrahiert wurden

• Jeder Prompt inklusive aller Überarbeitungen

• Die Verknüpfung zwischen jedem Prompt und den damit erzielten Ergebnissen

• Die Ergebnisse pro Dokument inklusive Begründung

Das bedeutet, dass das Team für jede einzelne Codierungsentscheidung die exakte Anweisung vorlegen kann, die aktiv war, als die KI ihre Bewertung vornahm. Die Nachvollziehbarkeit reicht lückenlos bis zum ursprünglichen Briefing zurück. Sollte eine Entscheidung später angefochten werden, lässt sich die Argumentationskette vollständig rekonstruieren.

10. Arbeit mit Fragenlisten – bewährte Praktiken

Einige praktische Hinweise zur Gestaltung der Fragenliste:

• Formulieren Sie keine Boolesche Logik. „Dokumente, die X, aber nicht Y erwähnen“ ist ein Suchmuster, keine Frage. Stellen Sie die dahinterliegende Frage – „Wird in diesem Dokument X im Kontext von A diskutiert?“ – und überlassen Sie der KI die logische Verknüpfung.

• Definieren Sie präzise, wann eine Antwort ein „Ja“ ist. „Ist dieses Dokument für den Rechtsstreit relevant?“ ist zu vage. „Diskutiert dieses Dokument Verhandlungen zwischen Partei A und Partei B bezüglich der Kündigungsklausel?“ ist präzise genug.

• Verlangen Sie eine nützliche Begründung. Legen Sie fest, was Sie in der einteiligen Erklärung sehen wollen – den Akteur, die Handlung, das Datum, oder was auch immer Ihnen die schnellste Validierung ermöglicht.

• Gruppieren Sie zusammenhängende Fragen. Wenn drei Fragen nur für Dokumente relevant sind, die eine übergeordnete Frage positiv beantworten, markieren Sie dies. Claira wird diese entsprechend staffeln.

11. Zeitplan und Skalierung

Einige praktische Richtwerte für Ihre Planung:

• Das Abonnement muss vor der Erstellung der Prompts aktiv sein. Die Speicherung von Kontexten und Prompts erfolgt pro Fall.

• Der Durchsatz liegt bei etwa 10.000 Dokumenten pro Stunde.

• Bei einem typischen Projekt entfällt der Großteil der Zeit auf die Erstellung der Prompts und die QA, nicht auf den eigentlichen Hauptdurchlauf.

• Ein realistischer Zeitrahmen für einen Bestand von 200.000 Dokumenten – vom Kick-off bis zur Übergabe an die menschlichen Reviewer – liegt bei etwa vier Wochen, wobei der Schwerpunkt auf der Erstellung des Kontexts, den Fragen und den QA-Schleifen zu Beginn liegt.

12. Typische Anpassungen im Prozess

Bei fast jeder Prüfung kommt es während der QA zu mindestens einer der folgenden Anpassungen. Das sind keine Probleme, sondern der ganz normale Prozess bei der Verfeinerung von Instruktionen.

• Der Prompt war bei einem bestimmten Namen oder einer Person zu vage formuliert und hat irrelevante Namensvettern erfasst. Präzisieren Sie den Prompt durch eindeutigen Kontext.

• Der Prompt hat eine Kategorie relevanter Dokumente übersehen, weil das Team eine implizite Annahme getroffen hatte, die nicht im Kontext schriftlich festgehalten war. Fügen Sie diese dem Kontext hinzu und lassen Sie den Durchlauf neu starten.

• Die ausgegebene Begründung ist zwar schlüssig, aber für eine schnelle Sichtung nicht aussagekräftig genug. Passen Sie das Ausgabeformat an.

• Ein bestimmter Dokumententyp (ein Chat-Export, eine spezielle Excel-Struktur) verwirrt das Modell systematisch. Separieren Sie diesen Typ in einen eigenen Durchlauf mit einem maßgeschneiderten Prompt.

13. Das Gesamtbild im Überblick

Eine erfolgreich durchgeführte KI-Prüfung mit Claira sieht wie folgt aus:

1. Briefen Sie den Sachverhalt in natürlicher Sprache. Geben Sie uns Ihren Kontext, Ihre vollständige Fragenliste und die auszuschließenden Dokumente vor.

2. Bestätigen Sie den strukturierten Fallkontext, den Claira aus Ihrem Briefing extrahiert.

3. Führen Sie kleine QA-Testläufe mit bekannten Dokumenten durch. Verfeinern Sie den Prompt so lange, bis das Ergebnis Ihren Erwartungen entspricht.

4. Lassen Sie den gesamten Dokumentenbestand durchlaufen, gestaffelt nach den Empfehlungen.

5. Führen Sie die Qualitätskontrolle gezielt nach Fragestellungen durch, nicht mittels Zufallsstichproben. Suchen Sie nach systematischen Fehlern. Konzentrieren Sie sich darauf, falsch-negative Ergebnisse zu finden.

6. Verschieben Sie die finale QC, falls die Kapazität der Prüfer der Engpass ist – die Ergebnisse bleiben gespeichert.

7. Nehmen Sie die Massenübertragung in die Produktionsfelder auf Basis anwaltlicher Entscheidung vor, wobei die KI-Bewertung als fundierte Entscheidungsgrundlage dient.

8. Bewahren Sie das Audit-Protokoll zur Absicherung der Rechtssicherheit auf.

Der Gesamtaufwand verlagert sich von „200.000 Dokumente manuell lesen“ hin zu „präzise instruieren, Ergebnisse stichprobenartig validieren und die abschließende Entscheidung für die Masse treffen“. Darin liegt der enorme Produktivitätsgewinn – und genau deshalb ist die sorgfältige Vorbereitung der ersten Schritte der wichtigste Erfolgsfaktor im gesamten Workflow.