Was ist die QC-Prüfung beim eDiscovery?

Die QC-Prüfung – kurz für Qualitätskontrollprüfung – ist eine zweite Durchsicht bereits codierter Dokumente. Sie dient dazu, zu bestätigen, dass die im ersten Durchgang getroffenen Entscheidungen konsistent und vertretbar sind. Sie ist ein Standardbestandteil der Dokumentenprüfung und kein Zeichen dafür, dass etwas schiefgelaufen ist.

Was eine QC-Prüfung üblicherweise untersucht

• Zufallsstichproben aus den Stapeln der einzelnen Prüfer. Diese liefern eine Fehlerquote, auf die Sie verweisen können, falls die Codierung jemals angefochten wird.

• Gezielte Prüfungen der Entscheidungen mit den größten Folgewirkungen: Einstufungen zur Mandantenprivilegierung (Privilege), als nicht-relevant markierte Dokumente sowie alles, was innerhalb einer Dokumentenfamilie oder einer Gruppe von Fast-Duplikaten inkonsistent codiert wurde.

• Konsistenz der Prüfer durch den Vergleich, wie verschiedene Personen ähnliche Dokumente codiert haben, und die Korrektur des Codierungshandbuchs, wenn die Unstimmigkeit eigentlich auf einer Unklarheit in den Anweisungen beruht.

Wie Teams den Erfolg messen

Das gängigste Maß ist die Abänderungsquote (Overturn Rate) – der Anteil der stichprobenartig geprüften Dokumente, bei denen der QC-Prüfer die ursprüngliche Entscheidung ändert. Eine steigende Abänderungsquote bei den Stapeln eines einzelnen Prüfers deutet meist auf ein Schulungsdefizit hin. Eine steigende Quote im gesamten Team weist in der Regel darauf hin, dass das Codierungshandbuch präzisiert werden muss.

Die Qualitätskontrolle funktioniert am besten begleitend zur laufenden Prüfung und nicht erst am Ende. Die Stichprobenprüfung der ersten paar hundert Dokumente in einem Stapel deckt ein Missverständnis bei einem Problem-Code frühzeitig auf, solange eine erneute Prüfung noch kostengünstig ist.

Wenn KI die Erstprüfung übernimmt, gilt dasselbe Prinzip: Machen Sie Stichproben von den Entscheidungen des Modells, messen Sie, wie oft ein Anwalt anderer Meinung ist, und dokumentieren Sie das Ergebnis. Weiterführende Literatur: Unter Das TAR 1 Referenzmodell: Was das neue Framework der Sedona Conference für die GenAI-Prüfung bedeutet erfahren Sie, wie Validierungs-Frameworks die Messung der Prüfungsqualität angehen.

Claira ist eine KI-gestützte eDiscovery-Plattform für die Dokumentenprüfung in großem Umfang – Sie können eine Demo buchen, um zu sehen, wie sie sich in einen solchen QC-Prozess einfügt.