Wie messen Sie die Qualität der Prüfung auf privilegierte Dokumente?

Das Anwaltsprivileg (Privilege) ist der eine Bereich der Dokumentenprüfung, in dem ein einziger Fehler unwiederbringliche Folgen haben kann. Qualität muss daher gemessen und darf nicht einfach vorausgesetzt werden.

Zwei Fehlerarten sind hierbei von Bedeutung, und sie wirken in entgegengesetzte Richtungen:

• Unterklassifizierung (Under-designation): Ein privilegiertes Dokument wird offengelegt. Dies ist das Offenlegungsrisiko, das allen am meisten Sorgen bereitet.

• Überklassifizierung (Over-designation): Ein nicht privilegiertes Dokument wird zurückgehalten. Dies bläht das Privilege Log auf, lädt zu Rügen ein und kostet Glaubwürdigkeit.

Die üblichen Messverfahren:

Elusion-Test (Fehlerratentest). Nehmen Sie Stichproben der Dokumente, die bei der Prüfung als nicht privilegiert eingestuft wurden, und prüfen Sie diese sorgfältig erneut. Der Anteil der Dokumente, die sich als privilegiert herausstellen, ist Ihre Elusion-Rate (Fehlerrate) – und sie kommt einer direkten Messung dessen, was Sie versehentlich offenlegen werden, am nächsten.

Recall (Trefferquote) und Precision (Genauigkeit). Im Vergleich zu einer sorgfältig geprüften Kontrollstichprobe zeigt Ihnen der Recall, welcher Anteil der tatsächlich privilegierten Dokumente erfasst wurde, und die Precision, welcher Anteil der zurückgehaltenen Dokumente tatsächlich privilegiert war.

Konsistenz der Prüfer. Leiten Sie dieselben Dokumente an mehr als einen Prüfer weiter und vergleichen Sie die Ergebnisse. Große Abweichungen bedeuten meist, dass die Kriterien für das Anwaltsprivileg unklar sind, nicht, dass die Prüfer unachtsam arbeiten.

Qualität des Privilege Logs. Die Beschreibungen sollten den Anspruch stützen, ohne das Privileg preiszugeben, und ähnliche Dokumente einheitlich charakterisieren.

Unabhängig von der Methode sollten Sie das Protokoll vor Beginn schriftlich festhalten. Ein dokumentierter, stichprobenbasierter und reproduzierbarer Prozess ist das, was das Ergebnis im Falle einer Rüge vertretbar macht.

Passende Lektüre: Privilege-Prüfung im Zeitalter generativer KI.

Ein struktureller Vorteil der KI-gestützten Prüfung ist die Konsistenz: Dieselben Kriterien werden auf jedes Dokument angewendet, und die Begründung wird für die Qualitätskontrolle protokolliert. Sie können sehen, wie Claira damit umgeht.