Wie Sie einen Nachweispfad für KI-Entscheidungen erstellen

Wenn KI im Rahmen juristischer Arbeit eingesetzt wird, stellt sich unweigerlich die Frage: Wie sind Sie zu diesem Ergebnis gelangt? Die Beantwortung dieser Frage ist weniger ein technisches Problem als eine Frage der Dokumentation.

Instruktionen protokollieren. Erfassen Sie die genauen Kriterien oder Prompts, die angewendet wurden, und versehen Sie diese mit einer Versionsnummer. Wenn sich die Kriterien während der Prüfung geändert haben, sollte das Protokoll aufzeigen, wann dies geschah und welche Dokumente unter welcher Version bewertet wurden.

Ergebnisse protokollieren. Speichern Sie die Entscheidung des Modells sowie jegliche Konfidenzwerte zusammen mit dem Dokument, anstatt sie direkt mit der endgültigen menschlichen Entscheidung zu überschreiben. Beide Informationen sind zu einem späteren Zeitpunkt von Bedeutung.

Zitate beibehalten. Das nützlichste Artefakt ist ein Verweis auf die spezifische Textpassage, auf die sich das Modell gestützt hat. Eine Schlussfolgerung mit einer zitierten Quelle lässt sich in Sekundenschnelle überprüfen – eine ohne Quelle überhaupt nicht. Dies ist zudem der direkteste Schutz vor Behauptungen des Modells, die durch die Aktenlage nicht gestützt werden.

Die menschliche Entscheidung erfassen. Notieren Sie, wer den Vorschlag geprüft hat, ob er angenommen oder abgelehnt wurde und wann dies geschah. Die Ablehnungsquoten sind für sich genommen ein nützlicher Qualitätsindikator.

Validierungsprotokoll aufbewahren. Stichproben Ergebnisse, die gemessene Trefferquote (Recall) im Vergleich zu einer Kontrollgruppe sowie alle Qualitätskontrollen gehören in dieselbe Dokumentation. Erst dadurch wird aus der Aussage „Wir haben KI eingesetzt“ ein „Wir haben KI eingesetzt, und so haben wir die Ergebnisse überprüft“.

Vieles davon spiegelt die langjährige Praxis der technologiegestützten Überprüfung (Technology-Assisted Review) wider, bei der Gerichte sich im Allgemeinen eher auf die Angemessenheit und die Dokumentation des Prozesses als auf die konkret eingesetzte Technologie konzentriert haben.

Weiterführende Literatur: Lehren aus Zhang v. Chen: Wie kanadische Anwälte KI-Halluzinationen bei der Dokumentenprüfung tatsächlich vermeiden können (auf Englisch).

Claira ist so konzipiert, dass jedes dieser Artefakte als Nebenprodukt der regulären Überprüfung erstellt wird, anstatt nachträglich zusammengestellt werden zu müssen. Sie können sich hier ansehen, wie ein solches Protokoll aussieht.