Was ist ein KI-Nachweispfad?

In der juristischen Arbeit ist ein KI-Nachweisverfahren (AI Evidence Trail) die Dokumentation, die zeigt, wie ein KI-System zu einem bestimmten Ergebnis gelangt ist. Anstatt eine Klassifizierung oder eine Zusammenfassung einfach so zu akzeptieren, ermöglicht es dieser Nachweis dem Prüfer, das Ergebnis bis zu den Materialien und Anweisungen zurückzuverfolgen, die es generiert haben.

Was ein nützlicher Nachweis üblicherweise erfasst

• Die Anweisung oder das Kriterium, das dem Modell vorgegeben wurde

• Das Dokument oder die Textstelle, auf die sich das Modell stützte (idealerweise als Zitat)

• Das Ergebnis selbst, einschließlich aller damit verbundenen Kodierungsentscheidungen

• Welches Modell oder welche Modellversion verwendet wurde und wann dies geschah

• Wie ein menschlicher Prüfer mit dem Ergebnis verfahren ist: akzeptiert, überschrieben oder eskaliert

Warum es wichtig ist

Die gegnerische Partei, eine Regulierungsbehörde oder ein Gericht können fragen, wie eine Prüfung durchgeführt wurde. Ein Workflow, bei dem man lediglich sagen kann „die KI hat es markiert“, ist schwer zu verteidigen; ein Workflow, der das Kriterium, den zitierten Text und die menschliche Überprüfung nachweisen kann, ist weitaus einfacher zu erklären. Richtlinien verschiedener Anwaltskammern befassen sich mittlerweile mit der Pflicht zur technologischen Kompetenz. In der Praxis bedeutet dies, beschreiben zu können, was ein Werkzeug getan hat und wie es überwacht wurde.

Ein Nachweisverfahren ist zudem ein wichtiges Instrument zur Qualitätssicherung. Wenn Sie sehen können, welche Textstelle eine Entscheidung beeinflusst hat, können Sie zu weit gefasste Kriterien erkennen, feststellen, ob ein Modell den falschen Teil eines Dokuments liest, und die Anweisung korrigieren, bevor sie sich auf Tausende von Datensätzen auswirkt.

Zusätzliche Lektüre: Lessons from Zhang v. Chen befasst sich damit, was passieren kann, wenn KI-Ergebnisse ungeprüft in die Akten einfließen.

Claira ist eine KI-gestützte eDiscovery-Plattform, die für Prüfungen entwickelt wurde, die einer genauen Untersuchung standhalten müssen. Sie können eine Demo buchen, um zu sehen, wie sie Prüfungen auf Dokumentenebene durchführt.