Lehren aus Zhang gegen Chen: Wie kanadische Anwälte KI-Halluzinationen bei der Dokumentenprüfung effektiv vermeiden können

In Zhang v. Chen, 2024 BCSC 285, wurde ein Familienrechtsfall in British Columbia zum ersten kanadischen Präzedenzfall, in dem ein Anwalt öffentlich dafür sanktioniert wurde, dass er nicht existierende Quellen zitierte. Die Rechtsvertretung hatte ChatGPT gebeten, unterstützende Urteile für einen Eröffnungsantrag (Notice of Application) zu finden, die Ergebnisse in den Schriftsatz übernommen und erst später – nachdem die gegnerische Partei zwei Verhandlungstage damit verbracht hatte, die Fälle ausfindig zu machen – erfahren, dass das Tool diese frei erfunden hatte. Richter Masuhara lehnte es ab, besondere Kosten (special costs) aufzuerlegen, da keine Täuschungsabsicht vorlag, verurteilte Frau Ke jedoch gemäß Regel 16-1(30) der Supreme Court Civil Rules zur persönlichen Tragung der Kosten. Der Fall ist seither zu einem warnenden Beispiel geworden, das jeder kanadische Prozessanwalt mindestens einmal gehört hat.

Die interessante Frage ist nicht, ob die Anwältin einen Fehler gemacht hat. Das hat sie sofort eingeräumt. Die interessante Frage ist vielmehr, ob diese Art des Versagens – ein KI-Tool, das plausibel klingende Quellen erfindet – allen KI-Anwendungen im Rechtsbereich immanent ist oder darauf zurückzuführen ist, wie dieses spezielle Tool eingesetzt wurde. Unserer Ansicht nach trifft Letzteres zu, und Juristen, die diesen Unterschied verstehen, können KI bei der Überprüfung von Dokumenten mit mehr und nicht mit weniger Vertrauen nutzen.

Die strukturelle Ursache einer Halluzination

Ein universelles Sprachmodell generiert bei einer Aufforderung wie „Finde kanadische Fälle zur Prüfung der Verlegung des Wohnsitzes nach Abschnitt 16 des Scheidungsgesetzes“ die jeweils wahrscheinlichste nächste Wortfolge. Es gibt in seiner Funktionsweise keinen Mechanismus, der diese Wörter zwingt, einem echten Dokument zu entsprechen. Das Modell hat während des Trainings genügend Rechtsprechung gelesen, um Namen, Aktenzeichen und Begründungen zu erzeugen, die stimmig aussehen. Es wird sie erzeugen, unabhängig davon, ob die Fälle existieren oder nicht. Dies ist die strukturelle Ursache. Es handelt sich dabei nicht um einen Softwarefehler im Sinne eines Fehlers, der durch Updates behoben werden kann. Es ist die Konsequenz daraus, dass man eine Wahrscheinlichkeitsmaschine bittet, eine sachliche Frage zu beantworten, ohne ihr die Fakten vorzulegen.

Die Sanktionierung im Fall Zhang v. Chen erfolgte nicht, weil ChatGPT verwendet wurde. Sie erfolgte, weil ChatGPT als Recherchewerkzeug in einem Kontext eingesetzt wurde, in dem es kein Dokument gab, das es hätte lesen können. Sobald Sie das verinnerlicht haben, können Sie damit beginnen, die Grenze zu ziehen zwischen Aufgaben, bei denen ein Chatbot gefährlich ist, und Aufgaben, bei denen KI im Vergleich zur menschlichen Alternative sogar die sicherere Option darstellt.

Geprüfte Dokumentenanalyse ist eine andere Problemstellung

Die Überprüfung der Aktenlage in einem Rechtsstreit ist eine völlig andere Aufgabe als die Rechtsrecherche. Bei der Dokumentenanalyse existiert das Dokument. Es befindet sich auf Ihrer Bearbeitungsplattform, mit einer bekannten Kontrollnummer, einer bekannten Dokumentenfamilie und einem bekannten Urheber. Die Frage lautet hier nicht „Was sagt das Gesetz zum Hörensagen?“, sondern „Enthält diese E-Mail eine privilegierte Kommunikation?“ oder „Entspricht dieser Anhang der Kategorie 3 des Zeitplans?“. Diese Frage hat eine reale Antwort, und die Antwort liegt direkt vor dem Modell.

Genau auf dieses Anwendungsszenario wurde Claira ausgelegt. Wenn Claira ein Dokument innerhalb von Nuix Discover analysiert, ruft es nicht einfach eine Passage aus einem Vektorindex ab, fasst sie zusammen und deklariert dies als Ergebnis. Es liest das Dokument, gleicht Ihre Kodierungskriterien mit dem tatsächlichen Text des Dokuments ab und erstellt eine schriftliche Begründung, die direkt aus dem Dokument selbst zitiert. Wenn Sie mit dem Ergebnis nicht einverstanden sind, können Sie das Zitat überprüfen. Wenn sich das Zitat nicht im Dokument befindet, ist die Antwort falsch und Sie sehen sofort, warum. Es gibt kein plausibel klingendes Zitat zu einem nicht existierenden Fall, da die einzige Quelle, die Claira zitieren soll, das bereits vorliegende Dokument ist.

Was der Fallkontext beiträgt

Die Anwälte, mit denen wir zusammenarbeiten, stellen oft dieselbe Anschlussfrage: Wenn das Modell das Dokument liest, was hindert es dann daran, eine falsche Schlussfolgerung über ein Dokument zu ziehen, das es nicht im Gesamtkontext gesehen hat? Hier kommt der Hintergrund des Falls ins Spiel. Claira ermöglicht es Ihrem Team, für jede Akte einen Fallkontext (Case Context) zu erstellen. Dieser wird bei jeder Analyse mitgeführt und teilt der KI mit, worum es in dem Streitfall geht, wer die Parteien sind, was die Relevanzcodes in Ihrem konkreten Fall bedeuten und was hier – bei dieser Angelegenheit – als privilegiert gilt, statt sich auf abstrakte Definitionen aus Lehrbüchern zu verlassen. Die Dokumentation zum Fallkontext beschreibt ausführlich, wie dies eingerichtet wird; der praktische Effekt besteht darin, dass das Urteil der KI fest verankert ist und nicht im luftleeren Raum schwebt.

Dies ist nicht derselbe technische Ansatz, den jeder KI-Anbieter im Rechtsbereich verfolgt. Einige Tools indizieren den gesamten Datenbestand in einer Suchesebene und leiten die relevantesten Passagen in einen Chatbot weiter. Das ermöglicht zwar eine schnelle Beantwortung von Fragen, führt jedoch den Fehlermodus von Zhang v. Chen wieder ein, da das Modell erneut Muster in abgerufenen Fragmenten abgleicht, anstatt das eigentliche Dokument vollständig zu lesen. Unser Grundlagenartikel zur KI-gestützten Dokumentenanalyse beleuchtet die Richtlinien der Rechtsanwaltskammer zu diesem Punkt im Detail. Die Kurzfassung lautet: Die Pflichten zur Offenheit und Kompetenz weisen in dieselbe Richtung: Sie benötigen einen KI-Workflow, bei dem jede Entscheidung auf eine Passage zurückgeführt werden kann, die Sie in einem von Ihnen vorzulegenden Dokument nachlesen können.

Praktische Leitplanken für kanadische Teams

Drei Gewohnheiten unterscheiden Teams, die die Lehren aus Zhang v. Chen verinnerlicht haben, von solchen, bei denen das nicht der Fall ist. Die erste besteht darin, generative KI von allen Aufgaben fernzuhalten, bei denen Fakten erfunden werden müssen, die eigentlich bereits existieren sollten. Die Rechtsrecherche ist hierfür das klassische Beispiel. Wenn die Frage lautet, wie die Rechtslage aussieht, nutzen Sie die dafür entwickelten Fachwerkzeuge und verwenden Sie KI erst im Anschluss, um die Ergebnisse zusammenzufassen, nachdem die Fallnamen verifiziert wurden – und nicht, um die Fallnamen überhaupt erst zu erfinden.

Die zweite Gewohnheit ist, dass jedes KI-Ergebnis, das eine Kodierungsentscheidung betrifft, die Quelle zitieren muss. Wenn die KI Ihnen mitteilt, dass ein Dokument privilegiert ist, sollte sie Ihnen auch sagen, welcher Absatz diese Entscheidung ausgelöst hat. Wenn das Zitat im Dokument vorhanden ist, haben Sie eine überprüfbare Antwort. Ist das Zitat nicht vorhanden, handelt es sich um eine Halluzination, die Sie abgefangen haben, noch bevor sie die Plattform verlässt.

Die dritte ist die Aufsicht. Die Law Society of British Columbia hat im Nachgang zu Zhang unmissverständlich klargestellt, dass die Pflicht zur Überprüfung der dem Gericht vorgelegten Materialien „bei Ihnen verbleibt“. Dies ist kein spezifischer Kommentar zur KI. Es handelt sich um dieselbe Aufsichtspflicht, die seit jeher für Berufsanfänger, Vertragsprüfer und alle anderen gilt, deren Arbeit unter Ihrer Unterschrift eingereicht wird. Derselbe Standard gilt auch für eine KI-gestützte Dokumentenanalyse.

Wo man anfangen sollte

Die Anwälte, die sich nach Zhang v. Chen an uns wenden, fragen nicht, ob sie KI nutzen sollen. Sie fragen, wie sie sie so nutzen können, dass sie auch einer zukünftigen gerichtlichen Prüfung standhält. Die Antwort liegt unseres Erachtens darin, auf einer dokumentenbasierten Analyse, schriftlichen Begründungen mit Belegen aus der Akte und einem fallspezifischen Kontext zu bestehen, der das Urteil der KI verankert. Wenn Sie sehen möchten, wie das in der Praxis bei einer Ihrer Akten aussieht, können Sie einen Arbeitstermin mit uns vereinbaren. Wir werden gemeinsam ein echtes Dokument durchgehen und Ihnen genau zeigen, was Claira bei ihrer Entscheidung berücksichtigt hat.

Halluzinationen sind nicht der Preis für den Einsatz von KI in der juristischen Arbeit. Sie sind der Preis für den Einsatz der falschen Art von KI für die falsche Art von Aufgabe.