Sie wollen keine Magie in Ihrem eDiscovery-Prozess

Arthur C. Clarke schrieb einmal, jede hinreichend fortschrittliche Technologie sei von Magie nicht zu unterscheiden. Er dachte dabei an die Schwierigkeit, die Zukunft vorherzusagen, doch ein guter Teil der KI-Software scheint den Satz als Lastenheft gelesen zu haben.

Sie kennen die Sorte vermutlich. Da ist ein leeres Feld, Sie tippen eine Frage hinein, eine Reihe von Punkten pulsiert einen Moment lang, und dann kommt eine Antwort von irgendwo hinter der Bühne, flüssig, selbstsicher und ohne erkennbaren Halt. Sie hat den Reiz eines Salontricks, der Münze, die hinter dem Ohr eines Kindes hervorgezaubert wird, und wie jeder Salontrick lädt sie dazu ein, die Wirkung zu genießen, ohne nach der Ursache zu fragen.

Das Publikum einer Zaubervorstellung hat eingewilligt, getäuscht zu werden, und deshalb gehen alle zufrieden nach Hause. Wer als Anwältin oder Anwalt eine eDiscovery-Produktion verantwortet, hat sich auf etwas weit Ernsteres eingelassen. Der eigene Name steht unter dem Ergebnis, die Mandantschaft bezahlt für das eigene Urteil, und das Gericht verlässt sich auf die eigene Darstellung, wie die Dokumente geprüft wurden. Wir haben noch niemanden getroffen, der einem Richter erklären würde, die Prüfung habe etwas Wunderbares erledigt, das man leider nicht beschreiben könne.

Ein Prüfungsteam braucht von seiner KI etwas Schlichteres, das zugleich schwerer zu bauen ist. Es braucht ein Werkzeug, das schnell, wirksam und einfach zu bedienen ist und dessen Arbeitsweise sich bei jedem Schritt nachvollziehen und erklären lässt.

Das Problem mit dem Zaubertrick

Jeder Zauberkünstler weiß, dass die Methode verborgen bleiben muss, denn sobald das Publikum den doppelten Boden der Kiste erblickt, weicht das Staunen aus dem Saal. Das Handwerk lebt vom Verbergen und davon, den Blick im richtigen Moment woandershin zu lenken.

In der eDiscovery verhält es sich umgekehrt. Wenn die Gegenseite wissen will, warum ein Dokument zurückgehalten wurde, oder die Mandantschaft fragt, woher Sie wissen, dass nichts übersehen wurde, müssen Sie genau die Methode vorlegen, und zwar in Worten, oft Monate nach Abschluss der Arbeit.

Ein Werkzeug, das wie Magie funktioniert, lässt Sie hier auf zwei Arten im Stich, und beide entsprechen den zwei Fehlerarten, die Prozessanwälten ohnehin den Schlaf rauben.

Die erste ist der Fehler durch Tun, eine falsche Antwort, vorgetragen im selben ruhigen Ton wie eine richtige. Wer nicht sieht, wie eine Antwort zustande kam, kann die beiden beim Hinsehen nicht auseinanderhalten. Das bekannteste kanadische Beispiel ist der Fall, über den wir in Lehren aus Zhang gegen Chen geschrieben haben: Von einem Chatbot erfundene Entscheidungen gelangten in einen Schriftsatz in British Columbia, vollkommen plausibel und ganz ohne Quelle.

Die zweite ist der Fehler durch Unterlassen, und bei der Dokumentenprüfung ist er der gefährlichere, weil er so wenige Spuren hinterlässt. Eine falsche Antwort steht wenigstens auf der Seite, wo sie jemandem auffallen kann, während ein fehlendes Dokument keinerlei Geräusch macht, und eine Rangliste oder eine Zusammenfassung gibt Ihnen keine Auskunft darüber, was unter die Linie oder aus dem Bild gefallen ist. Deshalb haben wir in Jedes Dokument zählt dafür plädiert, jedes Dokument zu prüfen, das die Vorauswahl übersteht, und die Prüfung festzuhalten.

Eine gute Prüfung lässt nichts aus und erfindet nichts hinzu, und die Schwierigkeit lag schon immer darin, das auch zu belegen. Ein Werkzeug, das wie Magie funktioniert, kann Ihnen seine Zuversicht anbieten und wenig mehr. Claira wurde so gebaut, dass Sie sich selbst davon überzeugen können.

Eine Methode, die auf eine Serviette passt

Wie Claira arbeitet, lässt sich in einem Absatz erzählen. Sie formulieren die Frage, die beantwortet werden soll, in einfachen Worten, ungefähr so, wie Sie eine junge Prüferin am ersten Morgen eines Mandats einweisen würden, und probieren sie an einer Handvoll Dokumente aus, um zu sehen, was zurückkommt. Sie passen die Formulierung an, bis die Antworten dem entsprechen, was Sie gemeint haben. Dann stellen Sie dieselbe Frage mit dem Massen-Scan für den gesamten Prüfbestand, und Claira schreibt jede Antwort in ein Feld des jeweiligen Dokuments in Nuix Discover, wo Ihr Team sie durchsuchen, stichprobenartig kontrollieren und korrigieren kann wie jede andere Codierung.

Weil die Frage in Ihren eigenen Worten schriftlich festgehalten ist, die Dokumente die von Ihnen ausgewählten sind und die Antworten in Ihren eigenen Feldern neben den Dokumenten stehen, die sie beschreiben, hinterlässt jeder Arbeitsschritt etwas, das Sie später einsehen können.

Die Geschwindigkeit entsteht dadurch, dass eine gut gebaute Frage viele tausend Male gestellt wird, eine Art geduldiger Wiederholung, die Maschinen gut beherrschen, und dieselbe Schlichtheit macht den Ablauf leicht erklärbar. Sie könnten ihn einem Richter in weniger als einer Minute beschreiben. Niemand im Team muss KI-Fachmann sein, um ihm zu folgen, denn er spielt sich im gewöhnlichen Vokabular der Dokumentenprüfung ab.

Das Hauptbuch, das Claira führt

Buchhalter haben ihre Hauptbücher und Gelehrte ihre Randnotizen. Claira führt fortlaufend Buch über die Prüfung, während sie geschieht, und mehrere der jüngsten Funktionen dienen vor allem dazu, diese Aufzeichnung vollständiger und lesbarer zu machen.

Der Prompt-Verlauf bewahrt jede Version jedes Prompts auf, der in einem Fall verwendet wurde, zusammen mit seinem Verfasser, der Häufigkeit seiner Verwendung und den Kommentaren, die das Team dazu hinterlassen hat. Wenn sich das Team auf eine Formulierung festlegt, hält das Markieren als final diese Entscheidung für alle im Fall sichtbar fest, und der gesamte Verlauf lässt sich jetzt als Tabelle exportieren, eine Überarbeitung pro Zeile, jeder Kommentar verknüpft mit der Überarbeitung, auf die er sich bezieht. Zu diesem Export greifen Sie, wenn jemand ein Jahr später fragt, wie die Prüffrage ihre endgültige Gestalt angenommen hat. Soll der Prompt mit dem Beweismaterial selbst reisen, kann ein Massen-Scan ihn außerdem in das Prompt-Protokollfeld jedes Dokuments schreiben.

Claira kann auch Prompts entwerfen, wenn Sie darum bitten. Der Agent und der Prompt-Generator können einen von Grund auf schreiben, und Mit dem Agenten überarbeiten kann Änderungen an Ihrem vorschlagen; jeder so entstandene Prompt trägt im Prompt-Verlauf einen kleinen Zauberstab, und wenn Sie mit der Maus darüberfahren, nennt Claira Ihnen das Werkzeug, das ihn verfasst hat. Uns gefällt die Ironie, dass der einzige Zauberstab in Claira dazu da ist, Ihnen zu zeigen, wo die Maschine am Werk war.

Insights erstellen aus codierten Dokumenten Chronologien, Tabellen und Memos und sind darauf ausgelegt, Zeile für Zeile geprüft zu werden. Ein Insight gibt an, wie viele Dokumente es gelesen hat. Wo es ein Dokument zitiert, öffnet das Zitat den Eintrag dieses Dokuments unter seinen Quellen, und im exportierten PDF funktionieren die Verknüpfungen in beide Richtungen, sodass eine Kollegin, die nur die Datei hat, von einem Satz zu seiner Quelle und zurück gelangt, ohne Claira oder Nuix Discover zu öffnen. Fahren Sie im Bereich mit der Maus über eine Dokument-ID, sehen Sie die KI-Antwort, durch die das Dokument in das Insight gelangt ist, und nennt das Modell einmal ein Dokument, das das Insight gar nicht gelesen hat, entfernt Claira dieses Zitat, bevor es Sie erreicht. Sie können sogar verfolgen, wie ein Insight geschrieben wird, während Claira seine Schritte abhakt, vom Lesen der Ergebnisse bis zur Prüfung der Verweise.

Der Agent Mode ist ebenso offen in dem, was er tut. Ein Chip über dem Nachrichtenfeld zeigt das Dokument, das Sie geöffnet haben, und gibt an, ob Claira nur dessen Text oder den Text zusammen mit der Datei erhält, und ein einziger Klick hält es aus dem Gespräch heraus. Jeder Chat lässt sich so einstellen, dass er vor jeder Arbeit nachfragt oder die Arbeit selbst vorbereitet und für Sie startet, innerhalb der Grenzen, die Ihre Administration festlegt, und die größten Schritte, etwa das Scannen des ganzen Falls oder das Anlegen eines Feldes, warten immer darauf, dass ein Mensch auf die Schaltfläche drückt.

Nichts ausgelassen, nichts erfunden

Um auf die zwei Fehlerarten zurückzukommen: Ein Werkzeug, das verstanden werden will, sollte Ihnen erlauben zu zeigen, dass eine Prüfung beide vermieden hat, und genau dafür wurde die Aufzeichnung in Claira entworfen.

Was das Auslassen betrifft, gibt die Aufzeichnung über jedes Dokument Auskunft, das Sie ausgewählt haben. Während ein Massen-Scan läuft, zählt er jedes Ergebnis, ob ein Dokument codiert, mangels lesbaren Inhalts übersprungen wurde oder fehlgeschlagen ist, und der Aufgabenverlauf bewahrt diese Zahlen anschließend auf. Ein mittendrin unterbrochener Lauf wird als Unvollständig gekennzeichnet und zeigt genau, wie viele Dokumente noch ausstehen, sodass Dokumente, die nie gescannt wurden, nicht als erledigt durchgehen können. Wenn Sie die Aufgabe fortsetzen, behält sie den Prompt, mit dem sie begonnen hat, und den letzten tausend Dokumenten wird dieselbe Frage gestellt wie den ersten.

Was das Erfinden betrifft, bleiben die Antworten bei ihren Belegen. Jede Antwort wird in ein Feld des Dokuments geschrieben, das sie beschreibt, und sie zu prüfen heißt, dieses Dokument zu öffnen. Ein Insight liest Ihre Felder so, wie sie in dem Moment stehen, in dem Sie es generieren, und die Korrektur einer Prüferin ist damit die Fassung, mit der die Chronologie arbeitet.

All das lässt sich in sehr kurzer Zeit überprüfen. Stichproben aus den als nicht relevant codierten Dokumenten bleiben gute Praxis, und da die Antworten in Feldern stehen, ist das eine gewöhnliche Suche in Discover. Für eine Prüfung, die man bis auf den Grund durchschauen kann, steht man sehr viel leichter ein.

Dieselbe Frage, zweimal gestellt

Geben Sie drei fähigen Associates denselben Vertrag und bitten Sie jeden um eine Zusammenfassung, und Sie erhalten drei zutreffende Zusammenfassungen, die einander kein bisschen gleichen. Fragen Sie dieselben drei, ob der Vertrag eine Freistellungsklausel enthält, und bitten Sie sie, sie gegebenenfalls zu zitieren, und Sie hören dreimal dieselbe Antwort, weil eine enge Frage so wenig Raum zum Abschweifen lässt.

Unser Hilfe-Center bringt den Gedanken in einem Satz auf den Punkt, den man über jeden Prüfungsschreibtisch heften sollte: Zusammenfassungen dürfen variieren, Entscheidungen nicht. Der Artikel Warum Sie nicht zweimal dieselbe Antwort erhalten erklärt die Gründe in einfachen Worten und beginnt bei der Art, wie ein Sprachmodell seine Wörter wählt.

Diese Beständigkeit macht einen Prozess verteidigungsfähig. Wenn eine gut gebaute Frage am selben Dokument zur selben Entscheidung führt, gleich wer sie stellt, lässt sich die Entscheidung auf die Frage zurückführen, und die Frage gehört Ihnen.

Erklärbar für alle, die fragen

Wie wir in Die Kompetenzverpflichtung geschrieben haben, verlangt die Pflicht zur Kompetenz von Anwälten, in einfachen Worten erklären zu können, was ihre Werkzeuge getan haben, ganz so, wie sie über die Arbeit eines jungen Prüfers Rechenschaft ablegen würden. Mit einem Werkzeug, das wie Magie funktioniert, ist diese Pflicht schwer zu erfüllen, mit einem, das seine Methode sichtbar hält, liegt sie bequem in Reichweite.

Den Stab zerbrechen

Gegen Ende von Shakespeares Der Sturm entsagt Prospero seiner Kunst. „Doch diese rohe Zauberei schwör ich hier ab“, sagt er und verspricht, seinen Stab zu zerbrechen und sein Buch zu versenken, und im Epilog tritt er ohne seine Zauberkräfte vor, um schlicht zum Publikum zu sprechen und um dessen Nachsicht zu bitten. Es ist einer der schönsten Momente bei Shakespeare, und in diesem Geist haben wir versucht, Claira zu bauen.

Darunter steckt viel sorgfältige Technik, und die Geschwindigkeit ist echt, doch an der Oberfläche, wo Ihr Urteil auf die Arbeit trifft, haben wir versucht, alles offen sichtbar zu halten, damit der Weg von Ihrer Frage zu den Antworten in Ihren Feldern von allen nachvollzogen werden kann, die ihn nachvollziehen müssen. Das Ergebnis ist schnell, wirksam und einfach zu bedienen und lässt sich bei jedem Schritt denen erklären, die es verstehen müssen.

Wo Sie anfangen können

Am sichersten beurteilen Sie all das, indem Sie es an Dokumenten arbeiten sehen, die Sie bereits kennen. Nehmen Sie ein abgeschlossenes Mandat, formulieren Sie die Frage, die Ihr Team damals von Hand beantwortet hat, bitten Sie Claira, ihre Antworten zu begründen, und vergleichen Sie, wo sie mit Ihren Prüfern übereinstimmt und wo sie von ihnen abweicht.

Wenn Sie in dieser ersten Stunde Begleitung möchten, buchen Sie eine kurze Sitzung mit unserem Team, bringen Sie einen Dokumentenbestand mit, den Sie gut kennen, und wir zeigen Ihnen, wie das alles funktioniert.