Vous ne voulez pas de magie dans votre processus d'eDiscovery

Arthur C. Clarke a écrit un jour que toute technologie suffisamment avancée est indiscernable de la magie. Il parlait de la difficulté de prédire l'avenir, mais bon nombre de logiciels d'IA semblent avoir pris la formule pour un cahier des charges.

Vous en avez sans doute déjà croisé. Il y a une boîte vide, vous y tapez une question, une rangée de points palpite un instant, et une réponse arrive des coulisses, fluide, assurée et sans appui visible. Elle a le charme d'un tour de salon, la pièce qu'on fait surgir de derrière l'oreille d'un enfant, et comme tout tour de salon, elle vous invite à savourer l'effet sans vous enquérir de la cause.

Le public d'un spectacle de magie a accepté d'être trompé, et c'est pourquoi tout le monde rentre content. L'avocat qui atteste une production en eDiscovery s'est engagé à quelque chose de bien plus sérieux. Son nom figure sur le résultat, le client paie pour son jugement, et le tribunal se fiera à son compte rendu de la façon dont les documents ont été révisés. Nous n'avons encore jamais rencontré l'avocat qui dirait à un juge chargé de la gestion de l'instance que la révision a été confiée à quelque chose de merveilleux qu'il serait incapable de décrire.

Une équipe de révision attend de son IA quelque chose de plus simple, qui se trouve aussi être plus difficile à construire. Il lui faut un outil rapide, efficace et facile à utiliser, dont on peut suivre et expliquer le fonctionnement à chaque étape.

L'ennui avec les tours de magie

Tout prestidigitateur sait que la méthode doit rester hors de vue, car dès que le public aperçoit le double fond de la boîte, l'émerveillement quitte la salle. Le métier repose sur la dissimulation et sur l'art de détourner le regard au bon moment.

L'eDiscovery fonctionne à l'inverse. Lorsque l'avocat de la partie adverse demande pourquoi un document a été retenu, ou qu'un client veut savoir comment vous pouvez être certain que rien n'a été manqué, c'est précisément la méthode qu'il faut produire, et il faut la produire avec des mots, souvent des mois après la fin du travail.

Un outil qui fonctionne comme de la magie vous fait défaut ici de deux façons, qui correspondent aux deux types d'erreurs qui empêchent déjà les plaideurs de dormir.

La première est l'erreur de commission, une mauvaise réponse livrée du même ton égal qu'une bonne. Quand on ne voit pas comment une réponse a été obtenue, on n'a aucun moyen de distinguer l'une de l'autre en les regardant. L'exemple canadien le plus connu est celui dont nous avons parlé dans Leçons de l'affaire Zhang c. Chen, où des décisions inventées par un agent conversationnel se sont retrouvées dans un acte de procédure en Colombie-Britannique, parfaitement plausibles et entièrement dépourvues de source.

La seconde est l'erreur d'omission, et dans la révision de documents, c'est la plus dangereuse des deux, parce qu'elle laisse si peu de traces. Une mauvaise réponse figure au moins sur la page, où quelqu'un pourrait la remarquer, alors qu'un document manquant ne fait aucun bruit, et une liste classée ou un résumé ne vous dit rien de ce qui est tombé sous la ligne ou sorti du cadre. C'est pourquoi nous avons soutenu dans Chaque document compte que tout document qui survit au tri doit être révisé, et la révision consignée.

Une bonne révision ne laisse rien de manqué et rien d'inventé, et la difficulté a toujours été d'en faire la démonstration. Un outil qui fonctionne comme de la magie peut vous offrir son assurance, et guère plus. Claira a été conçue pour que vous puissiez le constater par vous-même.

Une méthode qui tient sur une serviette de table

Le fonctionnement de Claira se raconte en un paragraphe. Vous rédigez en mots simples la question à laquelle vous voulez une réponse, à peu près comme vous mettriez au courant un réviseur junior le premier matin d'un dossier, et vous l'essayez sur une poignée de documents pour voir ce qui en ressort. Vous ajustez la formulation jusqu'à ce que les réponses correspondent à ce que vous vouliez dire. Vous lancez ensuite la même question sur l'ensemble à réviser avec l'Analyse en lot, et Claira écrit chaque réponse dans un champ de son document dans Nuix Discover, où votre équipe peut la rechercher, l'échantillonner et la corriger comme n'importe quel autre codage.

Comme la question est écrite noir sur blanc dans vos propres mots, que les documents sont ceux que vous avez choisis et que les réponses se trouvent dans vos propres champs, à côté des documents qu'elles décrivent, chaque étape du travail laisse derrière elle quelque chose que vous pourrez examiner plus tard.

La rapidité vient de ce qu'on pose une question bien construite des milliers de fois, le genre de répétition patiente pour laquelle les machines sont douées, et c'est cette même simplicité qui rend le processus facile à expliquer. Vous pourriez le décrire à un juge en moins d'une minute. Personne dans l'équipe n'a besoin d'être spécialiste de l'IA pour le suivre, puisqu'il se déroule dans le vocabulaire ordinaire de la révision de documents.

Le registre que tient Claira

Les comptables ont leurs grands livres et les érudits leurs annotations en marge. Claira tient un registre continu de la révision à mesure qu'elle avance, et plusieurs de ses fonctionnalités les plus récentes existent surtout pour rendre ce registre plus complet et plus lisible.

L'Historique des prompts conserve chaque version de chaque prompt utilisé dans un dossier, avec son auteur, le nombre de fois où il a servi et les commentaires que l'équipe y a laissés. Quand l'équipe s'arrête sur une formulation, le fait de la marquer comme finale consigne ce choix à la vue de tous les membres du dossier, et l'historique complet peut désormais être exporté sous forme de tableur, une révision par ligne, chaque commentaire étant rattaché à la révision qu'il concerne. C'est le document vers lequel on se tourne lorsque quelqu'un demande, un an plus tard, comment la question de révision a pris sa forme définitive. Si vous souhaitez que le prompt voyage avec la preuve elle-même, une analyse en lot peut aussi l'écrire dans le champ journal des requêtes de chaque document.

Claira peut aussi rédiger des prompts lorsque vous le lui demandez. L'Agent et le Générateur de prompts peuvent en écrire un de toutes pièces et Réviser avec l'Agent peut proposer des modifications aux vôtres, et tout prompt produit de cette façon porte une petite baguette dans l'Historique des prompts; survolez-la et Claira vous indique quel outil l'a rédigé. Nous aimons assez l'ironie qui veut que la seule baguette de Claira serve à vous montrer où la machine est passée.

Les Insights produisent des chronologies, des tableaux et des notes de synthèse à partir des documents codés, et ils sont conçus pour être vérifiés ligne par ligne. Un Insight indique combien de documents il a lus. Lorsqu'il cite un document, la citation ouvre la fiche de ce document parmi ses sources, et dans le PDF exporté, les liens fonctionnent dans les deux sens, si bien qu'un collègue qui n'a que le fichier peut aller d'une phrase à sa source et revenir sans ouvrir Claira ni Nuix Discover. Survoler un ID de document dans le volet affiche la réponse de l'IA qui a fait entrer ce document dans l'Insight, et si le modèle nomme un document que l'Insight n'a pas lu, Claira retire cette citation avant qu'elle ne vous parvienne. Vous pouvez même suivre la rédaction d'un Insight pendant que Claira coche ses étapes, de la lecture des résultats à la vérification des références.

Le Mode agent est tout aussi franc sur ce qu'il fait. Une pastille au-dessus de la zone de message montre le document que vous avez ouvert et indique si Claira en recevra seulement le texte ou le texte accompagné du fichier, et un seul clic le tient à l'écart de la conversation. Chaque conversation peut être réglée pour demander avant de lancer quoi que ce soit, ou pour préparer le travail et le lancer à votre place, dans les limites fixées par votre administrateur, et les étapes les plus lourdes, comme analyser tout le dossier ou créer un champ, attendent toujours qu'une personne appuie sur le bouton.

Rien de manqué, rien d'inventé

Pour revenir aux deux types d'erreurs, un outil conçu pour être compris devrait vous permettre de montrer qu'une révision a évité les deux, et c'est exactement dans cet esprit que le registre de Claira a été pensé.

Du côté de l'omission, le registre rend compte de chaque document que vous avez sélectionné. Pendant qu'elle s'exécute, une analyse en lot comptabilise chaque issue, qu'un document ait été codé, ignoré faute de contenu lisible ou qu'il ait échoué, et l'historique des tâches conserve ces chiffres par la suite. Une exécution interrompue en cours de route est marquée Incomplète et indique exactement combien de documents restent à traiter, de sorte que des documents jamais analysés ne peuvent jamais passer pour terminés. Lorsque vous reprenez la tâche, elle conserve le prompt avec lequel elle a commencé, ce qui veut dire que les mille derniers documents se voient poser la même question que les premiers.

Du côté de l'invention, les réponses restent à côté de leurs preuves. Chaque réponse est écrite dans un champ du document qu'elle décrit, si bien que la vérifier revient à ouvrir ce document. Un Insight lit vos champs tels qu'ils sont au moment où vous cliquez sur Générer l'Insight, de sorte que la correction d'un réviseur est la version sur laquelle s'appuie la chronologie.

Tout cela se vérifie en très peu de temps. Échantillonner les documents codés comme non pertinents reste une bonne pratique, et comme les réponses se trouvent dans des champs, c'est une recherche ordinaire dans Discover. Une révision que l'on peut voir de part en part est beaucoup plus facile à défendre.

La même question, posée deux fois

Confiez le même contrat à trois avocats compétents et demandez à chacun un résumé, et vous recevrez trois résumés exacts qui ne se ressemblent en rien. Demandez aux trois mêmes si le contrat contient une clause d'indemnisation, et de la citer le cas échéant, et vous entendrez trois fois la même réponse, parce qu'une question étroite laisse si peu de place pour s'égarer.

Notre centre d'aide résume l'idée en une formule digne d'être épinglée au-dessus du bureau de révision : les résumés peuvent varier, mais pas les décisions. L'article Pourquoi vous pourriez ne pas obtenir deux fois la même réponse en expose les raisons en termes simples, à commencer par la façon dont un modèle de langage choisit ses mots.

Une telle constance est ce qui rend un processus défendable. Quand une question bien construite aboutit à la même décision sur le même document, peu importe qui la lance, la décision peut être rattachée à la question, et la question vous appartient.

Explicable à quiconque le demande

Comme nous l'avons écrit dans L'obligation de compétence, le devoir de compétence exige des avocats qu'ils puissent expliquer en termes simples ce que leurs outils ont fait, un peu comme ils rendraient compte du travail d'un réviseur junior. Ce devoir est difficile à remplir avec un outil qui fonctionne comme de la magie, et tout à fait à portée de main avec un outil qui garde sa méthode en vue.

Briser la baguette

Vers la fin de La Tempête, Prospero renonce à son art. « Cette rude magie, je l'abjure ici », dit-il, en promettant de briser sa baguette et de noyer son livre, et dans l'épilogue, il s'avance sans ses charmes pour parler simplement au public et lui demander son indulgence. C'est l'un des plus beaux moments de Shakespeare, et c'est dans cet esprit que nous avons cherché à construire Claira.

Il y a beaucoup d'ingénierie minutieuse en dessous, et la rapidité est bien réelle, mais à la surface, là où votre jugement rencontre le travail, nous avons cherché à tout garder bien en vue, pour que le chemin qui mène de votre question aux réponses dans vos champs puisse être suivi par quiconque en a besoin. Le résultat est rapide, efficace et facile à utiliser, et il peut être expliqué à chaque étape aux personnes qui ont besoin de le comprendre.

Par où commencer

La façon la plus sûre d'en juger est de le voir à l'œuvre sur des documents que vous connaissez déjà. Prenez un dossier clos, rédigez la question à laquelle votre équipe a autrefois répondu à la main, demandez à Claira de donner ses raisons en plus de ses réponses, et comparez les points où elle s'accorde avec vos réviseurs et ceux où elle s'en écarte.

Si vous aimeriez être accompagné pendant cette première heure, réservez une courte séance avec notre équipe, apportez un ensemble de documents que vous connaissez bien, et nous vous montrerons comment tout cela fonctionne.