Révision eDiscovery par IA pour les dossiers de plus de 100 000 documents

Il existe, dans une grande partie de la couverture moderne de l'IA pour le secteur juridique, une hypothèse tacite selon laquelle le problème de la revue documentaire est déjà résolu. Les démonstrations paraissent rapides. Les expériences de conversation sur un seul document semblent magiques. Les présentations parlent d'agents, d'orchestration et de raisonnement, et les captures d'écran montrent généralement un dossier bien rangé contenant quelques dizaines de contrats.

Si vos dossiers ressemblent à cela, la génération actuelle d'outils d'IA juridique généralistes vous conviendra probablement très bien. Mais si vous gérez une véritable eDiscovery, vos dossiers ne ressemblent pas à cela. Ils ressemblent à une liste de détenteurs de données avec vingt noms, à une collection qui a extrait un demi-téraoctet de boîtes aux lettres et de lecteurs partagés, et à une population de revue qui, après filtrage, contient encore six ou sept cent mille documents sur lesquels vous devez prendre des décisions défendables.

Cet écart entre la démo et la discovery est précisément la raison pour laquelle nous avons conçu Claira de la manière dont nous l'avons fait. Cet article explique ce qui change lorsque vous cessez de concevoir pour des jeux de revue de mille documents et que vous commencez à concevoir pour des jeux de revue d'un million de documents.

Les plateformes que voient la plupart des avocats ne sont pas conçues pour cela

Il existe actuellement sur le marché deux grandes familles d'outils d'IA souvent décrits comme de « l'IA juridique », mais qui résolvent des problèmes très différents.

La première famille est le copilote pour avocats. Harvey, Hebbia, CoCounsel, Spellbook et plusieurs autres entrent dans cette catégorie. Ils excellent dans le type de travail qu'un collaborateur principal effectue dans une fenêtre Word : rédaction, synthèse d'une poignée de documents, réponses à des questions sur un contrat, préparation de notes. Le modèle d'interaction est conversationnel, le corpus est réduit, et le flux de travail suppose une intervention humaine lisant presque tout ce qui passe par le modèle. Nous avons déjà écrit sur la manière de transposer les invites de ces outils dans Claira, parce que les deux univers utilisent l'IA différemment.

La deuxième famille est la plateforme de revue eDiscovery. Elle doit faire quelque chose de fondamentalement différent. Elle doit évaluer chaque document d'un jeu de revue filtré au regard de vos critères de revue, produire une justification écrite pour chaque décision, remonter les cas limites à un humain, et le faire dans le cadre d'un budget et d'un calendrier que le dossier peut réellement absorber. Le corpus est vaste, le modèle d'interaction est de masse, et le flux de travail suppose que l'IA effectue le premier passage sur des documents que l'humain ne lit jamais à froid.

Un copilote peut être adapté à cette deuxième tâche, mais les coutures apparaissent rapidement. La latence cesse d'être une curiosité et devient une ligne budgétaire. Des coûts qui n'étaient que des broutilles à cent documents deviennent des devis que le client n'approuvera pas à cent mille. Les pistes d'audit qui fonctionnaient conversation par conversation commencent à nécessiter leur propre infrastructure. Et toute la forme du déploiement change, parce que les réviseurs ne veulent plus d'une fenêtre de conversation - ils veulent que chaque document soit codé dans la plateforme de revue qu'ils utilisent déjà.

Ce que l'échelle exige réellement

Lorsque l'unité de travail n'est plus un document mais une population de revue, certaines exigences cessent d'être facultatives.

La première est un débit constant à un coût par document prévisible. Lancer une recherche vectorielle sur cent mille documents pour faire ressortir une poignée d'entre eux correspond à un appel de modèle. Exécuter sur cent mille documents une décision de pertinence rédigée et justifiée représente au minimum cent mille appels de modèle. La plateforme doit soit facturer cette charge à un niveau acceptable pour le client, soit ne pas être utilisée à cette échelle.

La deuxième est l'intégration avec la plateforme dans laquelle votre équipe se trouve déjà. La revue eDiscovery est un sport d'équipe, et l'équipe ne va pas migrer vers une nouvelle interface pour chaque dossier. Les décisions de codage, les caviardages, les décisions sur le privilège et les jeux de production se font dans Nuix Discover ou dans la plateforme pour laquelle l'équipe détient une licence. L'IA doit écrire ses résultats dans les mêmes champs que ceux que les réviseurs utilisent déjà, et non dans un tableau de bord séparé qu'il faudra rapprocher plus tard. Claira s'installe dans Nuix Discover et écrit les résultats directement dans les champs natifs pour בדיוק cette raison.

La troisième est le contexte propre au dossier. Une décision de pertinence générique portant sur cent détenteurs de données, trois gammes de produits et quatre années de communications n'est pas utile, parce que le modèle n'a aucune idée de ce à quoi ressemble un document pertinent pour ce dossier. La plateforme doit disposer d'un moyen structuré d'intégrer la théorie de l'affaire, les acteurs clés, les dates qui comptent et les catégories que l'équipe a décidé de coder. Claira appelle cela le Case Context, et c'est ce qui distingue un modèle qui produit une analyse plausible d'un modèle qui produit une analyse avec laquelle vos réviseurs seniors sont d'accord.

La quatrième, et celle qu'il est le plus difficile de rétrofiter, est la défendabilité. Chaque document du jeu de revue obtient une justification écrite, et non un score de similarité. Nous avons formulé l'argument philosophique en faveur de cette approche ailleurs. En pratique, les plateformes conçues pour des interactions de chat sur de petits corpus n'avaient pas besoin d'une couche de défendabilité, elles n'en ont donc pas construit. L'ajouter après coup est difficile.

Pourquoi l'histoire des coûts compte plus que la démo

Dans un petit dossier, le coût de l'IA est une curiosité. Dans un grand dossier, c'est la proposition. Les responsables du support contentieux et les associés qui décident quelle IA déployer sur une revue de cent mille documents font un exercice de calcul par document, souvent mentalement, parfois dans un tableur. La question n'est pas de savoir si le modèle est impressionnant. La question est de savoir s'il l'est à une économie de jetons qui vous permet de facturer le client tout en restant sous le coût de référence d'une revue linéaire.

Claira est conçue autour de cette question. L'analyse par lots est pensée pour des charges de travail à fort volume nécessitant des justifications écrites, avec un profil de jetons qui tient sur des centaines de milliers de documents. Le Case Context est réutilisé à chaque analyse d'un dossier, ce qui maintient le coût d'entrée par document à un niveau stable à mesure que le dossier grandit. Les résultats sont structurés, de sorte que les réviseurs consacrent leur temps aux cas limites plutôt qu'à relire chaque analyse depuis le début.

Le résultat est une plateforme qui devient moins coûteuse par document à mesure que le dossier grossit, ce qui est l'inverse de ce à quoi la plupart des équipes s'attendent désormais de l'IA.

Ce qu'il faut demander avant de vous engager sur une plateforme

Si vous évaluez un outil de revue par IA pour un grand dossier, trois questions suffisent généralement à déterminer si l'outil est réellement conçu pour ce travail.

La première est de savoir ce qui se passe lorsque vous exécutez la même invite sur cent mille documents. Si la réponse implique une file d'attente, une intégration API sur mesure ou un modèle de tarification par poste qui suppose qu'un réviseur traite un document à la fois, l'outil est un copilote déguisé.

La deuxième est de savoir ce qui est écrit dans la plateforme de revue lorsque l'analyse se termine. Si la réponse est un tableau de bord, un export CSV ou une interface distincte, l'outil va ajouter du travail à la journée de vos réviseurs plutôt que d'en retirer.

La troisième est de savoir à quoi ressemble la piste d'audit pour un document que le modèle a jugé non pertinent. Si la réponse est un score de confiance, vous regardez un système de recherche probabiliste. Si la réponse est une analyse écrite expliquant pourquoi le document ne correspond pas aux critères de revue, vous regardez une plateforme qui prend la défendabilité au sérieux.

Ce ne sont pas des questions pièges. Ce sont celles qui distinguent les outils que vous pouvez démontrer de ceux sur lesquels vous pouvez mener une eDiscovery.

Si vous évaluez un dossier qui dépasse le seuil des cent mille documents et que vous voulez voir à quoi ressemble réellement une revue par IA conçue pour cette échelle, réservez une présentation guidée de quinze minutes. Nous exécuterons Claira sur un échantillon représentatif de vos données et vous montrerons à quoi ressemble l'économie par document pour votre corpus précis. C'est généralement une conversation plus utile qu'un autre jeu de diapositives.