Le modèle de référence TAR 1 : ce que le nouveau cadre de la Sedona Conference signifie pour la révision par l'IA générative

En mars 2024, la Sedona Conference a publié un document qui a discrètement redéfini la façon dont les praticiens devraient envisager l'examen assisté par IA. Rédigé par Tara Emory, Jeremy Pickens et Wilzette Louis de chez Redgrave Data, le modèle de référence « TAR 1 » soutient que l'IA générative ne nécessite aucunement un nouveau cadre d'examen. Elle s'intègre parfaitement dans le même processus défendable sur lequel les équipes de litige s'appuient depuis plus d'une décennie. Cette affirmation revêt aujourd'hui une importance encore plus grande que lors de la publication du document, car les outils d'examen basés sur l'IA générative sont passés du stade de projets pilotes à une utilisation quotidienne dans les services de soutien aux litiges partout au Canada et ailleurs. Comprendre ce modèle de référence permet d'offrir à votre équipe un vocabulaire commun pour évaluer n'importe quel outil d'examen d'IAGen, y compris Claira, par rapport à une norme déjà reconnue par les tribunaux et les avocats de la partie adverse.

Ce qu'est réellement le TAR 1

La technologie d'examen assisté, ou TAR (Technology-Assisted Review), a été définie il y a plus de dix ans par Maura Grossman et Gordon Cormack comme un processus qui fait appel à des experts en la matière pour entraîner un système informatique, puis extrapoler ces jugements à l'ensemble d'un corpus de documents. Le TAR 1 est le flux de travail spécifique au sein de cette catégorie plus large qui est le plus pertinent pour l'examen de premier niveau. Il construit un modèle prédictif, puis l'applique pour catégoriser l'ensemble d'une population de documents comme pertinente ou non pertinente. Historiquement, le TAR 1 reposait sur des algorithmes d'apprentissage automatique discriminatifs, tels que les machines à vecteurs de support ou les classificateurs de régression logistique, entraînés sur des milliers d'exemples codés par des humains. L'idée centrale de la Sedona Conference est qu'un grand modèle de langage (LLM), correctement guidé par des requêtes (prompts), fonctionne lui aussi comme un classificateur supervisé. Le moteur change. Le véhicule, c'est-à-dire le processus global TAR 1, reste le même.

Cette distinction n'est pas purement académique. Elle signifie que les protocoles d'examen, les arguments de défendabilité et les mesures de qualité que votre équipe a déjà élaborés autour du TAR 1 n'ont pas besoin d'être réinventés pour l'IA générative. Ils doivent simplement être appliqués de manière cohérente à un nouveau type de moteur.

Les cinq étapes du modèle de référence

Le document présente cinq étapes qui s'appliquent quel que soit l'algorithme prédictif sous-jacent : la définition de la portée (scope), le contrôle de l'ensemble de référence (control set), l'itération du modèle (iterate model), la classification (classify) et la validation (validate). Définir la portée consiste à rassembler le corpus de documents et à demander aux avocats de délimiter les frontières de la pertinence avant de commencer tout étiquetage. Le contrôle de l'ensemble de référence consiste à prélever un échantillon aléatoire, à l'examiner manuellement et à le mettre de côté en tant que point de comparaison indépendant sur lequel le modèle ne s'entraînera jamais. L'itération du modèle est l'étape où le véritable travail s'effectue : sélectionner des exemples d'entraînement supplémentaires, intégrer cette information dans le modèle ou la requête, appliquer la version mise à jour à l'ensemble de référence, et évaluer si la précision et le rappel se sont suffisamment améliorés pour justifier un autre cycle. La classification applique le modèle finalisé à l'ensemble du corpus non étiqueté. La validation, que le document qualifie d'optionnelle mais de sous-utilisée, consiste à échantillonner une dernière fois les résultats classifiés pour confirmer que l'extrapolation s'est avérée exacte.

Ce qui change entre le TAR 1 discriminatif et le TAR 1 par IAGen se situe entièrement dans l'étape d'itération du modèle. Les systèmes discriminatifs apprennent à partir d'exemples étiquetés directement fournis à un algorithme. Les systèmes d'IAGen apprennent à partir d'une requête qu'un humain rédige, teste et affine en langage naturel. Les auteurs de la Sedona Conference prennent soin de préciser que le rédacteur de la requête devrait être une personne différente de celle qui a examiné l'ensemble de référence, afin que ce dernier demeure un outil de vérification impartial pour le modèle, plutôt qu'une source de réponses divulguées. Cette séparation des tâches mérite d'être intégrée à vos propres protocoles d'examen, quel que soit le moteur utilisé.

Là où l'IAGen modifie les compromis

Le document est lucide sur ce qui reste à prouver. Le TAR 1 discriminatif produit des scores finement gradués, ce qui permet à une équipe d'examen de choisir un point de coupure qui équilibre le rappel et la précision avec une certaine rigueur. Le TAR 1 par IAGen classe souvent selon des critères plus grossiers, ce qui peut obliger à choisir entre un point de coupure offrant un rappel très élevé et une faible précision, ou inversement, avec peu de marge de manœuvre entre les deux. L'IAGen coûte également plus cher par document examiné et fonctionne plus lentement que les modèles discriminatifs à l'heure actuelle, bien que les auteurs s'attendent à ce que ces deux écarts se réduisent. En contrepartie, l'IAGen offre de la flexibilité : la même étape qui qualifie un document de pertinent peut également signaler un risque lié au secret professionnel, extraire des faits clés ou résumer du contenu, des tâches qui nécessitaient auparavant des flux de travail entièrement distincts.

Pour les équipes de soutien aux litiges, voici la question pratique à laquelle le modèle de référence aide à répondre : non pas si l'examen par IAGen est défendable en principe, mais si un outil donné met en œuvre les étapes du TAR 1 de manière assez rigoureuse pour le rendre défendable en pratique. Un outil qui fait l'impasse sur les ensembles de référence, mélange les données d'entraînement avec la population de production, ou ne peut pas démontrer la portée de sa pertinence ne propose pas de TAR 1 par IAGen. Il propose un raccourci non supervisé habillé du vocabulaire du TAR 1.

Où cela mène-t-il les praticiens

Claira a été conçue en partant du principe que le modèle de référence deviendrait la norme, et non une exception. Chaque décision relative à la portée d'un dossier commence par le Contexte du dossier, où votre équipe définit le contexte, les enjeux et les critères de pertinence essentiels au dossier, soit le même travail que le document de Sedona décrit comme l'étape de définition de la portée. Ce contexte se maintient lors de chaque étape ultérieure, de sorte que la définition de la pertinence reste fixe comme l'exige le modèle de référence, plutôt que de dériver à mesure que les réviseurs progressent dans le corpus. Au moment d'appliquer cette définition à l'ensemble des documents, que ce soit par codage objectif ou par un traitement en lot pour étiqueter les documents pertinents, les étapes sous-jacentes correspondent directement à la classification et, lorsqu'une équipe choisit d'en effectuer une, à la validation.

Nous avons déjà écrit sur la façon dont les principes de Sedona Canada redéfinissent les attentes quant à ce qu'est un processus d'examen par IA défendable de notre côté de la frontière, et ce modèle de référence donne une forme concrète à cette attente. La proportionnalité et la coopération sont plus faciles à démontrer lorsque votre flux de travail peut s'appuyer sur une étape nommée et bien documentée pour chaque phase du processus, de la définition initiale de la portée jusqu'à la validation finale.

Le message principal du document de la Sedona Conference est rassurant plutôt qu'alarmant. L'IA générative ne demande pas aux équipes de soutien aux litiges d'abandonner les cadres qui ont rendu le TAR défendable depuis des années. Elle leur demande d'exiger des outils d'IAGen le respect de ces mêmes normes, et de se montrer sceptiques face à tout outil incapable de justifier son travail à chacune des cinq étapes. Si votre équipe évalue ce à quoi devrait ressembler un flux de travail TAR 1 par IAGen rigoureux au sein de Nuix Discover, réservez une séance de démonstration avec notre équipe et nous vous expliquerons comment Claira s'adapte à chaque étape du modèle de référence, y compris les ensembles de référence.