Réaliser un examen de l’IA à grande échelle

Ce guide passe en revue la stratégie, l’enchaînement des étapes et les arbitrages liés à la conduite d’une revue de documents assistée par IA à grande échelle dans Claira. Il s’adresse aux équipes juridiques qui s’apprêtent à faire relire par l’IA des dizaines ou des centaines de milliers de documents et qui souhaitent le faire de manière défendable, efficace et sans surprises.

L’idée centrale : une revue IA n’est pas une recherche par mots-clés plus vaste ou plus rapide. Elle s’apparente plutôt à la délégation d’un travail discrétionnaire à un collègue junior bien informé — sauf que ce collègue peut lire 10 000 documents à l’heure, ne se fatigue jamais et conserve un registre parfait de ce qu’il a fait et pourquoi. Votre rôle passe de la revue des documents à la rédaction d’instructions claires, à la validation des résultats et à l’exercice du jugement final consigné dans le champ de production.

1. Le changement d’état d’esprit

Avant toute chose, sortez votre équipe de l’état d’esprit Boolean / STF.

La recherche traditionnelle dans une base de données est algorithmique et fondée sur des facettes : il faut penser à chaque orthographe, à chaque variante d’un nom, à chaque manière dont un produit ou une personne peut être mentionné, le tout pondéré par des métadonnées comme le nombre de destinataires ou des plages de dates. Ce travail n’est plus nécessaire. Le LLM gère nativement la variabilité linguistique — orthographe, traductions, fautes d’orthographe, variations de noms, synonymes. Vous n’avez pas besoin de dresser la liste de toutes les façons dont « le contrat » pourrait apparaître dans 200 000 documents.

Ce qui remplace ce travail, c’est une consigne en langage clair. Vous dites au modèle de quoi il est question dans le dossier et ce que vous voulez savoir, de la même manière que vous brieferiez un étudiant stagiaire autour d’un café. La qualité de la revue est désormais déterminée par la qualité de ce briefing, et non par l’ingéniosité de votre syntaxe de recherche.

C’est le plus grand ajustement pour les praticiens chevronnés de la eDiscovery. Faites confiance au modèle pour la variabilité linguistique. Consacrez vos efforts au contexte et à la consigne.

2. Deux niveaux de cadrage

Toute revue IA comporte deux niveaux de cadrage. Gardez-les distincts dans votre esprit.

Niveau 1 — la tâche. Que cherche à déterminer cette revue ? Quels sont les enjeux ? Qui sont les personnes pertinentes ? Quelle est la théorie du dossier ? Cela doit venir de l’équipe juridique. Personne d’autre ne peut le rédiger.

Niveau 2 — la sortie. Sous quelle forme les réponses doivent-elles être renvoyées — indicateurs oui/non par enjeu, justification en texte libre, champs structurés, résumés ? C’est mécanique, et Claira s’en charge. L’objectif est d’obtenir une sortie facile à valider, facile à filtrer et facile à coder en lot vers des champs de production, sans repasser quoi que ce soit dans l’IA.

Vous vous occupez du niveau 1. Claira s’occupe du niveau 2.

3. Préparation avant l’engagement

Avant d’activer l’abonnement et de commencer à construire des consignes, préparez trois entrées.

3.1 Le contexte du dossier

Il s’agit d’un résumé écrit de l’objet du dossier. Il n’a pas besoin d’être rédigé de façon soignée ni de suivre un modèle. Voyez-le comme la note de briefing que vous donneriez à un nouveau juriste qui rejoint le dossier. Incluez :

• Un court récit factuel du litige ou de l’enquête

• La période pertinente

• Les principales allégations ou questions en jeu

• La théorie de la demande ou de la défense, le cas échéant

• Les entités, produits, projets ou systèmes clés mentionnés dans les documents

Vous pouvez extraire cela des actes de procédure, mais ceux-ci sont souvent une source médiocre — trop procéduraux, trop dépouillés. Une note de briefing, un résumé interne du dossier ou un document de stratégie est généralement préférable. Si vous en avez déjà un pour le dossier, c’est votre point de départ.

Claira fera passer ce contexte brut dans une étape d’extraction structurée afin de produire un objet de contexte du dossier — une ventilation claire des enjeux et des personnes que le modèle utilise à chaque consigne ultérieure. Vous verrez cette sortie structurée et la confirmerez avant tout lancement de revue. C’est le premier contrôle de cohérence.

3.2 Les questions

Listez toutes les questions auxquelles vous voulez que les documents répondent. Ne préfiltrez pas, n’essayez pas d’optimiser, ne regroupez pas les questions que vous pensez similaires. Si vous confieriez 30 ou 50 questions à une équipe de stagiaires en droit, donnez-nous 30 ou 50 questions.

Rédigez-les en langage clair, dans la langue qui est naturelle pour votre équipe. Le modèle est agnostique à la langue en entrée comme en sortie.

Claira examine la liste de questions et recommande comment les structurer — lesquelles combiner, lesquelles hiérarchiser, lesquelles ne poser que sur des documents ayant franchi un filtre précédent. Cette recommandation dépend de la forme des questions, donc nous donner la liste complète compte davantage que nous donner une liste épurée.

3.3 La liste d’exclusion

Identifiez les ensembles documentaires, les déposants, les collections sources ou les types de documents que l’équipe est à l’aise d’exclure complètement de la revue. Soyez conservateurs — le débit est suffisamment élevé pour qu’une inclusion large soit généralement le bon réflexe par défaut — mais il existe presque toujours des poches de documents manifestement hors champ qui n’ont pas besoin d’être traitées.

Cette liste est transmise avec le contexte et les questions au moment de la remise pour la construction des consignes.

4. Élaborer la consigne

Une consigne Claira, c’est le contexte du dossier plus la question. Le contexte du dossier est partagé sur l’ensemble du dossier ; la question est ce qui change d’une tâche à l’autre. Ensemble, ils indiquent au modèle : voici de quoi il s’agit, voici ce que je veux que vous déterminiez dans ce document.

Claira construit et affine la consigne au départ, surtout lors de la première revue d’une équipe. Vous voyez chaque consigne, chaque objet de contexte et chaque sortie. Rien n’est caché.

La consigne produit une sortie structurée qui est inscrite dans des champs IA dédiés sur chaque document — jamais directement dans le champ de pertinence de production. Cette séparation est intentionnelle : la détermination de l’IA n’est qu’une entrée dans votre décision, pas la décision elle-même. Vous procédez au codage en lot, depuis les champs IA vers les champs de production après le CQ, selon votre propre jugement.

Chaque sortie comprend aussi une brève justification — une phrase expliquant pourquoi le modèle a répondu ainsi. C’est ce qui rend possible une lecture rapide à grande échelle, et c’est ce qui vous donne un caractère défendable.

5. Assurance qualité avant l’exécution complète

Ne lancez pas la consigne sur l’ensemble de la population la première fois que vous la construisez. Exécutez-la sur de petits lots et lisez attentivement les résultats.

La méthode :

• Prenez un échantillon de documents que vous savez déjà devoir faire ressortir pour chaque enjeu — les évidents, les cas faciles que vous pourriez trouver avec une recherche par mots-clés de base.

• Exécutez la consigne sur 50 d’entre eux.

• Lisez les résultats.

• Exécutez-en 50 autres.

• Lisez les résultats.

Vous ne cherchez pas ici une représentativité statistique. Vous cherchez à savoir si le modèle interprète l’instruction comme vous l’entendiez. S’il surcode parce que l’instruction était trop large (« toute personne portant ce nom de famille ») ou sous-code parce qu’elle est trop étroite, vous affinez la consigne et recommencez. C’est le moment du « le collaborateur junior revient avec le premier lot ». La plupart des consignes nécessitent au moins un cycle d’ajustement ; certaines en nécessitent plusieurs.

Pour l’hétérogénéité des types de documents (courriels, contrats, spécifications techniques, feuilles de calcul), envisagez de lancer des lots de CQ par type pour confirmer que la consigne tient dans tous les formats. Vous pouvez décider de scinder l’exécution en lots distincts par type de document.

6. L’exécution complète

Une fois le CQ validé, la revue complète démarre. Claira traite environ 10 000 documents par heure. Un jeu de 200 000 documents se termine en moins d’une journée en temps réel.

Pour la plupart des dossiers, Claira recommande un flux de travail par paliers plutôt que de poser toutes les questions à tous les documents. La structure :

1. Une consigne de premier passage effectue une détermination grossière — ce document se rapporte-t-il au dossier, et dans quelle grande catégorie d’enjeux ?

2. Les documents qui échouent au premier passage ne reçoivent pas toute la batterie de questions détaillées.

3. Les documents qui passent sont soumis aux consignes de niveau deux, plus granulaires.

La hiérarchisation fait deux choses : elle concentre la dépense en jetons sur les documents qui ont du potentiel, et elle rend la sortie plus propre, car on ne pose pas de questions auxquelles les documents non pertinents n’ont pas de réponse. Claira recommande la structure de hiérarchisation en fonction de la liste de questions.

7. Contrôle qualité après l’exécution

Le CQ est fondamentalement différent dans une revue IA par rapport à une revue humaine.

Les réviseurs humains commettent des erreurs aléatoires — un réviseur code de manière incohérente par rapport à un autre, un moment d’inattention code mal un document, la fatigue entraîne une dérive au fil d’une semaine de travail. Les erreurs aléatoires exigent un échantillonnage aléatoire pour être détectées. Les pratiques traditionnelles de CQ en discovery échantillonnent environ 350 documents dans une population afin de borner le taux d’erreur à 5 % ou 2,5 %, quelle que soit la taille de la population (jusqu’à environ 10 millions de documents).

Les réviseurs IA ne commettent pas d’erreurs aléatoires. Ils commettent des erreurs systématiques — la consigne était ambiguë dans un sens, donc le modèle a orienté tous les documents limites de la même manière. Vous n’avez pas besoin de 350 documents aléatoires pour le constater. Vous avez besoin d’un échantillonnage stratifié : prenez les documents qui correspondent à chaque enjeu et vérifiez si l’instruction a été interprétée comme prévu.

En pratique, le CQ ressemble à ceci :

• Prenez tous les documents que l’IA a signalés pour l’enjeu 1. Parcourez-en 20 à 30 avec leurs justifications. Sont-ce tous des cas raisonnables ? Si oui, passez à la suite. Si quelque chose est régulièrement erroné, c’est que la consigne était incorrecte — affinez-la et relancez cet enjeu.

• Répétez pour chaque enjeu.

• Contrôlez par sondage les non-réponses afin de confirmer que la consigne ne manque pas systématiquement une catégorie.

Deux asymétries importantes à intégrer :

• Les faux négatifs sont le vrai risque. Un document qui aurait dû être signalé et ne l’a pas été est un problème que vous ne découvrirez peut-être jamais. Orientez l’effort de CQ vers leur détection.

• Les faux positifs sont tolérables. Une consigne trop inclusive qui signale certains documents qui s’avèrent finalement non pertinents, ce n’est pas grave — vous les rattrapez lors de la revue humaine, et le coût est du temps de lecture, non une perte de preuve.

Le CQ peut être différé. Les déterminations de l’IA sont des champs persistants sur chaque document. Elles résident dans la base de données. Vous pouvez exécuter les consignes en mai et faire le CQ final en novembre : la sortie est toujours là, interrogeable, sans coût supplémentaire en jetons. Cela compte lorsque la capacité de revue est le goulot d’étranglement plutôt que la capacité de traitement. Vous pouvez lancer le travail de l’IA aussi vite que les consignes le permettent, puis faire intervenir plus tard des réviseurs humains pour valider et coder en lot sans réexécuter quoi que ce soit.

8. Codage en lot vers la production

Après le CQ, l’avocat décide de ce qui est codé dans le champ de pertinence de production. Comme la sortie de l’IA se trouve dans des champs dédiés avec justification, il s’agit généralement d’une opération de masse : filtrer selon les champs IA lorsque l’équipe est confiante, puis coder en lot vers les champs de production. Lorsque l’équipe n’est pas d’accord avec l’IA, ces documents sont envoyés à une revue manuelle ou font l’objet d’une nouvelle consigne.

Le récit défendable est simple : oui, l’IA a été utilisée. L’avocat a pris la décision. La piste d’audit montre quel contexte a été chargé, quelle consigne a été exécutée, ce que le modèle a renvoyé et ce que l’humain a décidé. Cela écarte la question de l’hallucination de la même manière qu’un travail junior supervisé par un avocat l’écarte : l’avocat senior demeure responsable de la décision.

9. Caractère défendable et piste d’audit

Tout est consigné :

• L’objet de contexte du dossier, y compris les enjeux structurés et les personnes extraits du briefing

• Chaque consigne, y compris toutes les révisions

• Le lien entre chaque consigne et les réponses qu’elle a produites

• Les résultats par document avec justification

Cela signifie que l’équipe peut démontrer, pour toute décision de codage donnée, l’instruction exacte qui était en cours lorsque l’IA a pris sa décision. Les traces remontent jusqu’au briefing initial. Si une décision de codage est contestée plus tard, la chaîne de raisonnement peut être reconstituée.

10. Travailler avec les listes de questions — quelques ajustements

Quelques remarques pratiques sur la liste de questions :

• N’écrivez pas de logique booléenne. « Les documents qui mentionnent X mais pas Y » est un motif de requête, pas une question. Posez la question sous-jacente — « Ce document traite-t-il de X dans le contexte de A ? » — et laissez le modèle gérer la logique.

• Soyez précis sur ce qui fait qu’un oui est un oui. « Ce document est-il pertinent pour le litige ? » est trop vague. « Ce document traite-t-il des négociations entre la partie A et la partie B concernant la clause de résiliation ? » est exploitable.

• Demandez une justification utile. Précisez ce que vous voulez dans l’explication en une phrase — l’acteur, l’action, la date, tout ce qui vous permet de valider par survol le plus rapidement possible.

• Regroupez les questions liées. Si trois questions ne comptent que pour les documents qui soulèvent un enjeu parent, signalez-le. Claira les hiérarchisera.

11. Calendrier et échelle

Quelques chiffres pratiques pour planifier :

• L’abonnement doit être actif avant la construction des consignes. Le stockage du contexte et des consignes est par dossier.

• Environ 10 000 documents par heure de débit.

• Dans une mission typique, la majeure partie du temps calendaire est consacrée à la construction des consignes et au CQ, et non à l’exécution complète.

• Calendrier réaliste pour un jeu de 200 000 documents, du lancement à la remise aux réviseurs humains : environ quatre semaines, principalement en amont sur le contexte, les questions et les itérations de CQ.

12. Ajustements courants à prévoir

Presque toute revue comporte au moins l’un des ajustements suivants pendant le CQ. Aucun n’est problématique — c’est la forme normale de l’affinage d’une consigne.

• La consigne était trop large sur un nom ou une entité précis, ce qui a entraîné la prise en compte d’homonymes sans lien. Reserrez avec un contexte de désambiguïsation.

• La consigne a manqué une catégorie de documents pertinents parce que l’équipe avait une hypothèse tacite qui n’avait pas été intégrée au contexte. Ajoutez-la au contexte, puis relancez.

• La justification de sortie est cohérente, mais pas assez informative pour une lecture rapide. Ajustez le format de sortie.

• Un type de document (un export de discussion, une structure particulière de feuille de calcul) perturbe le modèle de manière cohérente. Scindez ce type dans son propre lot avec une consigne adaptée.

13. Vue d’ensemble

Une revue IA bien menée dans Claira ressemble à ceci :

1. Briefez le dossier en langage clair. Donnez-nous votre contexte, votre liste complète de questions et ce qu’il faut exclure.

2. Confirmez le contexte structuré du dossier que Claira extrait de votre briefing.

3. Lancez de petits lots de CQ sur des documents dont vous savez qu’ils sont justes. Affinez la consigne jusqu’à ce que la sortie soit celle que vous auriez rédigée vous-même.

4. Exécutez l’ensemble de la population, par paliers comme recommandé.

5. Faites le CQ par enjeu, et non sur un échantillon aléatoire. Recherchez les erreurs systématiques. Privilégiez la détection des faux négatifs.

6. Différez le CQ final si la capacité des réviseurs est le goulot d’étranglement — la sortie persiste.

7. Procédez au codage en lot vers les champs de production sur la base du jugement de l’avocat, la détermination de l’IA servant d’entrée.

8. Conservez la piste d’audit pour assurer le caractère défendable.

L’effort total passe de « revoir 200 000 documents » à « bien instruire, valider la sortie sur quelques centaines de documents et exercer le jugement final sur le volume principal ». C’est cela, l’histoire de la productivité, et c’est aussi pourquoi réussir les premières étapes compte plus que tout le reste dans le flux de travail.