Comment créer une piste de preuves pour les décisions d'IA

Lorsque l'IA est utilisée dans le cadre de travaux juridiques, la question qui finit par se poser est la suivante : comment êtes-vous parvenu à cette réponse ? Être en mesure d'y répondre est un problème de documentation plutôt qu'un problème d'ordre technique.

Consignez la directive. Enregistrez le critère ou l'instruction exacte de guidage (prompt) ayant été appliqué, et attribuez-lui une version. Si les critères ont changé en cours d'examen, le registre doit indiquer à quel moment, et quels documents ont été évalués sous quelle version.

Consignez le résultat. Conservez la décision du modèle et tout indicateur de niveau de confiance parallèlement au document, plutôt que de les écraser par la décision humaine finale. Les deux données auront leur importance par la suite.

Conservez les références. L'élément d'information le plus utile est un renvoi au texte précis sur lequel le modèle s'est appuyé. Une conclusion étayée par une source citée se vérifie en quelques secondes ; sans elle, toute vérification est impossible. C'est également la protection la plus directe contre l'éventualité qu'un modèle affirme une chose alors que le dossier ne l'étaye pas.

Enregistrez la décision humaine. Notez qui a examiné la suggestion, s'il l'a acceptée ou rejetée, et à quel moment. Les taux d'annulation constituent en eux-mêmes un excellent indicateur de qualité.

Conservez le registre de validation. Les résultats de l'échantillonnage, le taux de rappel mesuré par rapport à un ensemble de contrôle et toute validation du contrôle de la qualité doivent figurer dans le même dossier. C'est ce qui permet de transformer l'affirmation « nous avons utilisé l'IA » en « nous avons utilisé l'IA, et voici comment nous l'avons testée ».

Une grande partie de cette approche s'inspire des pratiques établies de longue date en matière de recherche assistée par ordinateur, pour lesquelles les tribunaux se sont généralement concentrés sur le caractère raisonnable et la documentation du processus plutôt que sur la technologie spécifique utilisée.

Lecture complémentaire : Leçons tirées de la décision Zhang c. Chen : comment les avocats canadiens peuvent concrètement éviter les hallucinations de l'IA en cours de contrôle.

Claira est conçue pour que chacun de ces éléments d'information soit généré naturellement au cours du processus d'examen habituel, plutôt que d'être assemblé a posteriori. Vous pouvez consulter à quoi ressemble ce registre.