how to
Como criar uma trilha de evidências para decisões de IA
Uma trilha de evidências para decisões de IA se constrói com quatro elementos: o registro do que foi solicitado ao modelo, o resultado que ele produziu, o trecho de origem em que esse resultado se baseou e a decisão humana tomada em seguida. Juntos, eles permitem que uma equipe reconstrua e defenda a forma como chegou a uma conclusão.
Quando a IA é usada no trabalho jurídico, a pergunta que cedo ou tarde surge é: como vocês chegaram a essa resposta? Conseguir respondê-la é mais uma questão de documentação do que um problema técnico.
Registre a instrução. Registre os critérios ou o prompt exatos aplicados e controle suas versões. Se os critérios mudaram no meio da revisão, o registro deve mostrar quando, e quais documentos foram avaliados com qual versão.
Registre o resultado. Armazene a determinação do modelo e qualquer indicador de confiança junto com o documento, em vez de sobrescrevê-los com a decisão humana final. Ambos importam mais tarde.
Guarde a citação. O artefato mais útil é uma referência ao trecho específico em que o modelo se baseou. Uma conclusão com a fonte citada pode ser conferida em segundos; uma sem ela simplesmente não pode ser conferida. Essa também é a proteção mais direta contra um modelo que afirme algo que o registro não sustenta.
Registre a decisão humana. Anote quem revisou a sugestão, se a aceitou ou a reverteu, e quando. As taxas de reversão são, por si só, um indicador de qualidade útil.
Guarde o registro de validação. Os resultados de amostragem, o recall medido em relação a um conjunto de controle e quaisquer rodadas de controle de qualidade pertencem ao mesmo arquivo. É isso que transforma "usamos IA" em "usamos IA, e é assim que a testamos".
Grande parte disso reflete a prática consolidada da revisão assistida por tecnologia, em que os tribunais em geral se concentraram na razoabilidade e na documentação do processo, e não na tecnologia específica utilizada.
Leitura relacionada: Lições de Zhang v. Chen: como advogados canadenses podem de fato evitar alucinações de IA na revisão.
A Claira foi projetada para que cada um desses artefatos seja gerado como subproduto da revisão normal, e não montado depois. Você pode ver como é esse registro.