definition
O que é uma trilha de evidências de IA?
Uma trilha de evidências de IA é o registro de como um sistema de IA chegou a uma conclusão sobre um documento - o que lhe foi solicitado, em que texto se baseou e o que retornou -, mantido para que o resultado possa ser verificado e defendido posteriormente.
No trabalho jurídico, uma trilha de evidências de IA é a documentação que mostra como um sistema de IA chegou a determinado resultado. Em vez de aceitar uma classificação ou um resumo isoladamente, a trilha permite que o revisor rastreie o resultado até o material e as instruções que o produziram.
O que uma trilha útil normalmente registra
- A instrução ou o critério dado ao modelo
- O documento ou trecho em que o modelo se baseou, de preferência citado
- O próprio resultado, incluindo qualquer decisão de codificação associada a ele
- Qual modelo ou versão do modelo foi executado, e quando
- O que o revisor humano fez com o resultado: aceitou, reverteu ou escalou
Por que isso importa
A parte contrária, um órgão regulador ou um tribunal pode perguntar como a revisão foi conduzida. Um fluxo que só consegue dizer "a IA sinalizou" é difícil de defender; um que consegue mostrar o critério, o texto citado e a verificação humana é muito mais fácil de explicar. Orientações de várias ordens dos advogados (law societies) hoje tratam do dever de competência tecnológica, o que, na prática, significa ser capaz de descrever o que uma ferramenta fez e como ela foi supervisionada.
A trilha de evidências também é uma ferramenta de qualidade. Quando você consegue ver qual trecho motivou uma decisão, consegue identificar critérios amplos demais, perceber quando um modelo está lendo a parte errada de um documento e corrigir a instrução antes que ela afete milhares de registros.
Leitura relacionada: Lições de Zhang v. Chen analisa o que pode acontecer quando resultados de IA chegam aos autos sem verificação.
A Claira é uma plataforma de eDiscovery com IA desenvolvida para trabalhos de revisão que precisam resistir a escrutínio - você pode agendar uma demonstração para ver como ela conduz a revisão documento a documento.