how to
Como medir a qualidade da revisão de sigilo profissional (privilégio)?
A qualidade da revisão de sigilo profissional (privilégio) é medida testando uma amostra da população revisada quanto a dois tipos de erro - documentos privilegiados que passaram despercebidos e documentos não privilegiados que foram retidos - e acompanhando essas taxas junto com a consistência entre revisores e a completude do registro de privilégio.
O sigilo profissional (privilégio) é a única área da revisão de documentos em que um único erro pode ser irreparável. Por isso, a qualidade precisa ser medida, e não presumida.
Dois tipos de erro importam, e eles puxam em direções opostas:
- Subdesignação: um documento privilegiado é produzido. Esse é o risco de divulgação que preocupa a todos.
- Superdesignação: um documento não privilegiado é retido. Isso infla o registro de privilégio, abre espaço para contestações e custa credibilidade.
As medições habituais:
Teste de elusão (elusion testing). Selecione uma amostra dos documentos que a revisão codificou como não privilegiados e revise-os novamente com atenção. A proporção que se revelar privilegiada é a sua taxa de elusão, e ela é o que há de mais próximo de uma medida direta do que você está prestes a produzir por engano.
Recall e precisão. Em comparação com uma amostra de controle revisada com cuidado, o recall indica a parcela dos documentos realmente privilegiados que foi identificada, e a precisão indica a parcela dos documentos retidos que era de fato privilegiada.
Consistência entre revisores. Encaminhe os mesmos documentos a mais de um revisor e compare. Uma divergência ampla geralmente indica que os critérios de privilégio são ambíguos, e não que os revisores foram descuidados.
Qualidade do registro. As descrições devem sustentar a alegação de privilégio sem levar à sua renúncia e devem caracterizar documentos semelhantes de forma consistente.
Qualquer que seja o método, formalize o protocolo por escrito antes de começar. Um processo documentado, baseado em amostragem e reproduzível é o que torna o resultado defensável quando ele é contestado.
Leitura relacionada: Revisão de privilégio na era da IA generativa.
Uma vantagem estrutural da revisão assistida por IA é a consistência: os mesmos critérios aplicados a todos os documentos, com o raciocínio registrado para o controle de qualidade. Você pode ver como a Claira lida com isso.