how to
¿Cómo se mide la calidad de la revisión de privilegio?
La calidad de la revisión de privilegio (secreto profesional) se mide analizando una muestra de la población revisada en busca de dos tipos de error (documentos privilegiados que se pasaron por alto y documentos no privilegiados que se retuvieron) y dando seguimiento a esas tasas junto con la coherencia entre revisores y la integridad del registro de privilegio.
El privilegio es el único ámbito de la revisión de documentos en el que un solo error puede ser irreparable. Por eso, la calidad tiene que medirse, no darse por sentada.
Hay dos tipos de error que importan, y tiran en direcciones opuestas:
- Designación insuficiente: se produce un documento privilegiado. Este es el riesgo de divulgación que a todos preocupa.
- Designación excesiva: se retiene un documento no privilegiado. Esto infla el registro de privilegio, da pie a impugnaciones y cuesta credibilidad.
Las mediciones habituales:
Prueba de elusión (elusion testing). Tome una muestra de los documentos que la revisión codificó como no privilegiados y vuelva a revisarlos con cuidado. La proporción que resulta estar protegida por privilegio es su tasa de elusión, y es lo más parecido a una medida directa de lo que está a punto de producir por error.
Exhaustividad (recall) y precisión. Frente a una muestra de control revisada cuidadosamente, la exhaustividad indica qué proporción de los documentos realmente privilegiados se detectó, y la precisión indica qué proporción de los documentos retenidos eran efectivamente privilegiados.
Coherencia entre revisores. Asigne los mismos documentos a más de un revisor y compare. Una divergencia amplia suele significar que los criterios de privilegio son ambiguos, no que los revisores sean descuidados.
Calidad del registro. Las descripciones deben sustentar la reclamación de privilegio sin renunciar a él, y deben caracterizar de manera coherente los documentos similares.
Sea cual sea el método, ponga el protocolo por escrito antes de empezar. Un proceso documentado, basado en muestreo y reproducible es lo que hace que el resultado sea defendible cuando se impugna.
Lectura relacionada: La revisión de privilegio en la era de la IA generativa.
Una ventaja estructural de la revisión asistida por IA es la coherencia: los mismos criterios se aplican a cada documento y el razonamiento queda registrado para el control de calidad. Puede ver cómo lo maneja Claira.