El modelo de referencia TAR 1: qué significa el nuevo marco de The Sedona Conference para la revisión con IA generativa

En marzo de 2024, The Sedona Conference publicó un documento que cambió discretamente la forma en que los profesionales deberían pensar sobre la revisión asistida por IA. Escrito por Tara Emory, Jeremy Pickens y Wilzette Louis, de Redgrave Data, el modelo de referencia TAR 1 (TAR 1 Reference Model) sostiene que la IA generativa no requiere en absoluto un nuevo marco de revisión. Encaja dentro del mismo proceso defendible en el que los equipos de litigio han confiado durante más de una década. Esa afirmación importa más ahora que cuando se publicó el documento, porque las herramientas de revisión con IA generativa han pasado de los proyectos piloto al uso diario en los departamentos de soporte de litigios de Canadá y otros países. Comprender el modelo de referencia le da a su equipo un vocabulario común para evaluar cualquier herramienta de revisión con IA generativa, incluida Claira, frente a un estándar que los tribunales y los abogados de la contraparte ya reconocen.

Qué es realmente TAR 1

La revisión asistida por tecnología (TAR, por sus siglas en inglés) fue definida hace más de una década por Maura Grossman y Gordon Cormack como un proceso en el que expertos en la materia entrenan un sistema informático cuyos juicios luego se extrapolan a toda una población de documentos. TAR 1 es el flujo de trabajo específico, dentro de esa categoría más amplia, que más interesa para la revisión de primer nivel. Construye un modelo predictivo y luego lo aplica para etiquetar toda una población como pertinente o no pertinente. Históricamente, TAR 1 se basaba en algoritmos discriminativos de aprendizaje automático, como las máquinas de vectores de soporte o los clasificadores de regresión logística, entrenados con miles de ejemplos codificados por personas. La idea central del documento de Sedona es que un modelo de lenguaje de gran tamaño (LLM), con el prompt adecuado, también funciona como un clasificador supervisado. El motor cambia. El vehículo, es decir, el proceso TAR 1 en su conjunto, sigue siendo el mismo.

Esa distinción no es académica. Significa que los protocolos de revisión, los argumentos de defendibilidad y las métricas de calidad que su equipo ya ha construido en torno a TAR 1 no tienen que reinventarse para la IA generativa. Tienen que aplicarse de forma coherente a un nuevo tipo de motor.

Los cinco pasos del modelo de referencia

El documento establece cinco pasos que se aplican independientemente del algoritmo predictivo subyacente: definir el alcance (scope), etiquetar el conjunto de control (label control set), iterar el modelo (iterate model), clasificar (classify) y validar (validate). Definir el alcance significa reunir la población de documentos y que los abogados delimiten la pertinencia antes de iniciar cualquier etiquetado. Etiquetar el conjunto de control significa extraer una muestra aleatoria, revisarla manualmente y reservarla como punto de referencia independiente con el que el modelo nunca se entrena. Iterar el modelo es donde ocurre el verdadero trabajo: seleccionar ejemplos de entrenamiento adicionales, incorporar esa información al modelo o al prompt, aplicar la versión actualizada al conjunto de control y evaluar si la precisión y la exhaustividad (recall) han mejorado lo suficiente como para justificar otra ronda. Clasificar consiste en aplicar el modelo terminado a toda la población no etiquetada. Validar, un paso que según el documento es opcional pero se utiliza poco, consiste en muestrear una última vez los resultados clasificados para confirmar que la extrapolación se sostuvo.

Lo que cambia entre el TAR 1 discriminativo y el TAR 1 con IA generativa se encuentra íntegramente dentro del paso de iterar el modelo. Los sistemas discriminativos aprenden de ejemplos etiquetados que se introducen directamente en un algoritmo. Los sistemas de IA generativa aprenden de un prompt que una persona escribe, prueba y perfecciona en lenguaje natural. Los autores de Sedona señalan con cuidado que quien redacta el prompt debe ser una persona distinta de quien revisó el conjunto de control, de modo que este siga siendo una verificación imparcial del modelo y no una fuente de respuestas filtradas. Vale la pena incorporar esa separación de funciones a sus propios protocolos de revisión, sea cual sea el motor que utilice.

Dónde la IA generativa cambia el equilibrio

El documento es franco sobre lo que aún no está demostrado. El TAR 1 discriminativo produce puntuaciones con gradaciones finas, lo que permite a un equipo de revisión elegir un punto de corte que equilibre la exhaustividad y la precisión con cierta exactitud. El TAR 1 con IA generativa suele clasificar con gradaciones más gruesas, lo que puede obligar a elegir entre un punto de corte con una exhaustividad muy alta y una precisión baja, o lo contrario, con poco margen intermedio. Actualmente, la IA generativa también cuesta más por documento revisado y es más lenta que los modelos discriminativos, aunque los autores prevén que ambas brechas se reduzcan. Lo que la IA generativa ofrece a cambio es flexibilidad: la misma pasada que etiqueta un documento como pertinente también puede señalar riesgos de privilegio (secreto profesional), extraer hechos clave o resumir el contenido, tareas que antes requerían flujos de trabajo completamente separados.

Para los equipos de soporte de litigios, esta es la pregunta práctica que el modelo de referencia ayuda a responder: no si la revisión con IA generativa es defendible en principio, sino si una herramienta determinada implementa los pasos de TAR 1 con el rigor suficiente para que sea defendible en la práctica. Una herramienta que omite los conjuntos de control, mezcla los datos de entrenamiento con la población de producción o no puede mostrar su alcance de pertinencia no ofrece TAR 1 con IA generativa. Ofrece un atajo sin supervisión disfrazado con el lenguaje de TAR 1.

Qué significa esto para los profesionales

Claira se creó partiendo del supuesto de que el modelo de referencia se convertiría en el estándar, no en una novedad. Cada decisión de alcance en un asunto comienza con Case Context, donde su equipo define los antecedentes, las cuestiones y los criterios de pertinencia de los que depende el asunto, el mismo trabajo que el documento de Sedona describe como el paso de definición del alcance. Ese contexto se mantiene en cada pasada posterior, de modo que la definición de pertinencia permanece fija, como exige el modelo de referencia, en lugar de ir variando a medida que los revisores avanzan por la población. Cuando llega el momento de aplicar esa definición a todo el conjunto de documentos, ya sea mediante codificación objetiva o mediante una pasada masiva que etiqueta documentos por pertinencia, los pasos subyacentes se corresponden directamente con los de clasificar y, cuando un equipo decide realizarlo, validar.

Ya hemos escrito sobre cómo los Principios de Sedona Canada están transformando las expectativas sobre lo que es un proceso de revisión con IA defendible en Canadá, y este modelo de referencia le da a esa expectativa una forma concreta. La proporcionalidad y la cooperación son más fáciles de demostrar cuando su flujo de trabajo puede señalar un paso con nombre propio y bien documentado para cada etapa del proceso, desde la definición inicial del alcance hasta la validación final.

El mensaje de fondo del documento de Sedona es tranquilizador, no alarmante. La IA generativa no pide a los equipos de soporte de litigios que abandonen los marcos que han hecho defendible la TAR durante años. Les pide que exijan esos mismos estándares a las herramientas de IA generativa y que desconfíen de cualquier herramienta que no pueda mostrar su trabajo en cada uno de los cinco pasos. Si su equipo está evaluando cómo debería ser un flujo de trabajo riguroso de TAR 1 con IA generativa dentro de Nuix Discover, agende una presentación guiada con nuestro equipo y le mostraremos cómo Claira se corresponde con cada etapa del modelo de referencia, incluidos los conjuntos de control.