No quiere magia en su proceso de eDiscovery

Arthur C. Clarke escribió alguna vez que cualquier tecnología lo suficientemente avanzada es indistinguible de la magia. Hablaba de lo difícil que es predecir el futuro, pero buena parte del software de IA parece haber leído la frase como un pliego de especificaciones.

Seguramente ya conoce el tipo. Hay una casilla vacía, usted escribe una pregunta, una fila de puntos late por un instante y una respuesta llega desde algún lugar entre bastidores, fluida, segura de sí misma y sin ningún sostén visible. Tiene el encanto de un truco de salón, la moneda que aparece detrás de la oreja de un niño, y como todo truco de salón lo invita a disfrutar del efecto sin preguntar por la causa.

El público de un espectáculo de magia ha aceptado que lo engañen, y por eso todos vuelven contentos a casa. Un abogado que certifica una producción de eDiscovery se ha comprometido con algo mucho más serio. Su nombre figura en el resultado, el cliente paga por su criterio y el tribunal confiará en su explicación de cómo se revisaron los documentos. Todavía no hemos conocido al abogado que le diría a un juez que la revisión la hizo algo maravilloso que no sabría describir.

Un equipo de revisión necesita de su IA algo más sencillo, que además resulta más difícil de construir. Necesita una herramienta rápida, eficaz y fácil de usar, cuyo funcionamiento pueda seguirse y explicarse en cada paso del camino.

El problema con los trucos

Todo ilusionista sabe que el método debe quedar fuera de la vista, porque en cuanto el público vislumbra el doble fondo de la caja, el asombro abandona la sala. El oficio se sostiene en el ocultamiento y en el arte de desviar la mirada en el momento justo.

El eDiscovery funciona al revés. Cuando la contraparte pregunta por qué se retuvo un documento, o un cliente quiere saber cómo puede usted estar seguro de que no se pasó nada por alto, lo que hay que presentar es precisamente el método, y hay que presentarlo con palabras, a menudo meses después de terminado el trabajo.

Una herramienta que funciona como magia le falla aquí de dos maneras, que corresponden a los dos tipos de error que ya les quitan el sueño a los litigantes.

El primero es el error por acción, una respuesta equivocada pronunciada con la misma voz serena que una correcta. Cuando no puede ver cómo se llegó a una respuesta, no tiene manera de distinguir una de otra con solo mirarlas. El ejemplo canadiense más conocido es el que comentamos en Lecciones de Zhang v. Chen, donde precedentes inventados por un chatbot llegaron a un escrito presentado en Columbia Británica, perfectamente verosímiles y sin fuente alguna.

El segundo es el error por omisión, y en la revisión de documentos es el más peligroso de los dos, porque deja muy poco rastro. Una respuesta equivocada al menos queda en la página, donde alguien podría notarla, mientras que un documento que falta no hace ruido alguno, y una lista clasificada o un resumen no le dan ninguna cuenta de lo que quedó por debajo de la línea o fuera del encuadre. Por eso sostuvimos en Cada documento importa que todo documento que sobrevive a la depuración debe revisarse, y la revisión quedar registrada.

Una buena revisión no deja nada sin ver ni inventa nada, y la dificultad siempre ha estado en demostrarlo. Una herramienta que funciona como magia puede ofrecerle su aplomo y poco más. Claira se construyó para que usted pudiera comprobarlo por sí mismo.

Un método que cabe en una servilleta

El funcionamiento de Claira se cuenta en un párrafo. Usted escribe con palabras sencillas la pregunta que quiere responder, más o menos como pondría al tanto a un revisor junior la primera mañana de un asunto, y la prueba con un puñado de documentos para ver qué devuelve. Ajusta la redacción hasta que las respuestas coinciden con lo que quería decir. Después aplica la misma pregunta a todo el conjunto de revisión con Bulk Scan, y Claira escribe cada respuesta en un campo de su documento en Nuix Discover, donde su equipo puede buscarla, muestrearla y corregirla como cualquier otra codificación.

Como la pregunta queda por escrito con sus propias palabras, los documentos son los que usted eligió y las respuestas están en sus propios campos, junto a los documentos que describen, cada etapa del trabajo deja algo que usted puede examinar más adelante.

La rapidez viene de hacer una pregunta bien construida miles de veces, el tipo de repetición paciente en la que las máquinas son buenas, y esa misma sencillez es la que hace que el proceso sea fácil de explicar. Podría describírselo a un juez en menos de un minuto. Nadie en el equipo necesita ser especialista en IA para seguirlo, porque transcurre en el vocabulario habitual de la revisión de documentos.

El libro de registro de Claira

Los contables tienen sus libros mayores y los eruditos sus notas al margen. Claira lleva un registro continuo de la revisión a medida que avanza, y varias de sus funciones más recientes existen sobre todo para que ese registro sea más completo y más fácil de leer.

Prompt History, el historial de prompts, conserva cada versión de cada prompt usado en un caso, con su autor, las veces que se ha usado y los comentarios que el equipo dejó sobre él. Cuando el equipo se decide por una redacción, marcarla como final deja constancia de esa elección a la vista de todos en el caso, y ahora el historial completo puede exportarse como hoja de cálculo, una revisión por fila, con cada comentario unido a la revisión a la que se refiere. Es el documento al que se recurre cuando alguien pregunta, un año después, cómo llegó la pregunta de revisión a su forma definitiva. Si quiere que el prompt viaje con la evidencia misma, un bulk scan también puede escribirlo en el campo Prompt Log de cada documento.

Claira también puede redactar prompts cuando se lo pide. El Agent y el Prompt Generator pueden escribir uno desde cero, y Revise with Agent puede sugerir cambios a los suyos; todo prompt producido así lleva una pequeña varita en Prompt History, y al pasar el cursor sobre ella Claira le indica qué herramienta lo escribió. Nos gusta bastante la ironía de que la única varita de Claira sirva para mostrarle por dónde ha pasado la máquina.

Los Insights elaboran cronologías, tablas y memorandos a partir de documentos codificados, y están pensados para verificarse línea por línea. Un Insight indica cuántos documentos leyó. Cuando cita un documento, la cita abre la entrada de ese documento entre sus fuentes, y en el PDF exportado los vínculos funcionan en ambas direcciones, de modo que un colega que solo tiene el archivo puede ir de una frase a su fuente y volver sin abrir Claira ni Nuix Discover. Al pasar el cursor sobre un Document ID en el panel aparece la respuesta de la IA que llevó ese documento al Insight, y si el modelo llega a nombrar un documento que el Insight no leyó, Claira elimina esa cita antes de que le llegue. Incluso puede ver cómo se escribe un Insight mientras Claira marca sus pasos, desde la lectura de los resultados hasta la comprobación de las referencias.

Agent Mode es igual de abierto sobre lo que hace. Una etiqueta sobre el cuadro de mensaje muestra el documento que tiene abierto e indica si Claira recibirá solo su texto o el texto junto con el archivo, y un solo clic lo deja fuera de la conversación. Cada chat puede configurarse para preguntar antes de empezar cualquier trabajo o para preparar el trabajo y ponerlo en marcha por usted, dentro de los límites que fije su administrador, y los pasos de mayor alcance, como analizar todo el caso o crear un campo, siempre esperan a que una persona pulse el botón.

Nada pasado por alto, nada inventado

Volviendo a los dos tipos de error, una herramienta hecha para entenderse debería permitirle demostrar que una revisión evitó ambos, y el registro de Claira se diseñó precisamente con eso en mente.

En cuanto a la omisión, el registro da cuenta de cada documento que usted seleccionó. Mientras se ejecuta, un bulk scan cuenta cada resultado, ya sea que un documento se haya codificado, se haya omitido por no tener contenido legible o haya fallado, y el historial de tareas conserva esas cifras después. Una ejecución interrumpida a mitad de camino queda marcada como Incomplete y muestra exactamente cuántos documentos faltan, de modo que los documentos que nunca se analizaron no pueden hacerse pasar por terminados. Cuando reanuda la tarea, esta conserva el prompt con el que empezó, lo que significa que a los últimos mil documentos se les hace la misma pregunta que a los primeros.

En cuanto a la invención, las respuestas permanecen junto a su evidencia. Cada respuesta se escribe en un campo del documento que describe, así que comprobarla es cuestión de abrir ese documento. Un Insight lee sus campos tal como están en el momento en que hace clic en Generate, de modo que la corrección de un revisor es la versión con la que trabaja la cronología.

Comprobar todo esto lleva muy poco tiempo. Muestrear los documentos codificados como no responsivos sigue siendo una buena práctica, y con las respuestas en campos es una búsqueda ordinaria en Discover. Una revisión que se puede ver de punta a punta es mucho más fácil de defender.

La misma pregunta, dos veces

Entregue el mismo contrato a tres asociados capaces y pídale a cada uno un resumen, y recibirá tres resúmenes exactos que no se parecen en nada. Pregúnteles a los mismos tres si el contrato contiene una cláusula de indemnización, y que la citen si es así, y oirá la misma respuesta tres veces, porque una pregunta acotada deja muy poco margen para divagar.

Nuestro centro de ayuda lo resume en una frase digna de colgarse sobre el escritorio de revisión: los resúmenes pueden variar, las decisiones no deberían. El artículo Why you might not get the same answer twice explica los motivos en términos sencillos, empezando por la manera en que un modelo de lenguaje elige sus palabras.

Esa constancia es lo que hace defendible un proceso. Cuando una pregunta bien construida llega a la misma decisión sobre el mismo documento, la ejecute quien la ejecute, la decisión puede rastrearse hasta la pregunta, y la pregunta le pertenece a usted.

Explicable para quien lo pregunte

Como escribimos en El deber de competencia, ese deber exige que los abogados puedan explicar en términos sencillos lo que hicieron sus herramientas, más o menos como darían cuenta del trabajo de un revisor junior. Es un deber difícil de cumplir con una herramienta que funciona como magia, y perfectamente alcanzable con una que mantiene su método a la vista.

Romper la vara

Hacia el final de La tempestad, Próspero renuncia a su arte. «Esta tosca magia aquí la abjuro», dice, y promete romper su vara y ahogar su libro, y en el epílogo se adelanta sin sus hechizos para hablarle al público con sencillez y pedirle su indulgencia. Es uno de los momentos más hermosos de Shakespeare, y es el espíritu con el que hemos intentado construir Claira.

Por debajo hay mucha ingeniería cuidadosa, y la rapidez es real, pero en la superficie, donde su criterio se encuentra con el trabajo, hemos intentado mantenerlo todo a la vista, para que el camino que va de su pregunta a las respuestas en sus campos pueda recorrerlo cualquiera que necesite recorrerlo. El resultado es rápido, eficaz y fácil de usar, y puede explicarse en cada paso a las personas que necesitan entenderlo.

Por dónde empezar

La forma más segura de juzgar todo esto es verlo funcionar con documentos que ya conoce. Tome un asunto cerrado, escriba la pregunta que su equipo respondió a mano en su momento, pídale a Claira que dé sus razones junto con sus respuestas y compare dónde coincide con sus revisores y dónde se aparta de ellos.

Si quiere compañía durante esa primera hora, agende una breve sesión con nuestro equipo, traiga un conjunto de documentos que conozca bien y le mostraremos cómo funciona todo.