Lecciones de Zhang v. Chen: cómo los abogados canadienses pueden evitar de verdad las alucinaciones de la IA en la revisión

En Zhang v. Chen, 2024 BCSC 285, un expediente de derecho de familia de la Columbia Británica se convirtió en el primer caso canadiense en sancionar públicamente a una abogada por citar precedentes que no existían. La abogada le había pedido a ChatGPT que encontrara decisiones que respaldaran una Notice of Application, incorporó los resultados al escrito y solo se enteró más tarde –después de que el abogado de la contraparte dedicara dos días de audiencia a intentar localizar los casos– de que la herramienta los había inventado. El juez Masuhara rechazó otorgar costas especiales, al no encontrar intención de engañar, pero ordenó a la Sra. Ke pagar personalmente las costas conforme a la Regla 16-1(30) de las Supreme Court Civil Rules. Desde entonces, el caso se ha convertido en la advertencia que todo litigante canadiense ha escuchado al menos una vez.

La pregunta interesante no es si la abogada cometió un error. Ella lo admitió de inmediato. La pregunta interesante es si el modo de falla en sí –una herramienta de IA que inventa fuentes de apariencia verosímil– es una propiedad de toda la IA en el trabajo jurídico o una propiedad de la forma en que se usaba esa herramienta en particular. Nuestra opinión es que el segundo planteamiento es el correcto, y que los profesionales que entienden la diferencia pueden usar la IA en la revisión con más confianza, no con menos.

La causa estructural de una alucinación

Un modelo de lenguaje de uso general, ante un prompt como “encuéntrame casos canadienses sobre el criterio para la reubicación según el artículo 16 de la Divorce Act”, genera la secuencia de palabras siguiente más probable. No hay nada en su ciclo que obligue a que esas palabras correspondan a un documento real. El modelo ha leído suficiente jurisprudencia durante su entrenamiento como para producir nombres, citas y razonamientos que parecen correctos. Los producirá existan o no los casos. Esa es la causa estructural. No es un bug, en el sentido de algo que se pueda corregir con un parche. Es la consecuencia de pedirle a una máquina de probabilidades que responda una pregunta fáctica sin mostrarle los hechos.

La sanción de Zhang v. Chen no ocurrió porque se usara ChatGPT. Ocurrió porque se usó ChatGPT como herramienta de investigación en un contexto en el que no había ningún documento que leer. Una vez que se interioriza esto, se puede empezar a trazar la línea entre las tareas en las que un chatbot es peligroso y aquellas en las que la IA es, en todo caso, más segura que la alternativa humana.

La revisión basada en documentos es un problema distinto

Revisar el expediente en un asunto litigioso es un problema distinto de la investigación jurídica. En la revisión, el documento existe. Está en su plataforma de procesamiento, con un número de control conocido, una familia conocida y un custodio conocido. La pregunta no es “qué dice la ley sobre la prueba de referencia (hearsay)”, sino “¿este correo contiene una comunicación protegida por privilegio (secreto profesional)?” o “¿este adjunto es pertinente para la categoría 3 del anexo?”. Esa pregunta tiene una respuesta real, y la respuesta está frente al modelo.

Este es el principio de diseño en torno al cual se construyó Claira. Cuando Claira revisa un documento dentro de Nuix Discover, no recupera un pasaje de un índice vectorial, lo resume y lo presenta como un hallazgo. Lee el documento, aplica su criterio de codificación al texto real del documento y produce una justificación escrita que cita el propio documento. Si no está de acuerdo con la respuesta, puede leer la cita. Si la cita no está en el documento, la respuesta es incorrecta y puede ver por qué. No hay citas de apariencia verosímil a casos inexistentes, porque la única fuente que se le pide a Claira que cite es el documento que ya forma parte de la prueba.

Lo que aporta Case Context

Los abogados con los que trabajamos suelen hacer la misma pregunta de seguimiento. Si el modelo lee el documento, ¿qué le impide llegar a una conclusión equivocada sobre un documento que no ha visto en contexto? Aquí es donde importan los antecedentes del asunto. Claira permite a su equipo redactar un Case Context para cada expediente, que acompaña cada análisis y le dice a la IA de qué trata la disputa, quiénes son las partes, qué significan los códigos de cuestiones según su criterio y qué se considera privilegiado aquí, en este asunto, y no en una abstracción de manual. La documentación de Case Context explica cómo configurarlo; el efecto práctico es que el criterio de la IA queda anclado, no a la deriva.

No es la misma decisión de ingeniería que toman todos los proveedores de IA del sector jurídico. Algunas herramientas indexan el corpus en una capa de búsqueda y envían los k pasajes más relevantes a un chatbot, lo que resulta rápido para responder preguntas, pero reintroduce el modo de falla de Zhang v. Chen, porque el modelo vuelve a buscar coincidencias en fragmentos recuperados en lugar de leer el documento real de principio a fin. Nuestro artículo principal sobre la revisión asistida por IA analiza con más detalle las directrices de los colegios de abogados sobre este punto. En resumen, los deberes de franqueza y de competencia apuntan en la misma dirección: usted necesita un flujo de trabajo de IA en el que cada decisión esté vinculada a un pasaje que pueda leer, en un documento que pueda producir.

Salvaguardas prácticas para los equipos canadienses

Tres hábitos distinguen a los equipos que han asimilado la lección de Zhang v. Chen de los que no. El primero es mantener la IA generativa fuera de cualquier tarea que requiera inventar hechos que ya deberían existir. La investigación jurídica es el ejemplo por excelencia. Si la pregunta es qué dice la ley, use las herramientas que la profesión creó para eso, y use la IA para resumir los resultados después de verificar los nombres de los casos, no para inventar esos nombres.

El segundo es exigir que todo resultado de IA que incida en una decisión de codificación cite la fuente. Si la IA le dice que un documento es privilegiado, debería indicarle qué párrafo motivó esa decisión. Si la cita está en el documento, tiene una respuesta verificable. Si no lo está, tiene una alucinación, y la ha detectado antes de que salga de la plataforma.

El tercero es la supervisión. Tras el caso Zhang, la Law Society of British Columbia fue clara en que la obligación de verificar los materiales presentados ante el tribunal “sigue siendo suya”. No es un comentario específico sobre la IA. Es el deber de supervisión que siempre se ha aplicado a los asociados junior, a los revisores contratados y a cualquier otra persona cuyo trabajo termine avalado con su firma. El mismo estándar se aplica a un revisor de IA.

Por dónde empezar

Los abogados que nos contactan después de Zhang v. Chen no preguntan si deben usar la IA. Preguntan cómo usarla de una forma que resista una futura moción. La respuesta, a nuestro juicio, es insistir en una revisión basada en documentos, en justificaciones escritas que citen el expediente y en un contexto específico del asunto que ancle el criterio de la IA. Si quiere ver cómo se ve esto en la práctica con uno de sus expedientes, puede reservar una sesión de trabajo con nosotros. Revisaremos un documento real y le mostraremos exactamente lo que Claira vio cuando tomó la decisión.

Las alucinaciones no son el precio de usar IA en el trabajo jurídico. Son el precio de usar el tipo equivocado de IA para el tipo equivocado de tarea.