Lições de Zhang v. Chen: como advogados canadenses podem de fato evitar alucinações de IA na revisão
Zhang v. Chen, a primeira sanção canadense por alucinações de IA, resultou do uso da ferramenta errada no lugar errado. Uma revisão fundamentada nos próprios documentos muda essa equação.
Em Zhang v. Chen, 2024 BCSC 285, um processo de direito de família da Colúmbia Britânica se tornou o primeiro caso canadense a sancionar publicamente uma advogada por citar precedentes que não existiam. A advogada havia pedido ao ChatGPT que encontrasse decisões para embasar um requerimento (Notice of Application), inseriu os resultados na peça e só descobriu depois, quando o advogado da parte contrária já havia gastado dois dias de audiência tentando localizar os casos, que a ferramenta os havia inventado. O juiz Masuhara recusou-se a conceder custas especiais, por não identificar intenção de enganar, mas determinou que a Sra. Ke pagasse as custas pessoalmente, com base na Rule 16-1(30) das Supreme Court Civil Rules. Desde então, o caso se tornou a história de advertência que todo advogado contencioso canadense já ouviu pelo menos uma vez.
A questão interessante não é se a advogada cometeu um erro. Ela admitiu isso imediatamente. A questão interessante é se o próprio modo de falha, uma ferramenta de IA inventando fontes com aparência plausível, é uma característica de toda IA no trabalho jurídico ou uma característica da forma como aquela ferramenta específica estava sendo usada. Na nossa visão, o segundo enquadramento é o correto, e os profissionais que entendem a diferença podem usar a IA na revisão com mais confiança, e não menos.
A causa estrutural de uma alucinação
Um modelo de linguagem de uso geral, diante de um prompt como "encontre casos canadenses sobre o critério para mudança de domicílio (relocation) segundo a seção 16 do Divorce Act", gera a sequência de palavras seguinte mais provável. Não há nada em seu ciclo que obrigue essas palavras a corresponder a um documento real. O modelo leu jurisprudência suficiente durante o treinamento para produzir nomes, citações e fundamentações que parecem corretos. Ele vai produzi-los quer os casos existam, quer não. Essa é a causa estrutural. Não é um bug, no sentido de que bugs podem ser corrigidos. É a consequência de pedir a uma máquina de probabilidades que responda a uma pergunta factual sem lhe mostrar os fatos.
A sanção em Zhang v. Chen não aconteceu porque o ChatGPT foi usado. Aconteceu porque o ChatGPT foi usado como ferramenta de pesquisa em um contexto em que não havia nenhum documento para ele ler. Depois que você internaliza isso, pode começar a traçar a linha entre as tarefas em que um chatbot é perigoso e as tarefas em que a IA é, na verdade, até mais segura do que a alternativa humana.
A revisão fundamentada é um problema diferente
Revisar o acervo documental de um caso contencioso é um problema diferente de fazer pesquisa jurídica. Na revisão, o documento existe. Ele está na sua plataforma de processamento, com um número de controle conhecido, uma família conhecida, um custodiante conhecido. A pergunta não é "o que a lei diz sobre testemunho indireto (hearsay)", mas "este e-mail contém uma comunicação protegida por sigilo profissional (privilégio)?" ou "este anexo é responsivo à categoria 3 da relação de pedidos?". Essa pergunta tem uma resposta real, e a resposta está diante do modelo.
Esse é o princípio de design em torno do qual a Claira foi construída. Quando a Claira revisa um documento dentro do Nuix Discover, ela não recupera um trecho de um índice vetorial, resume-o e chama isso de conclusão. Ela lê o documento, aplica o seu critério de codificação ao texto real do documento e produz uma justificativa por escrito que cita o próprio documento. Se você discorda da resposta, pode ler a citação. Se a citação não está no documento, a resposta está errada e você consegue ver por quê. Não existe citação de aparência plausível a um caso que não existe, porque a única fonte que a Claira é solicitada a citar é o documento que já faz parte do acervo probatório.
O que o Case Context acrescenta
Os advogados com quem trabalhamos costumam fazer a mesma pergunta em seguida. Se o modelo está lendo o documento, o que o impede de chegar à conclusão errada sobre um documento que ele não viu em contexto? É aqui que o histórico do caso faz toda a diferença. A Claira permite que a sua equipe escreva um Case Context para cada caso, que acompanha cada varredura e informa à IA do que trata a disputa, quem são as partes, o que os códigos de questões significam na sua prática e o que conta como privilegiado aqui, neste caso, e não em alguma abstração de manual. A documentação do Case Context explica passo a passo como configurá-lo; o efeito operacional é que o julgamento da IA fica ancorado, e não à deriva.
Essa não é a mesma escolha de engenharia que todo fornecedor de IA jurídica faz. Algumas ferramentas indexam o acervo em uma camada de busca e enviam os trechos top-k para um chatbot, o que é rápido para responder perguntas, mas reintroduz o modo de falha de Zhang v. Chen, porque o modelo volta a fazer correspondência de padrões em fragmentos recuperados, em vez de ler o documento real do início ao fim. O nosso texto de referência sobre revisão assistida por IA analisa com mais detalhes as orientações das ordens dos advogados (law societies) sobre esse ponto. Em resumo, os deveres de veracidade e de competência apontam na mesma direção: você quer um fluxo de trabalho com IA em que cada decisão esteja vinculada a um trecho que você pode ler, em um documento que você pode produzir.
Salvaguardas práticas para equipes canadenses
Três hábitos separam as equipes que absorveram a lição de Zhang v. Chen das que não absorveram. O primeiro é manter a IA generativa longe de qualquer tarefa que exija inventar fatos que já deveriam existir. A pesquisa jurídica é o exemplo clássico. Se a pergunta é o que a lei diz, use as ferramentas que a profissão construiu para isso, e use a IA para resumir os resultados depois que os nomes dos casos forem verificados, e não para inventar os nomes dos casos, para começo de conversa.
O segundo é exigir que todo resultado de IA que afete uma decisão de codificação cite a fonte. Se a IA diz que um documento é privilegiado, ela deve dizer qual parágrafo motivou essa decisão. Se a citação está no documento, você tem uma resposta verificável. Se não está, você tem uma alucinação, e a detectou antes que ela saísse da plataforma.
O terceiro é a supervisão. A Law Society of British Columbia, na esteira de Zhang, foi clara ao afirmar que a obrigação de verificar os materiais submetidos ao tribunal "continua sendo sua". Isso não é um comentário específico sobre IA. É o dever de supervisão que sempre se aplicou a associados juniores, revisores terceirizados e qualquer outra pessoa cujo trabalho passa pela sua assinatura. O mesmo padrão se aplica a um revisor de IA.
Por onde começar
Os advogados que nos procuram depois de Zhang v. Chen não estão perguntando se devem usar IA. Estão perguntando como usá-la de uma forma que resista a uma futura impugnação. A resposta, na nossa visão, é insistir em uma revisão fundamentada no documento, em justificativas por escrito que citem o acervo documental e em um contexto específico do caso que ancore o julgamento da IA. Se quiser ver como isso funciona na prática em um dos seus casos, você pode agendar uma sessão de trabalho conosco. Vamos percorrer um documento real e mostrar exatamente o que a Claira viu quando tomou a decisão.
As alucinações não são o preço de usar IA no trabalho jurídico. São o preço de usar o tipo errado de IA para o tipo errado de tarefa.