Revisão de eDiscovery com IA para casos com mais de 100.000 documentos

Existe uma suposição silenciosa em boa parte da cobertura atual sobre IA para o setor jurídico: a de que o problema da revisão de documentos já foi resolvido. As demonstrações parecem rápidas. As experiências de chat com um único documento parecem mágicas. As apresentações comerciais falam de agentes, orquestração e raciocínio, e as capturas de tela costumam mostrar uma pasta arrumada com algumas dezenas de contratos.

Se os seus casos são assim, a safra atual de ferramentas jurídicas de IA de uso geral provavelmente vai atender bem. Mas, se você trabalha com eDiscovery de verdade, os seus casos não são assim. Eles se parecem com uma lista de custodiantes com vinte nomes, uma coleta que extraiu meio terabyte de caixas de e-mail e drives compartilhados, e uma população de revisão que, depois da triagem, ainda contém seiscentos ou setecentos mil documentos sobre os quais você precisa tomar decisões defensáveis.

Essa distância entre a demo e o discovery real é exatamente o motivo pelo qual construímos a Claira do jeito que construímos. Este texto trata do que muda quando você deixa de projetar para conjuntos de revisão de mil documentos e passa a projetar para conjuntos de revisão de um milhão.

As plataformas que a maioria dos advogados está vendo não foram feitas para isso

Há hoje no mercado duas grandes famílias de ferramentas de IA que são descritas como "IA jurídica", mas que resolvem problemas muito diferentes.

A primeira família é a do copiloto do advogado. Harvey, Hebbia, CoCounsel, Spellbook e várias outras estão nessa categoria. Elas são excelentes no tipo de trabalho que um associado sênior faz em uma janela do Word: redigir, resumir alguns documentos, responder perguntas sobre um contrato, elaborar memorandos. O modelo de interação é conversacional, o acervo é pequeno e o fluxo de trabalho pressupõe um humano no circuito lendo quase tudo o que passa pelo modelo. Já escrevemos sobre como traduzir prompts dessas ferramentas para a Claira, porque os dois mundos usam a IA de formas diferentes.

A segunda família é a da plataforma de revisão de eDiscovery. Ela precisa fazer algo fundamentalmente diferente. Precisa avaliar cada documento de um conjunto de revisão já triado com base nos seus critérios de revisão, produzir uma justificativa por escrito para cada decisão, levar os casos limítrofes a um humano, e fazer tudo isso dentro de um orçamento e de um prazo que o caso consiga de fato absorver. O acervo é grande, o modelo de interação é em massa e o fluxo de trabalho pressupõe que a IA faz a revisão de primeiro nível de documentos que o humano nunca lê sem uma análise prévia.

Um copiloto pode ser adaptado para a segunda função, mas as costuras aparecem rápido. A latência deixa de ser uma curiosidade e passa a ser uma linha do orçamento. Custos que eram erros de arredondamento com cem documentos viram orçamentos que o cliente não vai aprovar com cem mil. Trilhas de auditoria que funcionavam um chat de cada vez passam a exigir infraestrutura própria. E todo o formato da implantação muda, porque os revisores não querem mais uma janela de chat - eles querem cada documento codificado dentro da plataforma de revisão que já usam.

O que a escala realmente exige

Quando a unidade de trabalho não é um documento, mas uma população de revisão, alguns requisitos deixam de ser opcionais.

O primeiro é capacidade de processamento com um custo previsível por documento. Executar uma busca vetorial em cem mil documentos para encontrar alguns poucos é uma única chamada ao modelo. Emitir uma decisão de responsividade escrita e justificada para cem mil documentos exige pelo menos cem mil chamadas. Ou a plataforma precifica essa carga de trabalho em um valor que o cliente aceite pagar, ou ela não é usada nessa escala.

O segundo é a integração com a plataforma em que a sua equipe já trabalha. A revisão de eDiscovery é um esporte coletivo, e a equipe não vai migrar para uma nova interface a cada caso. Decisões de codificação, tarjamentos, decisões sobre sigilo profissional (privilégio) e montagem de produções acontecem dentro do Nuix Discover ou da plataforma que a equipe tiver licenciado. A IA precisa gravar os seus resultados nos mesmos campos com que os revisores já trabalham, e não em um painel separado que alguém vai precisar conciliar depois. A Claira é instalada dentro do Nuix Discover e grava os resultados diretamente em campos nativos exatamente por esse motivo.

O terceiro é o contexto específico do caso. Uma decisão genérica de responsividade envolvendo cem custodiantes, três linhas de produtos e quatro anos de comunicações não é útil, porque o modelo não tem ideia de como é um documento relevante para este caso. A plataforma precisa de uma forma estruturada de carregar a tese do caso, os principais envolvidos, as datas que importam e as categorias que a equipe decidiu codificar. A Claira chama isso de Case Context, e essa é a diferença entre um modelo que produz análises com aparência plausível e um modelo que produz análises com as quais os seus revisores seniores concordam.

O quarto, e o mais difícil de adaptar depois, é a defensabilidade. Cada documento do conjunto de revisão recebe uma justificativa por escrito, e não uma pontuação de similaridade. Já apresentamos o argumento de princípio a favor dessa abordagem em outro texto. O ponto prático é que plataformas projetadas para interações de chat com acervos pequenos não precisavam de uma camada de defensabilidade, então não construíram uma. Incorporá-la depois é difícil.

Por que a questão do custo importa mais do que a demo

Em um caso menor, o custo da IA é uma curiosidade. Em um caso grande, ele é a proposta. Gerentes de suporte a litígios e sócios que decidem qual IA usar em uma revisão de cem mil documentos estão fazendo uma conta por documento, muitas vezes de cabeça, às vezes em uma planilha. A questão não é se o modelo impressiona. A questão é se ele impressiona com uma economia de tokens que permita cobrar o cliente e ainda ficar abaixo da referência da revisão linear.

A Claira foi projetada em torno dessa questão. O Bulk Scan foi desenhado para cargas de trabalho de alto volume com justificativa por escrito, com um perfil de tokens que se sustenta em centenas de milhares de documentos. O Case Context é reutilizado em todas as varreduras de um caso, o que mantém estável o custo de entrada por documento à medida que o caso cresce. Os resultados são estruturados, de modo que os revisores dedicam o seu tempo às decisões limítrofes, em vez de ler cada análise do zero.

O resultado é uma plataforma que fica mais barata por documento à medida que o caso cresce, o oposto do que a maioria das equipes se acostumou a esperar da IA.

O que perguntar antes de se comprometer com uma plataforma

Se você está avaliando uma ferramenta de revisão com IA para um caso grande, três perguntas costumam revelar se a ferramenta foi realmente construída para esse trabalho.

A primeira é o que acontece quando você executa o mesmo prompt em cem mil documentos. Se a resposta envolver uma fila, uma integração de API personalizada ou um modelo de preço por usuário que pressupõe um revisor analisando um documento de cada vez, a ferramenta é um copiloto disfarçado.

A segunda é o que é gravado na plataforma de revisão quando a varredura termina. Se a resposta for um painel, uma exportação em CSV ou uma interface separada, a ferramenta vai acrescentar trabalho ao dia dos seus revisores, em vez de reduzi-lo.

A terceira é como fica a trilha de auditoria de um documento que o modelo considerou não responsivo. Se a resposta for uma pontuação de confiança, você está diante de um sistema probabilístico de recuperação de informações. Se a resposta for uma análise escrita explicando por que o documento não atende aos critérios de revisão, você está diante de uma plataforma que leva a defensabilidade a sério.

Não são perguntas capciosas. São as perguntas que separam as ferramentas que rendem uma boa demo das ferramentas com as quais você consegue conduzir um discovery.

Se você está dimensionando um caso que ultrapassa a marca dos cem mil documentos e quer ver como é, na prática, uma revisão com IA construída para essa escala, agende uma apresentação de quinze minutos. Vamos executar a Claira em uma amostra representativa dos seus dados e mostrar como fica a economia por documento no seu acervo específico. Essa costuma ser uma conversa mais útil do que mais uma apresentação de slides.