Você não quer mágica no seu processo de eDiscovery

Arthur C. Clarke escreveu certa vez que qualquer tecnologia suficientemente avançada é indistinguível da magia. Ele falava da dificuldade de prever o futuro, mas boa parte dos softwares de IA parece ter lido a frase como um caderno de especificações.

Você provavelmente já conhece o tipo. Há uma caixa vazia, você digita uma pergunta, uma fileira de pontinhos pulsa por um instante e uma resposta chega de algum lugar dos bastidores, fluente, segura de si e sem nenhum apoio visível. Ela tem o encanto de um truque de salão, a moeda que surge de trás da orelha de uma criança, e como todo truque de salão convida você a apreciar o efeito sem perguntar pela causa.

A plateia de um show de mágica aceitou ser enganada, e é por isso que todos voltam contentes para casa. Um advogado que certifica uma produção de eDiscovery assumiu um compromisso muito mais sério. O nome dele está no resultado, o cliente paga pelo julgamento dele e o tribunal vai confiar no relato dele sobre como os documentos foram revisados. Ainda não conhecemos o advogado que diria a um juiz que a revisão foi feita por algo maravilhoso que ele não saberia descrever.

Uma equipe de revisão precisa de algo mais simples da sua IA, que por acaso também é mais difícil de construir. Precisa de uma ferramenta rápida, eficaz e fácil de usar, cujo funcionamento possa ser acompanhado e explicado a cada passo do caminho.

O problema com os truques

Todo ilusionista sabe que o método precisa ficar fora de vista, porque no instante em que a plateia vislumbra o fundo falso da caixa, o encantamento deixa a sala. O ofício se apoia no disfarce e na arte de desviar o olhar no momento certo.

O eDiscovery funciona ao contrário. Quando a parte contrária pergunta por que um documento foi retido, ou um cliente quer saber como você pode ter certeza de que nada passou despercebido, o que é preciso apresentar é justamente o método, e é preciso apresentá-lo em palavras, muitas vezes meses depois de concluído o trabalho.

Uma ferramenta que funciona como mágica deixa você na mão aqui de duas maneiras, que correspondem aos dois tipos de erro que já tiram o sono dos litigantes.

O primeiro é o erro por ação, uma resposta errada dita com a mesma voz serena de uma resposta certa. Quando você não consegue ver como se chegou a uma resposta, não tem como distinguir uma da outra só de olhar. O exemplo canadense mais conhecido é o que comentamos em Lições de Zhang v. Chen, em que precedentes inventados por um chatbot foram parar em uma petição apresentada na Colúmbia Britânica, perfeitamente plausíveis e sem fonte alguma.

O segundo é o erro por omissão, e na revisão de documentos ele é o mais perigoso dos dois, porque deixa pouquíssimo rastro. Uma resposta errada pelo menos fica na página, onde alguém pode notá-la, enquanto um documento ausente não faz barulho algum, e uma lista classificada ou um resumo não dão a você nenhuma notícia do que ficou abaixo da linha ou fora do enquadramento. É por isso que defendemos em Cada documento importa que todo documento que sobrevive à triagem deve ser revisado, e a revisão registrada.

Uma boa revisão não deixa nada escapar nem inventa nada, e a dificuldade sempre esteve em demonstrar isso. Uma ferramenta que funciona como mágica pode oferecer a você a própria confiança e pouco mais. A Claira foi construída para que você possa ver com seus próprios olhos.

Um método que cabe num guardanapo

O funcionamento da Claira se conta em um parágrafo. Você escreve em palavras simples a pergunta que quer ver respondida, mais ou menos como passaria as instruções a um revisor júnior na primeira manhã de um caso, e a testa em um punhado de documentos para ver o que volta. Ajusta a redação até que as respostas correspondam ao que você quis dizer. Depois aplica a mesma pergunta a todo o conjunto de revisão com o Bulk Scan, e a Claira grava cada resposta em um campo do respectivo documento no Nuix Discover, onde sua equipe pode pesquisá-la, amostrá-la e corrigi-la como qualquer outra codificação.

Como a pergunta fica registrada por escrito com as suas palavras, os documentos são os que você escolheu e as respostas ficam nos seus próprios campos, ao lado dos documentos que descrevem, cada etapa do trabalho deixa para trás algo que você pode examinar depois.

A velocidade vem de fazer uma pergunta bem construída milhares de vezes, o tipo de repetição paciente em que as máquinas são boas, e essa mesma simplicidade é o que torna o processo fácil de explicar. Você conseguiria descrevê-lo a um juiz em menos de um minuto. Ninguém na equipe precisa ser especialista em IA para acompanhá-lo, porque ele se desenrola no vocabulário comum da revisão de documentos.

O livro de registro da Claira

Os contadores têm seus livros-razão e os eruditos, suas notas de margem. A Claira mantém um registro contínuo da revisão à medida que ela avança, e vários dos seus recursos mais recentes existem sobretudo para deixar esse registro mais completo e mais fácil de ler.

O Prompt History, o histórico de prompts, guarda cada versão de cada prompt usado em um caso, com o autor, quantas vezes foi usado e os comentários que a equipe deixou. Quando a equipe se decide por uma redação, marcá-la como final registra essa escolha à vista de todos no caso, e agora o histórico inteiro pode ser exportado como planilha, uma revisão por linha, com cada comentário ligado à revisão a que se refere. É o documento a que se recorre quando alguém pergunta, um ano depois, como a pergunta de revisão chegou à sua forma definitiva. Se você quiser que o prompt viaje junto com a própria prova, um bulk scan também pode gravá-lo no campo Prompt Log de cada documento.

A Claira também pode redigir prompts quando você pede. O Agent e o Prompt Generator podem escrever um do zero, e o Revise with Agent pode sugerir mudanças nos seus; todo prompt produzido assim leva uma pequena varinha no Prompt History, e ao passar o cursor sobre ela a Claira informa qual ferramenta o escreveu. Gostamos bastante da ironia de que a única varinha da Claira sirva para mostrar a você por onde a máquina passou.

Os Insights montam cronologias, tabelas e memorandos a partir de documentos codificados, e foram pensados para ser conferidos linha por linha. Um Insight informa quantos documentos leu. Quando cita um documento, a citação abre a entrada desse documento entre as fontes, e no PDF exportado os links funcionam nos dois sentidos, de modo que um colega que tem apenas o arquivo pode ir de uma frase à sua fonte e voltar sem abrir a Claira nem o Nuix Discover. Passar o cursor sobre um Document ID no painel mostra a resposta da IA que levou aquele documento ao Insight, e se o modelo chegar a citar um documento que o Insight não leu, a Claira remove essa citação antes que ela chegue até você. Você pode até acompanhar a escrita de um Insight enquanto a Claira marca suas etapas, da leitura dos resultados à conferência das referências.

O Agent Mode é igualmente aberto sobre o que faz. Uma etiqueta acima da caixa de mensagem mostra o documento que você tem aberto e indica se a Claira vai receber só o texto ou o texto junto com o arquivo, e um único clique o deixa fora da conversa. Cada chat pode ser configurado para perguntar antes de iniciar qualquer trabalho ou para preparar o trabalho e iniciá-lo por você, dentro dos limites definidos pelo seu administrador, e as etapas de maior alcance, como analisar o caso inteiro ou criar um campo, sempre esperam que uma pessoa aperte o botão.

Nada esquecido, nada inventado

Voltando aos dois tipos de erro, uma ferramenta feita para ser entendida deveria permitir que você demonstre que uma revisão evitou os dois, e o registro da Claira foi projetado exatamente com isso em mente.

Quanto à omissão, o registro presta contas de cada documento que você selecionou. Enquanto roda, um bulk scan contabiliza cada resultado, seja um documento codificado, ignorado por não ter conteúdo legível ou com falha, e o histórico de tarefas guarda esses números depois. Uma execução interrompida no meio do caminho é marcada como Incomplete e mostra exatamente quantos documentos faltam, de modo que documentos que nunca foram analisados não podem se passar por concluídos. Quando você retoma a tarefa, ela mantém o prompt com que começou, o que significa que os últimos mil documentos recebem a mesma pergunta que os primeiros.

Quanto à invenção, as respostas ficam ao lado das suas provas. Cada resposta é gravada em um campo do documento que descreve, então conferi-la é questão de abrir esse documento. Um Insight lê os seus campos do jeito que estão no momento em que você clica em Generate, de modo que a correção de um revisor é a versão com que a cronologia trabalha.

Conferir tudo isso leva muito pouco tempo. Fazer amostragem dos documentos codificados como não responsivos continua sendo uma boa prática, e com as respostas em campos isso é uma pesquisa comum no Discover. Uma revisão que se pode enxergar de ponta a ponta é muito mais fácil de defender.

A mesma pergunta, duas vezes

Entregue o mesmo contrato a três associados competentes e peça um resumo a cada um, e você vai receber três resumos corretos que não se parecem em nada. Pergunte aos mesmos três se o contrato tem uma cláusula de indenização, e que a citem se for o caso, e você vai ouvir a mesma resposta três vezes, porque uma pergunta estreita deixa pouquíssimo espaço para divagar.

Nossa central de ajuda resume a ideia em uma frase digna de ser pregada acima da mesa de revisão: os resumos podem variar, as decisões não deveriam. O artigo Why you might not get the same answer twice explica os motivos em termos simples, começando pela forma como um modelo de linguagem escolhe as palavras.

Essa constância é o que torna um processo defensável. Quando uma pergunta bem construída chega à mesma decisão sobre o mesmo documento, não importa quem a execute, a decisão pode ser rastreada até a pergunta, e a pergunta pertence a você.

Explicável para quem perguntar

Como escrevemos em A obrigação de competência, o dever de competência exige que os advogados consigam explicar em termos simples o que suas ferramentas fizeram, mais ou menos como prestariam contas do trabalho de um revisor júnior. É um dever difícil de cumprir com uma ferramenta que funciona como mágica, e plenamente ao alcance com uma que mantém o método à vista.

Quebrar o cajado

Perto do fim de A tempestade, Próspero renuncia à sua arte. "Esta magia rude eu aqui abjuro", diz ele, prometendo quebrar o cajado e afogar o livro, e no epílogo se adianta sem seus encantos para falar à plateia com simplicidade e pedir a indulgência dela. É um dos momentos mais bonitos de Shakespeare, e é com esse espírito que tentamos construir a Claira.

Por baixo há muita engenharia cuidadosa, e a velocidade é real, mas na superfície, onde o seu julgamento encontra o trabalho, tentamos manter tudo à vista, para que o caminho da sua pergunta até as respostas nos seus campos possa ser percorrido por qualquer pessoa que precise percorrê-lo. O resultado é rápido, eficaz e fácil de usar, e pode ser explicado a cada passo às pessoas que precisam entendê-lo.

Por onde começar

A forma mais segura de julgar tudo isso é vê-lo funcionando com documentos que você já conhece. Pegue um caso encerrado, escreva a pergunta que sua equipe respondeu à mão na época, peça à Claira que dê as razões junto com as respostas e compare onde ela concorda com seus revisores e onde se afasta deles.

Se quiser companhia nessa primeira hora, agende uma sessão rápida com nossa equipe, traga um conjunto de documentos que você conhece bem e mostraremos como tudo funciona.