Como conduzir uma revisão por IA em larga escala

Este guia percorre a estratégia, a sequência de etapas e as decisões envolvidas na condução de uma revisão de documentos assistida por IA em larga escala na Claira. Ele foi escrito para equipes jurídicas que estão prestes a revisar com IA dezenas ou centenas de milhares de documentos e querem fazer isso de forma defensável, eficiente e sem surpresas.

A ideia central: uma revisão por IA não é uma busca por palavras-chave maior e mais rápida. Ela se parece mais com delegar um trabalho que exige discernimento a um colega júnior bem informado - com a diferença de que esse colega consegue ler 10.000 documentos por hora, nunca se cansa e mantém um registro perfeito do que fez e por quê. Seu trabalho deixa de ser revisar documentos e passa a ser instruir bem, validar os resultados e exercer o julgamento final que é gravado no campo de produção.

1. A mudança de mentalidade

Antes de qualquer coisa, tire sua equipe da mentalidade booleana / STF.

A consulta tradicional a bancos de dados é algorítmica e facetada: pensar em cada grafia, cada variante de um nome, cada forma pela qual um produto ou uma pessoa pode ser mencionado, ponderando por metadados como número de destinatários ou intervalos de datas. Esse trabalho não é mais necessário. O LLM lida nativamente com a variabilidade linguística - grafias, traduções, erros de digitação, variações de nomes, sinônimos. Você não precisa montar uma lista de todas as formas como "o contrato" pode aparecer em 200.000 documentos.

O que substitui esse trabalho é a instrução em linguagem simples. Você diz ao modelo do que trata o caso e o que quer saber, da mesma forma que orientaria um estagiário de direito durante um café. A qualidade da revisão agora depende da qualidade dessa orientação, e não da engenhosidade da sua sintaxe de busca.

Esse é o maior ajuste para profissionais experientes de eDiscovery. Confie no modelo quanto à variabilidade linguística. Dedique seu esforço ao contexto e à instrução.

2. Duas camadas de escopo

Toda revisão por IA tem duas camadas de definição de escopo. Mantenha-as separadas na sua cabeça.

Camada 1 - a tarefa. O que esta revisão procura determinar? Quais são as questões? Quem são as pessoas relevantes? Qual é a teoria do caso? Isso precisa vir da equipe jurídica. Ninguém mais pode escrever isso.

Camada 2 - o resultado. Em que formato as respostas devem voltar - indicadores sim/não por questão, justificativa em texto livre, campos estruturados, resumos? Isso é mecânico, e a Claira cuida disso. O objetivo é um resultado fácil de validar, fácil de filtrar e fácil de codificar em massa nos campos de produção, sem precisar reprocessar nada com IA.

Você se preocupa com a Camada 1. A Claira se preocupa com a Camada 2.

3. Preparação antes do início do projeto

Antes de ativar a assinatura e começar a construir prompts, prepare três insumos.

3.1 O contexto do caso

É um resumo escrito sobre o que trata o caso. Ele não precisa ser polido nem seguir um modelo. Pense nele como o memorando de orientação que você daria a um novo advogado que está entrando no caso. Inclua:

• Uma breve narrativa factual da disputa ou da investigação
• O período relevante
• As principais alegações ou questões em jogo
• A teoria da pretensão ou da defesa, quando pertinente
• Entidades, produtos, projetos ou sistemas-chave mencionados nos documentos

Você pode extrair isso das peças processuais, mas elas costumam ser um material de origem fraco - processuais demais, enxutas demais. Um memorando de orientação, um resumo interno do caso ou um documento de estratégia geralmente é melhor. Se você já tiver um escrito para o caso, esse é o seu ponto de partida.

A Claira vai passar esse contexto bruto por uma etapa de extração estruturada para produzir um objeto de contexto do caso - um detalhamento limpo das questões e das pessoas, que o modelo usa em todos os prompts seguintes. Você verá esse resultado estruturado e o confirmará antes que qualquer revisão seja executada. Essa é a primeira checagem de consistência.

3.2 As perguntas

Liste todas as perguntas que você quer ver respondidas sobre os documentos. Não pré-filtre, não tente otimizar, não junte perguntas que você acha parecidas. Se você atribuiria 30 ou 50 perguntas a uma equipe de estagiários, nos passe 30 ou 50 perguntas.

Escreva-as em linguagem simples, no idioma que for natural para sua equipe. O modelo é agnóstico quanto ao idioma de entrada e de saída.

A Claira analisa a lista de perguntas e recomenda como estruturá-las - quais combinar, quais escalonar em níveis, quais fazer apenas para documentos que passarem por um filtro anterior. Essa recomendação depende do formato das perguntas; por isso, nos entregar a lista completa importa mais do que nos entregar uma lista arrumada.

3.3 A lista de exclusão

Identifique pastas (binders) de documentos, custodiantes, coleções de origem ou tipos de documento que a equipe se sente segura em excluir totalmente da revisão. Seja conservador - a capacidade de processamento é alta o bastante para que uma inclusão ampla costume ser o padrão certo - mas quase sempre há bolsões de material claramente fora do escopo que não precisam ser tocados.

Essa lista acompanha o contexto e as perguntas quando você entrega o material para a construção do prompt.

4. Construindo o prompt

Um prompt da Claira é o contexto do caso mais a pergunta. O contexto do caso é comum a todo o caso; a pergunta é o que muda a cada tarefa. Juntos, eles dizem ao modelo: é disso que trata o caso, e é isto que quero que você determine neste documento.

A Claira constrói e refina o prompt inicialmente, sobretudo na primeira revisão de uma equipe. Você vê cada prompt, cada objeto de contexto e cada resultado. Nada fica oculto.

O prompt produz um resultado estruturado que é gravado em campos de IA dedicados em cada documento - nunca diretamente no campo de relevância para produção. Essa separação é deliberada: a determinação da IA é um insumo para a sua decisão, não a decisão em si. Você codifica em massa dos campos de IA para os campos de produção após o controle de qualidade (QC), com base no seu próprio julgamento.

Cada resultado também inclui uma breve justificativa - uma frase explicando por que o modelo respondeu daquela forma. É isso que torna possível a revisão por leitura rápida em escala, e é isso que lhe dá defensabilidade.

5. Garantia de qualidade (QA) antes da execução completa

Não execute o prompt sobre o universo completo de documentos na primeira vez em que o construir. Execute-o em pequenos lotes e leia os resultados com atenção.

O padrão:

• Separe uma amostra de documentos que você já sabe que devem corresponder a cada questão - os óbvios, os casos mais fáceis, que você encontraria com uma busca básica por palavras-chave.
• Execute o prompt em 50 deles.
• Leia os resultados.
• Execute outros 50.
• Leia os resultados.

Aqui você não está buscando representatividade estatística. Está verificando se o modelo interpreta a instrução do jeito que você pretendia. Se ele estiver codificando em excesso porque a instrução foi ampla demais ("todos com aquele sobrenome") ou codificando de menos porque a instrução foi restrita demais, você refina o prompt e executa de novo. Este é o momento em que "o associado júnior volta com o primeiro lote". A maioria dos prompts precisa de pelo menos uma rodada de refinamento; alguns precisam de várias.

Quando há heterogeneidade de tipos de documento (e-mails, contratos, especificações técnicas, planilhas), considere executar lotes de QA por tipo para confirmar que o prompt se sustenta em todos os formatos. Você pode decidir dividir a execução em lotes separados por tipo de documento.

6. A execução completa

Quando o QA estiver limpo, a revisão completa é executada. A Claira processa cerca de 10.000 documentos por hora. Um conjunto de 200.000 documentos é concluído em menos de um dia de tempo corrido.

Na maioria dos casos, a Claira recomenda um fluxo de trabalho em níveis em vez de fazer todas as perguntas a todos os documentos. O padrão:

1. Um prompt de primeiro nível faz uma determinação ampla - se o documento tem alguma relação com o caso e a qual grande grupo de questões ele pertence.
2. Os documentos que não passam no primeiro nível não recebem a bateria completa de perguntas detalhadas.
3. Os documentos que passam seguem para os prompts de segundo nível, que são mais granulares.

O escalonamento em níveis faz duas coisas: concentra o gasto de tokens nos documentos com potencial e mantém o resultado mais limpo, porque documentos irrelevantes não recebem perguntas às quais não têm como responder. A Claira recomenda a estrutura de níveis com base na lista de perguntas.

7. Controle de qualidade após a execução

O QC é fundamentalmente diferente em uma revisão por IA e em uma revisão humana.

Revisores humanos cometem erros aleatórios - um revisor codifica de forma inconsistente com outro, um lapso de atenção leva à codificação errada de um documento, o cansaço provoca desvios ao longo de uma semana de trabalho. Erros aleatórios exigem amostragem aleatória para serem encontrados. O QC tradicional na fase de discovery amostra cerca de 350 documentos de uma população para limitar a taxa de erro a 5% ou 2,5%, independentemente do tamanho da população (até cerca de 10 milhões de documentos).

Revisores de IA não cometem erros aleatórios. Cometem erros consistentes - o prompt era ambíguo em uma direção, então o modelo inclinou todos os documentos limítrofes para o mesmo lado. Você não precisa de 350 documentos aleatórios para encontrar isso. Precisa de amostragem estratificada: separe os documentos que corresponderam a cada questão e verifique se a instrução foi interpretada como pretendido.

Na prática, o QC funciona assim:

• Separe todos os documentos que a IA sinalizou para a questão 1. Leia rapidamente 20-30 deles, com suas justificativas. Todos são, de forma razoável, ocorrências pertinentes? Se sim, siga em frente. Se algo estiver consistentemente errado, o prompt estava errado - refine e execute novamente essa questão.
• Repita para cada questão.
• Verifique por amostragem os documentos não sinalizados para confirmar que o prompt não está deixando escapar sistematicamente alguma categoria.

Duas assimetrias importantes a internalizar:

• Falsos negativos são o risco real. Um documento que deveria ter sido sinalizado e não foi é um problema que você talvez nunca descubra. Direcione o esforço de QC para identificar esses casos.
• Falsos positivos são toleráveis. Um prompt abrangente demais, que sinaliza alguns documentos que acabam não sendo relevantes, não é problema - você os identifica na revisão humana, e o custo é tempo de leitura, não prova perdida.

O QC pode ser adiado. As determinações da IA são campos persistentes em cada documento. Elas ficam no banco de dados. Você pode executar os prompts em maio e fazer o QC final em novembro, e o resultado continua lá, consultável, sem gasto adicional de tokens. Isso importa quando o gargalo é a capacidade de revisão, e não a capacidade de processamento. Você pode executar o trabalho de IA tão rápido quanto os prompts permitirem e, depois, trazer revisores humanos para validar e codificar em massa sem reprocessar nada.

8. Codificação em massa para produção

Após o QC, o advogado decide o que será codificado no campo de relevância para produção. Como o resultado da IA fica em campos dedicados, com justificativa, isso geralmente é uma operação em massa: filtrar pelos campos de IA em que a equipe tem confiança e codificar em massa nos campos de produção. Quando a equipe discorda da IA, esses documentos vão para revisão manual ou recebem um novo prompt.

A narrativa de defensabilidade é simples: sim, a IA foi usada. O advogado tomou a decisão. A trilha de auditoria mostra qual contexto foi carregado, qual prompt foi executado, o que o modelo retornou e o que o ser humano decidiu. Isso afasta a preocupação com alucinações da mesma forma que o trabalho júnior supervisionado por humanos a afasta - o advogado sênior é responsável pela decisão.

9. Defensabilidade e trilha de auditoria

Tudo fica registrado:

• O objeto de contexto do caso, incluindo as questões e as pessoas estruturadas extraídas da orientação
• Cada prompt, incluindo todas as suas versões
• O vínculo entre cada prompt e as respostas que ele produziu
• Os resultados por documento, com justificativa

Isso significa que a equipe pode demonstrar, para qualquer decisão de codificação, a instrução exata que estava em execução quando a IA fez sua determinação. O rastro leva até a orientação original. Se uma decisão de codificação for contestada depois, a cadeia de raciocínio pode ser reconstruída.

10. Trabalhando com listas de perguntas - alguns refinamentos

Algumas observações práticas sobre a lista de perguntas:

• Não escreva lógica booleana. "Documentos que mencionam X, mas não Y" é um padrão de consulta, não uma pergunta. Faça a pergunta subjacente - "Este documento discute X no contexto de A?" - e deixe o modelo cuidar da lógica.
• Seja específico sobre o que torna um sim um sim. "Este documento é relevante para a disputa" é vago demais. "Este documento discute negociações entre a Parte A e a Parte B a respeito da cláusula de rescisão" é viável.
• Peça uma justificativa que seja útil. Especifique o que você quer na explicação de uma frase - o agente, a ação, a data, o que permitir validar com leitura rápida da forma mais ágil.
• Agrupe perguntas relacionadas. Se três perguntas só importam para documentos que correspondem a uma questão principal, sinalize isso. A Claira vai escaloná-las em níveis.

11. Prazos e escala

Alguns números práticos para o planejamento:

• A assinatura precisa estar ativa antes da construção dos prompts. O armazenamento do contexto e dos prompts é feito por caso.
• Capacidade de processamento de cerca de 10.000 documentos por hora.
• Um projeto típico dedica a maior parte do tempo de calendário à construção de prompts e ao QA, e não à execução completa.
• Cronograma realista para um conjunto de 200.000 documentos, do início do projeto à entrega aos revisores humanos: cerca de quatro semanas, com a maior parte do esforço concentrada no início, em contexto, perguntas e iterações de QA.

12. Ajustes comuns a esperar

Quase toda revisão envolve pelo menos um dos ajustes a seguir durante o QA. Nenhum deles é um problema - eles são a forma normal de refinar instruções.

• O prompt foi amplo demais em relação a um nome ou entidade específica, capturando homônimos sem relação com o caso. Restrinja com um contexto que desfaça a ambiguidade.
• O prompt deixou passar uma categoria de documentos relevantes porque a equipe tinha um pressuposto tácito que não foi escrito no contexto. Acrescente-o ao contexto e execute novamente.
• A justificativa do resultado é consistente, mas não é informativa para a revisão por leitura rápida. Ajuste o formato do resultado.
• Um tipo de documento (uma exportação de chat, uma estrutura específica de planilha) confunde o modelo de forma consistente. Separe esse tipo em um lote próprio, com um prompt sob medida.

13. O quadro geral

Uma revisão por IA bem conduzida na Claira é assim:

1. Apresente o caso em linguagem simples. Nos passe seu contexto, sua lista completa de perguntas e o que excluir.
2. Confirme o contexto estruturado do caso que a Claira extrai da sua orientação.
3. Execute pequenos lotes de QA com documentos de referência já conhecidos. Refine o prompt até que o resultado seja o que você mesmo teria escrito.
4. Execute o universo completo de documentos, escalonado em níveis conforme recomendado.
5. Faça o QC por questão, e não por amostra aleatória. Procure erros consistentes. Priorize a identificação de falsos negativos.
6. Adie o QC final se a capacidade dos revisores for o gargalo - o resultado permanece.
7. Codifique em massa nos campos de produção com base no julgamento do advogado, usando a determinação da IA como insumo.
8. Mantenha a trilha de auditoria para garantir a defensabilidade.

O esforço total deixa de ser "revisar 200.000 documentos" e passa a ser "instruir bem, validar os resultados em algumas centenas e exercer o julgamento final sobre o grande volume". Essa é a história da produtividade, e é também por isso que acertar as primeiras etapas importa mais do que qualquer outra coisa no fluxo de trabalho.