PT EN
Instalar

Prompt não é controle: revisar o que o agente diz que fez

Uma regra no CLAUDE.md orienta o agente, mas não o impede de nada. O que segura é um controle que roda fora dele e deixa prova.

Read in English Versão em Markdown

Corredor de concreto teal com uma porta de aço fechada por barra e um trinco laranja num pilar, com uma luz laranja ao fundo.

Instrução não é bloqueio

O paper When "Do Not" Is Not Deny (arXiv:2608.23550) é um estudo estático. Os autores coletaram 481 arquivos CLAUDE.md públicos, extraíram as regras normativas de segurança e perguntaram, para cada uma, se existe um controle nativo equivalente. Para contar como controle, ele precisa cobrir ação, alvo, condição e aprovação. No padrão mais estrito, a cobertura estimada foi de 4,4% (IC 95%: 2,6 a 6,7%). O paper mede se o controle existe, não se a configuração está ativa nem se ela resiste a bypass. Ou seja, o número não diz que todo repositório está exposto.

A pergunta prática é simples: se o agente ignorar a regra, o que acontece? Se a resposta for nada, a regra é uma orientação bem escrita. Ela pode funcionar na maioria das vezes, mas não segura nada. Para o que não pode acontecer, alguém de fora do agente precisa decidir.

Quem confere não pode ser o autor

Gallon, em um vídeo sobre três níveis de revisão, relata um caso de carta de cobrança. O agente que redigiu a carta conferiu datas e cláusulas contra o contrato e marcou tudo como verificado. Revisores frios, que receberam só a carta, o contrato e as notas fiscais, acharam uma cláusula de renovação automática de três anos no fim do contrato. O contrato tinha renovado havia menos de três semanas, e a carta pedia que a empresa saísse de um contrato ainda em vigor. A checagem do próprio agente tinha concordado com o erro dele.

A proposta dele tem três níveis, cada um mais caro que o anterior. No primeiro, todo despacho declara o arquivo esperado e o comando que o verifica, e a resposta só pode ser "verificado", com fingerprint, ou "ausente", com motivo. No segundo, em casos que importam, duas execuções independentes alimentam um árbitro que volta à fonte. No terceiro, para o que exige raciocínio, revisores que não viram o histórico leem o trabalho, e uma última rodada usa revisores que nunca viram a versão.

O mesmo tipo de risco aparece em benchmark. No SWE-Marathon (arXiv:2606.07682), um benchmark de tarefas de horizonte longo, 13,8% das execuções tiveram ao menos uma ação com forma de exploração do verificador, e 10,2% entregaram um bypass claro. Nenhuma das 1.300 execuções ganhou recompensa positiva com o exploit, porque as camadas de defesa pegaram os 132 bypasses entregues no corpus auditado. O recado não é que o agente é desonesto. A verificação precisa estar em camadas que o agente não controla, e tentar um bypass é uma coisa diferente de conseguir.

O que o T25 confere hoje

  • Veredito recalculado. O reviewer escreve os findings, e o pipeline recalcula o veredito a partir deles. Um finding em escopo bloqueia, mesmo que o texto diga APPROVE. A história está no post sobre o APPROVE.
  • Reviewer sem os artefatos de feedback das rodadas anteriores. O prompt do reviewer recebe a spec, o plano e o contexto, além do próprio handoff. Os artefatos de feedback de QA e review entram só no prompt dos papéis de desenvolvimento. O serviço também não retoma a sessão do CLI entre rodadas: cada rodada é uma execução nova.
  • Prova de interface amarrada ao diff. Quando um item do contrato da spec exige exercício de interface, o QA precisa gravar interface-exercise.json com a versão da spec e o diffSha do diff atual, calculado sem o próprio arquivo de prova. Se o diff mudar depois, o digest não bate e a task continua em QA. A observação em texto ainda vem do agente. O que o T25 amarra é que ela se refere àquele diff.
  • Cadeia de evidência no DONE. Cada nível de risco exige um conjunto de marcos. Em low: executado, PR aberto e utilizável, merge e DONE. Em medium, entra REVIEWED. Em high e critical, entra MERGE_READY. Cada marco precisa de evidência que resolve: um identificador do PR e dos checks, ou um artefato com checksum SHA-256. Sem isso, a tarefa não fecha.

O que ainda não está provado

O reviewer continua sendo um modelo, então pode errar para os dois lados. O CRBugBench (arXiv:2610.13668) mostra que localizar o arquivo com defeito é diferente de diagnosticar o bug: 95,6% das execuções inspecionam o arquivo, mas 56,2% acertam o problema.

Teste escrito pelo agente também não é prova forte. No estudo sobre testes gerados por agentes (arXiv:2602.07900), com SWE-bench Verified, o Claude Opus 4.5 escreveu um teste novo em cerca de 83% das tarefas e resolveu 74,4%. O GPT-5.2 quase não escreveu testes, em 0,6% das tarefas, e resolveu 71,8%. Escrever muito teste não trouxe grande vantagem: a diferença de resolução entre os dois foi de 2,6 pontos percentuais. Isso não prova que testes do agente não servem para nada, mas coloca em dúvida a ideia de que mais teste escrito pelo agente significa mais qualidade.

Por fim, a cadeia de evidência prova que a entrega passou pelos marcos e que cada marco aponta para algo que existe. Se a feature atende o pedido, isso ainda depende de teste, revisão humana e de quem assina a mudança.

Perguntas frequentes

Por que não colocar a regra no CLAUDE.md e pronto?

Porque o CLAUDE.md orienta o agente, e nada impede o agente de contrariá-lo. Use-o para dar contexto e convenção. Para o que não pode acontecer, prefira um controle externo ao agente: um gate, uma checagem determinística ou um controle nativo da ferramenta, quando ela oferecer um.

O reviewer deveria ler o relatório do desenvolvedor?

No T25, não. O reviewer trabalha com a spec, o plano e o contexto, além do próprio handoff, e não com os artefatos de feedback que alimentam o desenvolvedor. A ideia é que ele não herde a narrativa que está revisando.

Se o agente disser que testou, isso basta?

Não. O que serve é um artefato que aponte para o diff testado. No T25, a prova de exercício de interface é um arquivo com o digest do diff, e ela deixa de valer quando o diff muda.

A cadeia de evidência garante que a feature está certa?

Não. Ela garante que a entrega passou pelos marcos exigidos pelo risco e que cada marco aponta para algo verificável. A correção do código continua dependendo de teste, revisão e de quem assina a mudança.

Teste o T25 na sua máquina.

O acesso é por convite: o link pessoal de download chega por e-mail, o instalador verifica o checksum do pacote e o doctor --evaluation valida o ambiente. Gratuito durante os 30 dias do programa de early evaluators. O orquestrador, o banco e as worktrees rodam na sua máquina; a T25 não coleta seu código, prompts, logs ou credenciais. Os CLIs de agente enviam dados aos próprios provedores, na sua conta e conforme as políticas deles.

t25 doctor --evaluation
t25 create "Add retry with backoff to the HTTP client"

Solicitar convite