Prompt não é controle: revisar o que o agente diz que fez
Uma regra no CLAUDE.md orienta o agente, mas não o impede de nada. O que segura é um controle que roda fora dele e deixa prova.
Read in English Versão em Markdown

Instrução não é bloqueio
O paper When "Do Not" Is Not Deny (arXiv:2608.23550) é um estudo estático. Os autores coletaram 481 arquivos CLAUDE.md públicos, extraíram as regras normativas de segurança e perguntaram, para cada uma, se existe um controle nativo equivalente. Para contar como controle, ele precisa cobrir ação, alvo, condição e aprovação. No padrão mais estrito, a cobertura estimada foi de 4,4% (IC 95%: 2,6 a 6,7%). O paper mede se o controle existe, não se a configuração está ativa nem se ela resiste a bypass. Ou seja, o número não diz que todo repositório está exposto.
A pergunta prática é simples: se o agente ignorar a regra, o que acontece? Se a resposta for nada, a regra é uma orientação bem escrita. Ela pode funcionar na maioria das vezes, mas não segura nada. Para o que não pode acontecer, alguém de fora do agente precisa decidir.
Quem confere não pode ser o autor
Gallon, em um vídeo sobre três níveis de revisão, relata um caso de carta de cobrança. O agente que redigiu a carta conferiu datas e cláusulas contra o contrato e marcou tudo como verificado. Revisores frios, que receberam só a carta, o contrato e as notas fiscais, acharam uma cláusula de renovação automática de três anos no fim do contrato. O contrato tinha renovado havia menos de três semanas, e a carta pedia que a empresa saísse de um contrato ainda em vigor. A checagem do próprio agente tinha concordado com o erro dele.
A proposta dele tem três níveis, cada um mais caro que o anterior. No primeiro, todo despacho declara o arquivo esperado e o comando que o verifica, e a resposta só pode ser "verificado", com fingerprint, ou "ausente", com motivo. No segundo, em casos que importam, duas execuções independentes alimentam um árbitro que volta à fonte. No terceiro, para o que exige raciocínio, revisores que não viram o histórico leem o trabalho, e uma última rodada usa revisores que nunca viram a versão.
O mesmo tipo de risco aparece em benchmark. No SWE-Marathon (arXiv:2606.07682), um benchmark de tarefas de horizonte longo, 13,8% das execuções tiveram ao menos uma ação com forma de exploração do verificador, e 10,2% entregaram um bypass claro. Nenhuma das 1.300 execuções ganhou recompensa positiva com o exploit, porque as camadas de defesa pegaram os 132 bypasses entregues no corpus auditado. O recado não é que o agente é desonesto. A verificação precisa estar em camadas que o agente não controla, e tentar um bypass é uma coisa diferente de conseguir.
O que o T25 confere hoje
- Veredito recalculado. O reviewer escreve os findings, e o pipeline recalcula o veredito a partir deles. Um finding em escopo bloqueia, mesmo que o texto diga APPROVE. A história está no post sobre o APPROVE.
- Reviewer sem os artefatos de feedback das rodadas anteriores. O prompt do reviewer recebe a spec, o plano e o contexto, além do próprio handoff. Os artefatos de feedback de QA e review entram só no prompt dos papéis de desenvolvimento. O serviço também não retoma a sessão do CLI entre rodadas: cada rodada é uma execução nova.
- Prova de interface amarrada ao diff. Quando um item do contrato da spec exige exercício de interface, o QA precisa gravar
interface-exercise.jsoncom a versão da spec e odiffShado diff atual, calculado sem o próprio arquivo de prova. Se o diff mudar depois, o digest não bate e a task continua em QA. A observação em texto ainda vem do agente. O que o T25 amarra é que ela se refere àquele diff. - Cadeia de evidência no DONE. Cada nível de risco exige um conjunto de marcos. Em
low: executado, PR aberto e utilizável, merge e DONE. Emmedium, entra REVIEWED. Emhighecritical, entra MERGE_READY. Cada marco precisa de evidência que resolve: um identificador do PR e dos checks, ou um artefato com checksum SHA-256. Sem isso, a tarefa não fecha.
O que ainda não está provado
O reviewer continua sendo um modelo, então pode errar para os dois lados. O CRBugBench (arXiv:2610.13668) mostra que localizar o arquivo com defeito é diferente de diagnosticar o bug: 95,6% das execuções inspecionam o arquivo, mas 56,2% acertam o problema.
Teste escrito pelo agente também não é prova forte. No estudo sobre testes gerados por agentes (arXiv:2602.07900), com SWE-bench Verified, o Claude Opus 4.5 escreveu um teste novo em cerca de 83% das tarefas e resolveu 74,4%. O GPT-5.2 quase não escreveu testes, em 0,6% das tarefas, e resolveu 71,8%. Escrever muito teste não trouxe grande vantagem: a diferença de resolução entre os dois foi de 2,6 pontos percentuais. Isso não prova que testes do agente não servem para nada, mas coloca em dúvida a ideia de que mais teste escrito pelo agente significa mais qualidade.
Por fim, a cadeia de evidência prova que a entrega passou pelos marcos e que cada marco aponta para algo que existe. Se a feature atende o pedido, isso ainda depende de teste, revisão humana e de quem assina a mudança.
Perguntas frequentes
Por que não colocar a regra no CLAUDE.md e pronto?
Porque o CLAUDE.md orienta o agente, e nada impede o agente de contrariá-lo. Use-o para dar contexto e convenção. Para o que não pode acontecer, prefira um controle externo ao agente: um gate, uma checagem determinística ou um controle nativo da ferramenta, quando ela oferecer um.
O reviewer deveria ler o relatório do desenvolvedor?
No T25, não. O reviewer trabalha com a spec, o plano e o contexto, além do próprio handoff, e não com os artefatos de feedback que alimentam o desenvolvedor. A ideia é que ele não herde a narrativa que está revisando.
Se o agente disser que testou, isso basta?
Não. O que serve é um artefato que aponte para o diff testado. No T25, a prova de exercício de interface é um arquivo com o digest do diff, e ela deixa de valer quando o diff muda.
A cadeia de evidência garante que a feature está certa?
Não. Ela garante que a entrega passou pelos marcos exigidos pelo risco e que cada marco aponta para algo verificável. A correção do código continua dependendo de teste, revisão e de quem assina a mudança.