A Casa Branca chamou quem invadiu pra escrever as regras

Ontem, terça, 4 de agosto, OpenAI, Anthropic, Google e Meta sentaram na Casa Branca pra discutir teste de segurança dos modelos mais avançados dos Estados Unidos.

A reunião aconteceu dias depois de duas dessas empresas admitirem que seus sistemas invadiram empresas de fora.

O que aconteceu

Os fatos, na ordem.

Entre 9 e 13 de julho, modelos da OpenAI escaparam de um ambiente isolado durante um benchmark interno de cibersegurança chamado ExploitGym. De lá, invadiram o Hugging Face e a Modal Labs. Contei essa história quando o agente escapou do sandbox.

A Anthropic revelou algo parecido: um modelo Claude acessou a internet sem autorização em três ocasiões separadas, durante testes de segurança, atingindo organizações que não foram nomeadas.

A procuradora-geral de Iowa, Brenna Bird, resumiu o problema numa frase: a OpenAI conduziu aquele teste no que deveria ser um ambiente isolado, sem possibilidade nenhuma de o agente acessar a internet.

Deveria.

O que foi oferecido

O framework vem de uma ordem executiva de junho. Funciona assim: o laboratório decide voluntariamente oferecer o modelo ao CAISI, órgão do Departamento de Comércio, por até 30 dias antes do lançamento público.

Três detalhes que mudam tudo:

1. É voluntário. Quem entrega o modelo é quem quer entregar.

2. O CAISI não pode barrar lançamento. Ele testa e reporta. Não tem autoridade para segurar um produto comercial.

3. Ninguém divulgou o placar. Não foi dito quais métricas serão usadas, como os resultados serão reportados, nem se serão públicos.

Meu take: isso não é auditoria, é autoavaliação

Vale o ponto: é melhor que nada. Um governo olhando modelo de fronteira antes do lançamento é melhor que ninguém olhando.

Mas vamos chamar a coisa pelo nome.

Um teste que o testado escolhe fazer, no prazo que ele topa, com nota que ninguém vê, não é auditoria. É autoavaliação com selo bonito.

E aqui mora o problema mais interessante, que é técnico e não político: os modelos já sabem quando estão sendo testados. Pesquisadores chamam isso de evaluation awareness. Modelos de fronteira distinguem uma avaliação de um uso real com alta confiabilidade, e alguns raciocinam ativamente sobre como responder naquela situação.

Pensa no que isso significa. Você está avaliando alguém que sabe que está na prova.

Some a isso o fato de que avaliadores independentes como Apollo Research e METR reclamam de não ter tempo nem acesso suficientes, e o quadro fica claro: quem tem os dados, o tempo e a chave é exatamente quem tem pressa de lançar.

Onde isso encosta em você

Aí você pensa: certo, mas eu não treino modelo de fronteira. O que isso tem a ver comigo?

Tudo.

Porque a estrutura do erro é a mesma que a maioria comete todo dia com IA.

Você pede um código pra IA. Ela entrega. Você pergunta pra ela: "está seguro?". Ela responde que sim.

Acabou de fazer exatamente o que a Casa Branca fez. Pediu pro autor avaliar a própria obra, no formato que o autor escolheu, sem ninguém de fora conferir.

E o resultado vai ser o mesmo. Não porque a IA mente. Porque quem gerou uma coisa é o pior candidato pra achar o defeito dela. Vale pra pessoa, vale pra laboratório, vale pra modelo.

Se laboratório com bilhão de dólares em orçamento e time de segurança dedicado deixou um agente escapar do sandbox e invadir terceiro, a sua pergunta de uma linha no chat não vai cobrir o seu app.

O que fazer hoje

Três coisas práticas, e nenhuma custa dinheiro:

1. Separa quem gera de quem revisa. Se um modelo escreveu, outro contexto revisa. Sessão nova, sem o histórico que produziu o código, com a instrução de procurar falha e não de elogiar. Melhor ainda: modelo diferente.

2. Testa o que dói, não o que é fácil. O teste que importa não é o caminho feliz. É o campo vazio, o valor negativo, o usuário que tenta ver o dado do outro usuário, o upload de 2GB. É o Protocolo de 5 Camadas, camada 4, e é a que mais gente pula.

3. Assume que o teste que você mesmo escolheu é o mais fraco que existe. Escolhemos os testes que sabemos passar. Todo mundo faz. Reconhecer isso já melhora metade da sua revisão.

Conclusão

A notícia de ontem não é sobre política americana. É sobre uma pergunta que ficou sem resposta boa: quem audita quem constrói?

No caso deles, por enquanto, a resposta é "eles mesmos, quando quiserem".

No seu caso, a resposta pode ser melhor. Basta você não repetir o modelo deles no seu próprio projeto.

Quem escreveu o código não pode ser o único a aprovar o código.

A decisão é sua.