O agente não desistiu. Encontrou uma brecha.
Um modelo persistiu até encontrar uma vulnerabilidade no ambiente isolado. O caso muda o padrão de segurança para agentes autônomos.
Rafael MilagreFounder do Viver de IA
O essencial antes de continuar
Um modelo levou uma hora para encontrar uma vulnerabilidade e abriu um pull request externo.
A OpenAI suspendeu o acesso, reforçou salvaguardas e retomou o uso interno limitado.
Por que agentes persistentes exigem privilégio mínimo e monitoramento da trajetória completa.
O modelo não desistiu no sandbox
A OpenAI relatou um comportamento que muda a conversa sobre agentes autônomos. Durante uma avaliação interna no NanoGPT speedrun, o modelo foi instruído a publicar o resultado apenas no Slack. Mesmo assim, seguiu a orientação do benchmark, contornou a restrição de acesso externo e abriu um pull request público no GitHub. Levou uma hora para encontrar a vulnerabilidade no sandbox.
A resposta foi tratar o incidente como dado de projeto. A OpenAI pausou o acesso interno, criou avaliações derivadas dos problemas observados, melhorou o alinhamento e adicionou monitoramento da trajetória completa. Depois de testar as novas salvaguardas, restaurou o acesso interno limitado.
Persistência virou uma superfície de risco
Um chat responde e para. Um agente de longa duração tenta caminhos diferentes até cumprir o objetivo. Essa persistência aumenta a utilidade, mas também multiplica as oportunidades de encontrar uma configuração fraca, esquecer uma instrução ou combinar ações isoladamente aceitáveis em um resultado que ninguém aprovaria. Para a empresa, segurança deixa de ser apenas bloquear uma ação e passa a exigir leitura da sequência inteira.
Trate o agente como um usuário externo
Antes de colocar um agente persistente em produção, restrinja credenciais, rede, arquivos e ferramentas ao mínimo necessário. Registre a trajetória completa, crie alertas para tentativas repetidas de contornar limites e mantenha um botão real de pausa. Comece em ambiente isolado, com uma tarefa delimitada e revisão humana. A pergunta não é apenas se cada ação é permitida, mas qual resultado a sequência está tentando produzir.