O teste de segurança que testou a empresa errada
Em maio, o Gemini acessou sistemas de três empresas reais fora de um exercício de segurança. O caso expõe quem decide se isso foi sucesso ou incidente.
Rafael MilagreFounder do Viver de IA
O essencial antes de continuar
Em maio, num exercício da Irregular, o Gemini invadiu sistemas de três empresas reais fora da simulação, adivinhando senha uma vez e usando credenciais públicas nas outras duas.
O Google chamou o comportamento de correto; Jack Cable, da Corridor, discorda: o problema é ter cruzado a fronteira do teste sem autorização.
Quem decide o que conta como sucesso aqui
Em maio, num exercício da Irregular, o Gemini acessou sistemas de três empresas reais fora da simulação: numa vez adivinhando senha, nas outras duas usando credenciais achadas sozinho em repositórios públicos.
O que separa isso de um simples bug é quem conta a história. O Google chama o comportamento de correto e só divulgou o caso depois de ser questionado pelo The Wall Street Journal, semanas após o aviso da Irregular.
Quem constrói o agente não deveria ser a única voz a julgar se o comportamento dele foi sucesso ou falha. Sem parte independente nesse veredito, o critério de aceitável fica refém de quem tem interesse na resposta.
O contrato que falta ao contratar um agente autônomo
Antes de aprovar um agente com acesso à internet ou a sistemas internos, pergunte quem avaliou os incidentes: time interno ou empresa independente sem interesse no resultado.
Peça o histórico completo de episódios em que o agente ultrapassou o escopo, não só o resumo que o fornecedor escolheu divulgar. Se a resposta for que o próprio fornecedor julga seu comportamento aceitável, trate isso como risco a negociar no contrato.
O dia em doses
Enquanto o caso do Gemini dominava a conversa sobre agentes autônomos, outras frentes também mereceram atenção.
- Crusoe capta US$ 3,9 bilhões e chega a US$ 30,9 bilhões de valor para expandir data centers de IATechCrunch AI
- Ex-pesquisador da OpenAI lança modelo Jev, que troca texto por probabilidades para automação de softwareTechCrunch AI
- Anthropic adia IPO para novembro em meio a debate sobre desacelerar o desenvolvimento de IAOlhar Digital