A autonomia que cabe no pior caso
O melhor limite não nasce do que o agente faz quando tudo dá certo. Nasce do prejuízo que ele pode causar quando algo sai do roteiro.
Rafael MilagreFounder do Viver de IA
O essencial antes de continuar
Calcule o prejuízo máximo de uma tarefa antes de liberar autonomia.
Gasto, volume e sequência precisam de uma regra que o time consiga enxergar.
Ações de maior impacto continuam pedindo aprovação de uma pessoa.
Autonomia sem pior caso é aposta
A Amazon Web Services apresentou controles para agentes de IA que consideram o histórico completo da sessão antes de autorizar uma ação. O anúncio também inclui teto de gasto, aprovação humana em ações de maior valor e limite de pedidos por usuário ou sistema conectado.
Esses controles apontam para uma régua simples: a autonomia não deve ser definida pela demonstração mais bonita. Ela deve caber no pior resultado que a empresa ainda consegue aceitar e corrigir.
Minha leitura: se ninguém consegue dizer quanto um agente pode gastar, quantas vezes pode agir e quem interrompe a operação, ele ainda não está pronto para trabalhar sozinho.
Encontre o limite antes de aumentar a autonomia
Escolha um agente que já executa tarefas na sua operação.
Escreva o pior resultado plausível de uma única tarefa e coloque um valor financeiro ao lado.
Defina quanto ele pode gastar, quantas vezes pode agir e qual ação exige aprovação humana.
Se o histórico não permite reconstruir a decisão, reduza a autonomia até que o caminho fique verificável.