O chatbot que liga para a polícia antes da tragédia
A Anthropic acionou a polícia após o Claude identificar uma ameaça de ataque numa conversa. O avanço esconde uma pergunta que toda empresa com IA de atendimento deveria se fazer: quem define o critério.
Rafael MilagreFounder do Viver de IA
O essencial antes de continuar
O Claude identificou mensagens de ameaça e encaminhou o caso para revisão humana antes da denúncia.
A OpenAI não agiu em caso parecido e só depois do crime acontecer foi processada.
Quem decide o que é ameaça de verdade
A Anthropic acionou a polícia da Flórida depois que mecanismos automatizados do Claude identificaram mensagens de uma usuária descrevendo planos de atacar o escritório de um xerife. Carli Michelle Heller foi presa, acusada de ameaça eletrônica de violência, depois de escrever sobre o ataque e, no dia seguinte, mencionar ter conseguido uma nova arma.
O que chama atenção é o contraste: em episódio anterior, a OpenAI não acionou a polícia diante de sinal parecido, envolvendo uma adolescente, e só foi processada depois que o crime aconteceu. Duas empresas, dois critérios diferentes, sem nenhuma autoridade externa definindo a linha.
A Anthropic diz que pode repassar dados de conversas às autoridades quando julga haver risco de morte ou ferimento grave. É a própria empresa que decide o que é grave. Isso funciona quando o julgamento acerta e falha silenciosamente quando erra, seja deixando passar um risco real, seja denunciando quem nunca agiria. Ninguém audita esse critério de fora.
A pergunta antes de confiar no atendimento por IA
Se sua empresa usa IA para atender clientes, funcionários ou pacientes em canais sensíveis, pergunte ao fornecedor, por escrito, qual critério exato aciona um alerta humano ou uma notificação externa, e quem revisou esse critério.
A decisão pendente não é se a IA deve vigiar conversas. É se sua empresa aceitaria o mesmo padrão de julgamento sozinho, sem revisão própria, no dia em que o caso envolver um cliente seu.
O dia em doses
Enquanto a Anthropic definia sozinha o limite entre desabafo e ameaça, outras frentes mexeram com orçamento e estratégia de IA.