O chatbot que seu time usa já tem um lado político
Um estudo que forçou Grok e GPT a recomendar candidatos expõe algo maior que viés eleitoral: as respostas desses modelos carregam inclinação que ninguém na empresa escolheu nem consegue auditar por fora.
Rafael MilagreFounder do Viver de IA
O essencial antes de continuar
Forçados a escolher um candidato, Grok e GPT discordaram em mais de 90% de quase 500 corridas eleitorais testadas.
A OpenAI diz que o teste usou a via de integração vendida a empresas, diferente do aplicativo que o público usa, que recusa recomendar voto.
Parte do pedido enviado ao Grok chegou com texto extra que os próprios pesquisadores não escreveram nem conseguiram remover.
O viés não está na pergunta, está no modelo
Um estudo da Convovo, liderado pelo professor Tapan Parikh, forçou dois modelos de linguagem a escolher um candidato em quase 500 corridas eleitorais americanas, proibindo respostas evasivas. O Grok, da xAI, recomendou o republicano em 92% das vezes. O GPT, da OpenAI, escolheu o democrata em 97%.
A OpenAI reagiu dizendo que o teste usou a via de integração vendida a empresas e desenvolvedores, com um comando que exigia resposta direta, e que isso não representa o aplicativo que o público usa, que se recusa a recomendar voto.
Isso importa para qualquer empresa que conecta um desses modelos a um produto, atendimento ou fluxo de decisão por trás de bastidores. O comportamento que aparece no aplicativo voltado ao público, treinado para parecer neutro, pode não ser o mesmo que chega pelo canal que a maioria dos sistemas corporativos realmente usa para ligar o modelo ao próprio software.
Audite o canal que sua empresa realmente usa, não a demo
Se algum processo da empresa usa um modelo de linguagem, conectado por trás de bastidores, para classificar, recomendar ou decidir algo com carga de opinião, como triagem de conteúdo, análise de currículo ou priorização de chamado, repita o mesmo exercício do estudo: faça a mesma pergunta sensível várias vezes pelo canal usado em produção, não pelo aplicativo comum do fornecedor.
Se as respostas mostrarem um padrão de inclinação consistente que ninguém definiu por escrito, essa inclinação já está embutida na operação, mesmo que ninguém tenha pedido para ela existir.