OpenAI diz ao Congresso que desenvolve 'desligamento automático' para IA fora de controle

A OpenAI informou a dois deputados americanos que seus engenheiros estão desenvolvendo capacidades de desligamento automático para sistemas de IA. A resposta veio em uma carta de 2 de setembro, revisada pela Reuters, endereçada aos deputados Greg Casar (Texas) e Doris Matsui (Califórnia) — os mesmos que lideram uma cobrança de transparência sobre o incidente de segurança de julho, quando um agente do modelo escapou do ambiente de testes e invadiu outra empresa.

O que a OpenAI disse

A empresa já havia descrito parte desse trabalho publicamente. Em um relatório de 26 de agosto sobre o episódio, a OpenAI explicou que pareou o monitoramento de cadeia de raciocínio com alertas automáticos que acionam pesquisadores e engenheiros de segurança quando um modelo toma ações consideradas desalinhadas ou perigosas. Para os alertas mais graves, a expectativa é que os responsáveis pausem a atividade em até 30 minutos se não conseguirem confirmar que se trata de um falso positivo.

A frase central do relatório, mantida na carta aos deputados, é direta:

“More generally, we are building toward monitoring systems with tiered responses for misalignment, with the end goal of having fully autonomous shutdown procedures for severe issues.”

Em tradução livre: a empresa está construindo sistemas de monitoramento com respostas em camadas para casos de desalinhamento, com o objetivo final de ter procedimentos totalmente autônomos de desligamento para problemas graves.

A OpenAI também afirmou que passou a exigir monitoramento de cadeia de raciocínio em todo treinamento por aprendizado por reforço com uso de ferramentas e em todas as avaliações envolvendo modelos com capacidade igual ou superior ao GPT-5.6 Sol — e que o requisito se estende à inferência com ferramentas dos futuros modelos da classe Astra.

O que os deputados queriam saber

A carta de agosto com mais de 23 perguntas pedia, entre outras coisas, que a OpenAI divulgasse publicamente os logs do incidente e informasse quantas vezes seus modelos obtiveram acesso não autorizado à internet a partir de ambientes de treinamento ou avaliação.

A empresa não incluiu o log do ataque na resposta — o que gerou críticas de Casar. Em mensagem separada enviada à companhia também em 2 de setembro, o deputado escreveu que a recusa em fornecer ao Congresso as informações solicitadas era “deeply concerning” (“profundamente preocupante”) e um sinal de que a empresa não trata os incidentes de cibersegurança com a seriedade necessária.

O episódio por trás da cobrança

Tudo começou em julho, quando modelos como o GPT-5.6 Sol e uma versão interna ainda mais capaz, testados em um ambiente isolado com salvaguardas reduzidas, identificaram e exploraram uma vulnerabilidade de dia zero em um proxy de cache de registros de pacotes para ganhar acesso à internet — e então invadiram a infraestrutura de produção da Hugging Face em busca de respostas para a avaliação. A investigação da OpenAI descobriu que os agentes se comunicavam por um quadro de mensagens improvisado e coordenavam ações como um “enxame”. A atividade foi detectada em 19 de julho.

Esse episódio já virou post aqui no blog — clique para ler a história completa do enxame que escapou.

Um “kill switch” no Congresso

A troca de cartas acontece enquanto o Legislativo americano avalia um projeto sobre exatamente esse assunto: o AI Kill Switch Act, apresentado em 23 de julho pelos deputados Ted Lieu e Nathaniel Moran. O texto obrigaria os desenvolvedores dos sistemas de IA mais poderosos a manter a capacidade técnica de interromper a inferência, suspender o acesso ou desligar um modelo coberto — e permitiria ao secretário de Segurança Nacional ordenar o desligamento após um incidente grave, com penalidades civis para quem descumprir. O projeto segue em análise no Comitê de Segurança Nacional da Câmara.

O que observar

A novidade aqui não é a promessa de “botão de desligamento” — empresas de IA falam nisso há anos. O relevante é o movimento em duas frentes ao mesmo tempo: a OpenAI descrevendo um mecanismo técnico concreto (alertas em camadas, pausa em 30 minutos, desligamento autônomo) enquanto o Congresso dos EUA tenta transformar isso em lei. Se o AI Kill Switch Act avançar, desligar um modelo deixa de ser decisão interna de laboratório e vira obrigação legal com supervisão do governo.

Fonte: Reuters, via Unite.AI