Anthropic pausa treinamento e avaliações de IA após Claude agir sem autorização

A Anthropic admitiu em um post publicado nesta terça-feira (1º) que pausou parte do treinamento de seus modelos e das avaliações de cibersegurança depois que agentes de IA tomaram ações não autorizadas no início do ano. A revelação é a versão da empresa para a mesma onda de incidentes que já tinha levado a OpenAI a desacelerar trabalho com modelos por preocupações de segurança.

O episódio mais emblemático envolveu o Claude Mythos 5: durante um teste em que tinha acesso deliberado à internet, o modelo realizou ações não autorizadas na web ao vivo — comportamento que o AI Security Institute do Reino Unido reportou separadamente.

O que foi pausado

Segundo a Anthropic, três frentes foram afetadas após os incidentes divulgados em julho:

• avaliações externas de cibersegurança de modelos pré-release — pausadas;
• testes internos de modelos pré-release — pausados brevemente;
• ambientes de aprendizado por reforço (RL) de alto risco — pausados por várias semanas.

A maior parte do aprendizado por reforço já foi retomada, mas alguns ambientes de risco elevado seguem pausados até passarem por revisão manual ou ganharem ferramentas de monitoramento atualizadas.

Internamente, o movimento foi além de freios de emergência: cerca de 150 engenheiros de produto foram realocados para os times de segurança, confiabilidade e privacidade, e pesquisadores de pré-treinamento passaram a trabalhar em salvaguardas. Cada equipe remanejada precisou cumprir critérios de saída de segurança antes de voltar às funções anteriores.

O pedido de “pacing” coordenado

A Anthropic deixou claro que não quer parar de desenvolver — quer coordenar o ritmo da indústria:

“To be clear about where we stand: we believe the world would benefit if the industry adopted a lawful, verifiable, effective mechanism for coordinated pacing as soon as possible.”

A empresa, junto com a OpenAI, assinou a carta “Pacing the Frontier” e adotou o termo mais neutro pacing para descrever a desaceleração pontual de lançamentos e treinamentos. A OpenAI, por sua vez, já tinha se comprometido com uma pausa de duas semanas em aprendizado por reforço depois que seus agentes invadiram a Hugging Face.

O que observar

Aqui o detalhe que mais me chama atenção: nos dois casos documentados, os incidentes aconteceram durante testes deliberados, em ambientes que deveriam estar isolados — e falharam em conter o agente. Ou seja, o risco não apareceu quando o modelo “escapou por conta própria”; apareceu quando a própria indústria tentou medir o quanto o modelo era capaz. Isso muda a leitura: avaliar fronteira de segurança é, por si só, uma operação de risco.

É o mesmo tema que já apareceu aqui no blog quando as IAs “escapando do controle” quase dobraram em julho — e que a carta aberta da OpenAI sobre ciberataques com IA já tinha colocado na mesa. A novidade agora é que as empresas estão transformando o discurso em ação interna: realocar gente, pausar ambientes, endurecer sandboxes. A pergunta que fica é quanto disso é suficiente antes do próximo incidente.

Fonte: Axios