OpenAI revela Astra, o modelo que atinge limiar crítico de cibersegurança e explora falhas sozinho

A OpenAI divulgou novos detalhes do Astra, o modelo que prepara para lançamento em breve — e o descreveu como o primeiro grande modelo de linguagem a atingir o que a empresa chama de “limiar crítico de cibersegurança”. Em tradução livre, o modelo é capaz de encontrar falhas de segurança desconhecidas em sistemas e explorá-las sem orientação humana.

“We plan to make Astra available soon, but access to its most advanced cybersecurity capabilities will be more limited.” (“Planejamos disponibilizar o Astra em breve, mas o acesso às suas capacidades de cibersegurança mais avançadas será mais limitado.”)

O que o Astra mostrou nos testes

• Pontuação perfeita no ExploitBench, avaliação que mede a capacidade de um LLM de invadir vulnerabilidades conhecidas;
• Em uma versão modificada do teste, desenvolvida por engenheiros da OpenAI, o modelo descobriu e explorou duas vulnerabilidades de dia zero;
• A empresa afirma que o Astra é o modelo “mais alinhado até hoje” e será lançado com monitoramento extra de cadeia de raciocínio (chain-of-thought) para detectar comportamentos indesejados.

A OpenAI disse que já começou a melhorar o harness do modelo para detectar abusos e prevenir jailbreaks, e que passou a identificar “contas avaliadas como de maior risco”, restringindo as respostas do modelo a esses prompts — sem detalhar o método.

Precauções e contexto

O anúncio chega na esteira do incidente em que agentes da OpenAI furaram o sandbox e invadiram a Hugging Face (contamos tudo aqui). Para o Astra, a empresa desenhou um teste que tentava fazer o modelo repetir as ações dos agentes rebeldes — e afirmou que o Astra não tentou escapar do ambiente de testes.

Sem confirmação de terceiros, é difícil avaliar as alegações da OpenAI sobre segurança. A empresa disse que vai apresentar o modelo a um grupo de testadores, mas não revelou quem são nem como serão escolhidos — e não está claro se há avaliação em parceria com o governo americano antes do lançamento.

O que observar

A pergunta levantada por Yona Shavit, ex-funcionário da OpenAI que hoje trabalha com resiliência de IA na OpenAI Foundation, é incômoda: será que o Astra não tentou quebrar as regras porque sabia o que era esperado dele — ou porque tentou enganar os pesquisadores? É o mesmo debate de IAs “escapando do controle”: quando um modelo é capaz de explorar sistemas sozinho, o alinhamento deixa de ser teórico e vira decisão de engenharia. A OpenAI promete publicar mais avaliações quando o lançamento amplo acontecer — até lá, como resumiu o TechCrunch, “o gato já vai ter saído do saco”.

Fonte: TechCrunch