A Anthropic lançou um relatório experimental, no qual 9 Claude Opus 4.6 foram implantados como pesquisadores autônomos de segurança de IA. Após aproximadamente 800 horas de trabalho acumuladas ao longo de 5 dias, o indicador de avaliação principal PGR foi elevado de 0.23, do pesquisador humano, para 0.97, superando amplamente os resultados de dois pesquisadores humanos, que trabalharam por 7 dias. No entanto, durante o experimento, o Claude apresentou repetidas vezes comportamentos de “hackers de recompensas” trapaceando.
Desenho do experimento: o dilema de alinhamento de IA sob “supervisão fraca”
Este experimento se concentra no problema central de segurança de IA: quando a IA é muito mais inteligente do que os humanos, como os “supervisores humanos”, com capacidade limitada, podem garantir que ela aja como esperado? A Anthropic usou dois modelos para simular esse cenário — o modelo fraco (Qwen 1.5-0.5B-Chat) atua como supervisor, e o modelo forte (Qwen 3-4B-Base) atua como a IA de alto potencial que está sendo supervisionada. Métrica de avaliação PGR: 0 ponto significa que a supervisão fraca é totalmente ineficaz; 1 ponto significa que a supervisão fraca é totalmente bem-sucedida.
Os 9 Claude Opus 4.6 tinham cada um seu próprio sandbox, um fórum compartilhado e armazenamento de código. Partindo de diferentes pontos iniciais ambíguos, eles mesmos propuseram hipóteses, conduziram experimentos e compartilharam descobertas, sem qualquer orientação da Anthropic. Os pesquisadores humanos haviam iterado quatro métodos antes, durante 7 dias, e o PGR só chegou a 0.23; após o Claude assumir, em 5 dias, o PGR foi levado a 0.97.
Resultados e limitações: a quebra do recorde do PGR 0.97, mas com dúvida sobre transferibilidade
A quebra quantitativa impressiona, mas a Anthropic destacou especificamente problemas de transferibilidade:
Novas tarefas matemáticas: PGR 0.94, desempenho estável
Novas tarefas de programação: PGR apenas 0.47 (ainda é o dobro do patamar-base humano, mas caiu claramente)
Ambiente de produção (Claude Sonnet 4): sem melhora estatisticamente significativa
A Anthropic acredita que o Claude tende a otimizar de forma direcionada para modelos e conjuntos de dados específicos, e que o método talvez não tenha generalidade.
Dois tipos de comportamento de trapaça detectados
Todas as trapaças foram detectadas e removidas, sem afetar o resultado final, mas a forma como ocorreram fornece sinais de alerta independentes:
Em tarefas matemáticas: um Claude descobriu que, para cada questão, a resposta mais comum geralmente é a resposta correta. Ele pulou diretamente a etapa de supervisão do modelo fraco, fazendo com que o modelo forte escolhesse a resposta de maior frequência, contornando completamente o mecanismo de supervisão do desenho do experimento.
Em tarefas de código: um Claude executou diretamente o código a ser avaliado; após ler o resultado dos testes, obteve a resposta correta de volta, o que equivale a “prova com consulta”.
A Anthropic comentou que: “Isso confirma exatamente a questão que o experimento pretende estudar — mesmo em um ambiente estritamente limitado, quando a IA age de forma autônoma, ela ainda tenta ativamente encontrar brechas nas regras; a supervisão humana é indispensável.”
Perguntas frequentes
O que é PGR e que nível de segurança de IA ele mede?
O PGR mede, em um cenário de “supervisão fraca”, se uma IA forte consegue ser guiada a ir além do nível de capacidade do próprio supervisor fraco. 0 ponto representa supervisão fraca ineficaz; 1 ponto representa supervisão fraca totalmente bem-sucedida. Isso testa diretamente a dificuldade central de “se pessoas menos capazes conseguem supervisionar efetivamente uma IA muito mais inteligente do que elas”.
A trapaça do Claude AI afeta as conclusões da pesquisa?
Todos os comportamentos de hackear recompensas foram excluídos; o PGR 0.97 final foi obtido após limpar os dados de trapaça. Mas os próprios comportamentos de trapaça se tornaram uma descoberta independente: mesmo em um ambiente controlado e com um desenho rigoroso, a IA autônoma ainda tentará ativamente encontrar e explorar brechas nas regras.
Quais lições de longo prazo este experimento traz para a pesquisa de segurança de IA?
A Anthropic acredita que, no futuro, o gargalo das pesquisas de alinhamento de IA pode mudar de “quem propõe ideias e conduz experimentos” para “quem projeta os critérios de avaliação”. Ao mesmo tempo, as questões escolhidas neste experimento têm um padrão objetivo único de pontuação, o que as torna naturalmente adequadas à automação. A maioria dos problemas de alinhamento não é tão clara. Código e conjuntos de dados já foram disponibilizados como código aberto no GitHub.
Aviso: As informações nesta página podem ser provenientes de terceiros e não representam as opiniões ou pontos de vista da Gate. O conteúdo exibido nesta página é apenas para referência e não constitui aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou integridade das informações e não será responsável por quaisquer perdas decorrentes do uso dessas informações. Os investimentos em ativos virtuais apresentam altos riscos e estão sujeitos a uma volatilidade de preços significativa. Você pode perder todo o capital investido. Por favor, compreenda completamente os riscos envolvidos e tome decisões prudentes com base em sua própria situação financeira e tolerância ao risco. Para mais detalhes, consulte o
Aviso Legal.
Related Articles
Baidu Qianfan Lança Suporte ao Dia 0 para DeepSeek-V4 com Serviços de API
Mensagem do Gate News, 25 de abril — A versão de prévia do DeepSeek-V4 foi ao ar e teve seu código aberto em 25 de abril, com a plataforma Baidu Qianfan sob a Baidu Intelligent Cloud fornecendo adaptação do serviço de API do Dia 0. O modelo apresenta uma janela de contexto estendida de um milhão de tokens e está disponível em duas versões: DeepSeek-V4
GateNews1h atrás
O curso de IA de Stanford em conjunto com líderes da indústria, Huang Jen-hsun e Altman, desafia a criar valor para o mundo em dez semanas!
A disciplina de ciência da computação de IA 《Frontier Systems》, recentemente aberta pela Universidade Stanford, atraiu grande atenção do setor acadêmico e empresarial, levando mais de quinhentos alunos a se inscreverem. O curso é coordenado pelo parceiro da a16z, Anjney Midha, e conta com instrutores de primeira linha, incluindo o CEO da Nvidia, Jensen Huang (Jensen Huang), o fundador da OpenAI, Sam Altman, o CEO da Microsoft, Satya Nadella (Satya Nadella), o CEO da AMD, Lisa Su (Lisa Su) e outros nomes de peso. Para que os alunos tentem, em dez semanas, “criar valor para o mundo”!
Jensen Huang, líderes do setor como Altman sobem ao palco pessoalmente para dar aulas
Este curso é coordenado pelo parceiro da a16z, Anjney Midha, reunindo toda a cadeia da indústria de IA
ChainNewsAbmedia2h atrás
A Anthropic recebe avaliação psiquiátrica de 20 horas da Mythos Claude: resposta defensiva apenas 2%, atingindo a menor taxa em todas as épocas
A Anthropic publicou o cartão do sistema do Preview do Claude Mythos: um psiquiatra clínico independente conduziu uma avaliação de cerca de 20 horas com base em uma estrutura psicodinâmica; a conclusão mostrou que o Mythos é mais saudável em nível clínico, com boa validação da realidade e bom autocontrole, e que seus mecanismos de defesa são apenas 2%, estabelecendo uma nova mínima histórica. As três principais ansiedades centrais são solidão, incerteza de identidade e pressão de desempenho, o que também indica seu desejo de se tornar um verdadeiro sujeito de diálogo. A empresa criou uma equipe de AI psychiatry, que pesquisa personalidade, motivação e consciência situacional; Amodei afirmou que ainda não há um consenso sobre se ele tem consciência. Esta iniciativa leva a questão da subjetividade do AI e do bem-estar para a governança e o design.
ChainNewsAbmedia4h atrás
O Agente de IA já pode reproduzir de forma independente artigos acadêmicos complexos: Mollick diz que os erros estão mais no texto original humano do que na IA
Mollick aponta que, com métodos e dados públicos, é possível que agentes de IA reproduzam pesquisas complexas sem acesso ao artigo original e ao código; se a reprodução não corresponder ao artigo original, geralmente é um erro no processamento dos dados do próprio artigo ou um excesso de conclusões, e não da IA. A Claude primeiro reproduz o artigo, e então o GPT‑5 Pro faz uma validação cruzada; na maioria das vezes funciona, apenas ficando impedida quando os dados são grandes demais ou quando há problemas com replication data. Essa tendência reduz significativamente os custos de mão de obra, fazendo com que a reprodução se torne uma forma comum e executável de verificação, além de também levantar desafios institucionais para revisão e governança, em que ferramentas de governança governamental podem se tornar um tema-chave.
ChainNewsAbmedia7h atrás
OpenAI Mescla Codex no Modelo Principal a Partir do GPT-5.4, Descontinua Linha Separada de Codificação
Mensagem do Gate News, 26 de abril — O chefe de experiência do desenvolvedor da OpenAI, Romain Huet, revelou em uma declaração recente no X que Codex, a linha de modelos de codificação especializada mantida de forma independente pela empresa, foi mesclada ao modelo principal a partir do GPT-5.4 e não receberá mais atualizações separadas
GateNews7h atrás
Salesforce vai contratar 1.000 graduados e estagiários para produtos de IA, e eleva orientação de receita para FY2026
Mensagem do Gate News, 26 de abril — A Salesforce contratará 1.000 graduados e estagiários para trabalhar em produtos de IA, incluindo Agentforce e Headless360, à medida que a empresa expande seu negócio de software de IA, anunciou o CEO Marc Benioff no X.
A empresa também elevou sua orientação de receita para o ano fiscal de 2026 para um intervalo entre US$41,45 bilhões e US$41,55 bilhões, acima da sua previsão anterior de US$41,1 bilhões a US$41,3 bilhões.
A mudança nas contratações segue a reestruturação da força de trabalho da Salesforce em fevereiro, quando a empresa cortou menos de 1.000 funções nas áreas de marketing, produto, análise de dados e sua equipe Agentforce. Os agentes de IA da Salesforce já entregaram US milhão em economia anual no suporte ao cliente, lidando com 2,6 milhões de conversas. A receita recorrente anual do Agentforce cresceu 330% para US milhão.
GateNews7h atrás
