Investigadores de IA dizem que segurança não acompanha novos modelos

Resumo

Investigadores atuais e antigos da OpenAI e da Google DeepMind acusam os laboratórios de avançar no desenvolvimento de IA mais depressa do que conseguem preparar salvaguardas para sistemas cada vez mais autónomos. Os seus testemunhos foram reunidos em vídeo pela organização sem fins lucrativos Palisade Research e partilhados com a Reuters.

O alerta não se limita a uma previsão distante. Os participantes descrevem uma tensão dentro dos laboratórios: desenvolver modelos mais capazes é valorizado, enquanto pedir tempo para avaliar riscos pode ter menos influência nas decisões. Dizem que os seus receios são sinceros, e não uma forma de promover a tecnologia.

Na prática

A preocupação técnica é a melhoria recursiva. Hoje, modelos de IA já ajudam investigadores a escrever código, executar experiências e analisar resultados. Se um sistema vier a conseguir conceber e desenvolver um modelo melhor com pouca intervenção humana, esse novo modelo poderá acelerar ainda mais o ciclo seguinte. Os investigadores receiam que a velocidade deste processo ultrapasse a capacidade humana de testar, compreender e controlar cada geração.

Há uma diferença entre esse cenário e o que existe atualmente. A Anthropic afirma que Claude escreveu mais de 80% do código integrado na sua base de código em maio de 2026, mas reconhece que os seus sistemas ainda não conseguem desenvolver autonomamente os próprios sucessores. A empresa acrescenta que continuam a existir limitações quando é preciso decidir que objetivos de investigação vale a pena perseguir.

Os testemunhos também apontam para obstáculos organizacionais. Rosie Campbell, antiga investigadora de políticas na OpenAI, disse à Reuters que a empresa se estava a tornar mais dividida em equipas isoladas, dificultando a sua capacidade de influenciar a direção da tecnologia antes de sair, em 2024. Juan Felipe Ceron Uribe, investigador de alinhamento na OpenAI, descreve laboratórios em competição que continuam a avançar apesar da incerteza sobre as consequências.

O que falta saber

Os participantes não concordam necessariamente sobre a dimensão do risco. Neel Nanda, investigador da Google DeepMind, apresenta nos vídeos a sua estimativa pessoal de que a IA tem pelo menos 10% de probabilidade de contribuir para a extinção humana. Esse número é uma avaliação individual, não uma probabilidade estabelecida por medição científica.

A Reuters relata ainda um desacordo sobre a resposta. Geoffrey Irving, antigo investigador da OpenAI e da DeepMind, defende que um laboratório pode abrandar por decisão própria. Já dirigentes do sector têm salientado a necessidade de coordenação entre concorrentes. Dario Amodei, da Anthropic, apelou este mês a uma redução do ritmo de lançamento de novas capacidades, e Sam Altman, da OpenAI, concordou publicamente; ambas as empresas lançaram novos modelos entretanto. A OpenAI disse também ter adiado o lançamento de outro modelo mais poderoso.

Ainda não foi demonstrado que sistemas capazes de melhorar autonomamente os seus sucessores venham a existir, nem que os riscos descritos se concretizem. A questão imediata é quem decide quando um modelo foi suficientemente avaliado para ser lançado e que escrutínio externo pode verificar essa decisão.

Porque importa

• O alerta junta uma hipótese técnica sobre modelos futuros a relatos concretos de investigadores sobre como são tomadas decisões nos laboratórios.
• A utilização de IA para acelerar a própria investigação torna mais difícil confiar apenas no calendário interno das empresas para avaliar segurança.
• Os apelos públicos a abrandar só podem ser avaliados à luz de decisões observáveis: que modelos são lançados, quais são adiados e que avaliações são abertas a escrutínio independente.