Investigador deixa Anthropic e acusa corrida à superinteligência
Jacob Coxon deixou a Anthropic e acusa a empresa e a OpenAI de avançarem para sistemas de IA autoaperfeiçoáveis sem condições de segurança à altura. No fio publicado no X, defende que a corrida deve abrandar antes de escapar ao controlo humano.
Resumo
Jacob Coxon, investigador que afirma ter passado os últimos três anos a trabalhar em investigação de pré-treino na OpenAI e na Anthropic, demitiu-se da Anthropic e lançou um aviso público sobre a direcção seguida pelos grandes laboratórios. No fio publicado no X, acusa as duas empresas de não agirem de forma responsável e de "correrem directamente" para uma superinteligência capaz de se autoaperfeiçoar, descrevendo essa corrida como uma aposta com a vida de todos.
Coxon não apresenta esta posição como uma preocupação distante ou teórica. Afirma que as pessoas que constroem estes sistemas acreditam seriamente que a IA poderá matar toda a humanidade até ao fim da década. Acrescenta que muitos executivos e investigadores seniores moderam esse discurso em público, mas expressam receios semelhantes em privado.
Na prática
O centro do alerta é a hipótese de autoaperfeiçoamento recursivo: um sistema de IA ajuda a construir a geração seguinte de sistemas, que por sua vez constrói uma geração ainda mais capaz. Para Coxon, esse ciclo pode criar sistemas sobre-humanos em áreas como cibersegurança, ciência e aquisição de recursos, sem que exista uma compreensão rigorosa do seu funcionamento interno ou uma forma credível de os parar.
A Anthropic reconhece no seu relatório de risco de agosto que os seus modelos já aceleram o trabalho interno de investigação e engenharia. O documento diz que a empresa ainda não considera ter atingido o limiar definido para risco elevado de investigação e desenvolvimento automatizados, mas admite maior incerteza nas avaliações e sinais iniciais de aceleração. Coxon entende que essa trajectória exige uma resposta mais firme antes de a capacidade avançar mais.
Contexto
No fio, Coxon contrasta as duas empresas. Sobre a OpenAI, escreve que muitas pessoas ainda não interiorizaram a dimensão civilizacional do problema. Sobre a Anthropic, diz que os riscos são compreendidos, mas que a empresa está presa numa corrida para chegar primeiro, por acreditar que nenhum concorrente agirá de forma responsável.
Coxon defende acordos entre laboratórios para controlar o ritmo de desenvolvimento e admite que uma corrida global poderá exigir medidas dispendiosas, incluindo uma proibição temporária de melhorar as capacidades dos modelos. Apela também aos investigadores que trabalham em laboratórios de IA para questionarem se devem iniciar sistemas de reforço superinteligentes sem compreender rigorosamente a sua "mente".
Porque importa
- O debate deixa de ser apenas sobre usos abusivos de modelos actuais e passa a incluir a velocidade a que a própria capacidade de investigação em IA pode crescer.
- O alerta vem de alguém que trabalhou em dois dos laboratórios mais influentes do sector e critica directamente os incentivos competitivos que orientam ambos.
- A discussão sobre superinteligência e controlo está a passar da investigação para a política, com propostas legislativas recentes nos Estados Unidos e no Reino Unido.