Anthropic dá acesso interno à METR para avaliar riscos de IA
Seis avaliadores externos recebem acesso semelhante ao das equipas internas de risco e podem publicar conclusões sem veto. O acordo mantém exceções de informação e regras de ocultação de dados sensíveis.
Resumo
A avaliação independente da segurança de IA ganha profundidade quando os investigadores conseguem observar mais do que as respostas públicas de um modelo. A Anthropic anunciou, a 15 de outubro, que seis funcionários da METR passaram a ter acesso interno semelhante ao das suas equipas de avaliação de risco.
A METR é uma organização sem fins lucrativos que investiga capacidades e riscos de sistemas de IA. Os seus avaliadores recebem equipamento, espaço de trabalho e acesso a ferramentas e sistemas internos. Poderão publicar análises sobre riscos, incidentes e práticas da empresa sem que a Anthropic possa vetar a publicação.
Na prática
Este acesso permite examinar o contexto em que os modelos são desenvolvidos, avaliados e utilizados. Isso pode incluir evidência que não aparece num teste externo: incidentes internos, funcionamento de proteções e informação necessária para interpretar resultados.
A abertura tem limites definidos. Dados de clientes, informação protegida por sigilo entre advogado e cliente e informação sobre arquiteturas dos modelos estão entre as categorias excluídas. A Anthropic pode exigir a ocultação de informação abrangida por essas categorias e decide, em última instância, o que nelas se enquadra. A METR reserva o direito de fazer determinadas declarações sobre o acesso recebido.
A empresa distingue três níveis de parceria. No mais limitado, a publicação depende da sua aprovação; no nível atribuído à METR, há maior acesso e liberdade para publicar. Não se deve, por isso, presumir que todos os avaliadores externos trabalham nas mesmas condições.
Contexto
Na sua própria descrição da abordagem à avaliação de risco, publicada a 14 de outubro, a METR defende que o público deve conhecer as limitações de acesso, as ocultações relevantes e as pressões que possam afetar conclusões. O seu papel declarado é fornecer evidência, não decidir como as empresas devem lançar agentes.
O acordo é voluntário e não constitui uma certificação de segurança nem substitui fiscalização pública. A sua utilidade dependerá do que os avaliadores conseguirem investigar, publicar e explicar sobre as restrições encontradas.
Porque importa
- Acesso interno pode tornar visíveis riscos que testes públicos não conseguem observar.
- Independência exige liberdade de publicação e transparência sobre limites e conflitos de interesse.
- A qualidade dos relatórios publicados será mais informativa do que o anúncio da parceria, por si só.