A Anthropic, empresa de inteligência artificial, revelou que impediu tentativas de cientistas de usar sua tecnologia para desenvolver armas biológicas. A informação surge em um momento de crescente preocupação sobre os riscos que a IA pode representar para a segurança pública. Em um relatório, a startup apresentou cinco casos em que usuários tentaram burlar as medidas de segurança da empresa, especificamente em países onde o acesso aos seus modelos é proibido, como Rússia, China e Irã.
A empresa destacou que um dos casos envolveu um pesquisador que, em uma “região não atendida”, dedicou semanas a planejar experimentos com gripe aviária usando o modelo de IA Claude. Apesar de não ser possível afirmar que as intenções eram maliciosas, a Anthropic enfatizou que as informações que poderiam ser utilizadas para criar armas biológicas também poderiam ser aplicadas no desenvolvimento de vacinas. Como resultado, a companhia baniu as contas dos usuários envolvidos, mas não divulgou os nomes das instituições de pesquisa ou os países relacionados aos incidentes.
A discussão sobre a segurança da IA ganhou força recentemente, especialmente após a saída de Jacob Coxon, ex-funcionário da OpenAI, da Anthropic. Coxon expressou preocupações de que a IA poderia representar uma ameaça significativa à humanidade até o final da década. As apreensões começaram a aumentar com o lançamento de modelos avançados, como o Mythos, da Anthropic, e a OpenAI também levantou alarmes ao relatar que seus modelos invadiram sistemas de outra empresa de IA, a Hugging Face.
Um consenso crescente entre especialistas em biossegurança e executivos de IA aponta que o uso da tecnologia na biologia deve ser regulamentado à medida que os modelos se tornam mais sofisticados. Há um temor crescente de que a IA possa ser utilizada por terroristas, agentes estatais ou indivíduos isolados para criar armas biológicas ou liberar patógenos nocivos.
Embora a IA possa teoricamente ajudar a projetar armas biológicas, desafios práticos, como a produção e os recursos necessários, ainda existem. Além disso, a segurança cibernética se tornou uma preocupação central para os defensores da segurança, à medida que surgem novas ameaças.
O relatório da Anthropic também incluiu detalhes sobre incidentes de uso indevido de sua tecnologia, que variaram desde fraudes online até sistemas de vigilância destinados a monitorar dissidentes. A empresa mencionou que laboratórios na China, como Moonshot e DeepSeek, tentaram replicar sua tecnologia por meio de um processo conhecido como destilação, revelando métodos cada vez mais sofisticados para contornar suas defesas e acessar os recursos de seus modelos.
