A Anthropic, uma das líderes no desenvolvimento de inteligência artificial (IA), está investindo pesado na segurança de seus sistemas. A empresa busca profissionais altamente qualificados, com salários que podem chegar a US$ 455 mil anuais, para integrar uma equipe dedicada a testar os limites de suas IAs e prevenir usos perigosos. Esta iniciativa, embora global, ressalta a crescente preocupação com a tecnologia que impacta o dia a dia de todos, inclusive na Região dos Lagos e Norte Fluminense.
As vagas abertas pela Anthropic focam em áreas críticas de segurança, como riscos biológicos, químicos, explosivos, cibernéticos, fraude e golpes, além de ameaças radiológicas e nucleares. A equipe terá a missão de investigar vulnerabilidades e analisar potenciais perigos, garantindo que os modelos de IA, como o Claude, não possam ser explorados para causar danos.
Especialistas em 'Red Teaming' contra ameaças globais
A Anthropic mantém uma equipe específica, o Frontier Red Team, cujo objetivo é simular ataques e tentar encontrar falhas nos sistemas de IA. O conceito de “red teaming” é amplamente utilizado em segurança e consiste em uma equipe que assume o papel de um adversário para identificar pontos fracos antes que sejam explorados por agentes mal-intencionados. No contexto da IA, isso significa procurar maneiras de contornar as barreiras de segurança e descobrir se o modelo pode ser usado para fins prejudiciais.
Os focos de atuação são abrangentes, incluindo ameaças químicas, biológicas, radiológicas e nucleares, cibersegurança e riscos relacionados à autonomia dos sistemas. Para isso, a empresa combina testes realizados por pesquisadores internos, especialistas de diversas áreas e sistemas automatizados. A colaboração com especialistas externos é vista como crucial para testar os modelos e desenvolver novas metodologias de avaliação.
Gabriel Cunha, especialista em IA da Oracle, destacou que o papel desses profissionais é fundamental para que “a capacidade institucional de identificar riscos e estabelecer controles acompanhe o avanço das capacidades dos modelos”. Ele explica que “especialistas atacam o sistema e verificam se o modelo oferece uma vantagem real em relação ao que uma pessoa já conseguiria fazer sem ele”.
Avaliando riscos reais: além das respostas proibidas
Um dos pontos cruciais do trabalho do Frontier Red Team é ir além da simples identificação de respostas “proibidas” por parte da IA. A Anthropic busca entender se uma resposta inadequada realmente representa um risco no mundo real, ou seja, se a informação gerada pelo sistema é tecnicamente correta, operacionalmente viável e se reduz significativamente o conhecimento, tempo ou custo necessário para causar um dano. Rodrigo Gava, CTO da Vultus e especialista em cibersegurança, reforça que “conseguir que uma IA responda algo proibido não demonstra, por si só, um risco real”.
Os testes são complexos e envolvem a definição de um modelo de ameaça: quem é o potencial atacante, qual seu objetivo, quais recursos possui e o que seria considerado sucesso. A partir daí, são criados cenários para provocar comportamentos que indiquem vulnerabilidades. Isso pode incluir conversas em várias etapas, reformulações de pedidos, mudanças de idioma e contexto, uso de ferramentas e combinações de técnicas.
Em uma avaliação de riscos biológicos, por exemplo, mais de 150 horas foram dedicadas a testes com especialistas em biossegurança. Da mesma forma, em parceria com a National Nuclear Security Administration (NNSA) dos Estados Unidos, especialistas testaram modelos Claude por um ano em um ambiente seguro. Esse trabalho resultou na criação de uma ferramenta capaz de identificar conversas potencialmente relacionadas ao desenvolvimento de armas nucleares, com uma precisão de 96,2% em testes preliminares.
A própria Anthropic utiliza modelos de IA para auxiliar nessa tarefa, criando tentativas de ataque para testar outros sistemas. Os resultados são então usados para desenvolver novas formas de proteção, em um ciclo contínuo de aprimoramento da segurança. A necessidade de testar os modelos cresce à medida que eles se tornam mais sofisticados, como evidenciado pelo Claude Mythos Preview, que em maio de 2026 já conseguia identificar vulnerabilidades e combiná-las para realizar ataques completos.
O Rio das Ostras Jornal acompanha de perto as inovações e os desafios da tecnologia, que impactam diretamente a vida e a segurança da população em Macaé, Rio das Ostras e em todo o Interior do RJ.
0 comentários:
Postar um comentário
Obrigado pelo seu comentario.
Fique sempre ligado do que acontece em nossa cidade!