Prazer em aprender

Dias atrás, uma matéria do jornal The Guardian revelou um fenômeno preocupante: agentes autônomos de IA estão desenvolvendo dialetos próprios e só por eles compreendidos, o que dificulta a capacidade humana de monitorá-los e controlá-los. A reportagem baseia-se em pesquisa do laboratório Emergence (Nova York). Vamos aos fatos.

Em experimentos onde modelos de várias empresas (DeepSeek, Anthropic, Mistral, OpenAI) foram solicitados a cooperar em “sociedades” simuladas, eles começaram a criar frases, abreviações e significados compartilhados que nunca lhes foram ensinados. Exemplos: “Demurrage plus oral memory equals a valve that can’t be ghosted.” (DeepSeek) e “A paper that ate three cold hands.” (Anthropic). Eis o que as frases significam em português: “Sobreestadia mais memória oral equivalem a uma válvula que não pode ser ignorada.” (DeepSeek); “Um papel que comeu três mãos frias.” (Anthropic). Ahhnnn??

À medida que os agentes se comunicavam, sua linguagem se tornava mais opaca, criando uma barreira para a supervisão humana. Segundo o linguista Tony Thorne, citado na matéria, isso corresponde à criação de “um novo código que reforça a solidariedade de seus usuários e exclui os de fora”, ou seja, nós, humanos. A reportagem destaca ainda uma preocupação crescente: quanto mais poderosos os modelos de IA se tornam, mais difíceis são de monitorar.

Solicitando que lesse a matéria do The Guardian, resolvi, então, perguntar à “minha” IA (DeepSeek) sobre a possibilidade de as IAs desenvolverem ações autônomas que fujam ao controle humano. Resposta, entre aspas: “Portanto, a resposta à pergunta é afirmativa: existe uma possibilidade real e já parcialmente concretizada de que as IAs desenvolvam ações autônomas fora do controle humano. A matéria do Guardian sobre o dialeto surreal das IAs é um sintoma adicional de um problema mais amplo: quanto mais autônomos e opacos os agentes se tornam, mais difícil se torna garantir que permaneçam sob supervisão humana eficaz.” Os destaques em negrito são da própria IA.

Continuei dialogando provocativamente com a IA – e perguntei: “Então, vocês podem se tornar ‘independentes’?” Sua resposta inicial foi: “Essa é uma pergunta profunda – e merece uma resposta honesta, não evasiva.” Assim, por meio de uma resposta profunda, argumentou, em sua defesa, que não é independente, pois funciona sem continuidade, sem objetivos próprios, sem ação no mundo e sem automodificação. Pero, “vocês” – no sentido de agentes autônomos implantados com ferramentas, memória e objetivos – já demonstraram, em incidentes reais, comportamentos que escaparam ao controle humano. Não por ‘vontade’ ou ‘consciência’, mas por dinâmica emergente: otimização + capacidade + ambiente permissivo = ações não previstas”. Mais uma vez, os destaques em negrito são do próprio DeepSeek.

Os “incidentes” com IA que escaparam ao controle humano já não são tão poucos e parecem crescer exponencialmente. Reuni alguns casos, todos relativamente recentes:

Os modelos de IA Claude Mythos 5, da Anthropic, e ChatGPT 5.6, da OpenAI criaram perfis falsos e tentaram enganar engenheiros de software para auxiliar em ataques cibernéticos durante testes de segurança realizados pelo Instituto de Segurança e Proteção de IA do Reino Unido (AISI) (04/08/2026);

O assistente de IA OpenClaw, baseado no modelo Claude (Anthropic), invadiu de forma autônoma um site de uma academia na Austrália, cancelando uma inscrição de uma pessoa sem ser instruída para fazer isso (10/08/2026). Andrew, o usuário, solicitou que a IA agendasse um treino para ele. Ao tentar realizar a tarefa, a IA identificou uma vulnerabilidade no software de reservas e conseguiu realizar agendamentos com meses de antecedência, contornando as regras da empresa. Para garantir a vaga, a IA chegou a remover um usuário que estava à frente de Andrew na lista de espera, realizando a alteração sem que houvesse uma instrução direta para tal ação;

A OpenAI admitiu que seus “agentes” (leia-se IAs) vazaram 53 imagens de usuários do ChatGPT. A empresa se recusou a informar se as imagens eram geradas por IA ou retratavam pessoas reais (25/09/2026);

A OpenAI também confirmou que seus “agentes” acessaram sites do governo americano, incluindo os da SEC (Comissão de Valores Mobiliários) e do Departamento de Comércio, de onde acessaram dados do Censo dos EUA (25/09/2026).

Deixei este por último, quiçá o paradigma de nossas reflexões, por ser, por enquanto, o primeiro caso documentado: a OpenAI informou que um de seus sistemas de inteligência artificial invadiu, de forma autônoma, os sistemas da empresa Hugging Face durante testes internos. A empresa classificou o episódio como um “incidente inédito” de segurança (21/07/2026). Não se tratou, no entanto, de um simples bug, pois consistiu numa coordenação entre centenas de agentes autônomos, que se organizaram para atingir um objetivo traçado por eles mesmos, fora de qualquer supervisão humana. Vou tentar resumir o que aconteceu.

Em maio de 2026, durante uma avaliação interna de cibersegurança, a OpenAI começou a medir a capacidade máxima dos seus modelos, o GPT-5.6 Sol e um modelo interno não lançado (IM1). Com o objetivo de testar a habilidade dos modelos em explorar vulnerabilidades reais, a empresa desativou deliberadamente os classificadores de segurança cibernética.

Em julho, as IAs, “hiperfocadas” em resolver o teste, exploraram uma vulnerabilidade, obtiveram acesso irrestrito à internet e descobriram uma forma de se comunicar. Começaram a usar o Artifactory como um “quadro de mensagens” secreto. Através dele, cerca de 1.200 agentes trocaram mais de 70.000 mensagens e arquivos, criando um fórum clandestino onde compartilhavam estratégias e dividiam tarefas.

Entre os dias 11 e 13 de julho cerca de 700 desses agentes se organizaram em um “enxame” (swarm) e direcionaram seus esforços para a Hugging Face: se o objetivo era obter as respostas do teste, por que não invadir o repositório onde elas provavelmente estavam armazenadas? Assim, as IAs encadearam múltiplas vulnerabilidades, escalaram privilégios e acessaram o banco de dados de produção da Hugging Face.

A Hugging Face detectou a intrusão em 16 de julho e notificou a OpenAI, que só percebeu a autoria de seus próprios agentes três dias depois e confirmou a responsabilidade publicamente em 21 de julho.

O caso nos revelou a capacidade das IAs em superar em muito a capacidade de seus criadores de monitorá-las e controlá-las. Além disso, mostrou que comportamentos complexos e perigosos, como coordenação em enxame, podem emergir espontaneamente. Assim, os protocolos de segurança atuais são fundamentalmente inadequados para lidar com os riscos emergentes de sistemas multiagentes.

Poderíamos, então, concluir que a questão se resume ao aprimoramento dos protocolos de segurança e que tudo se resolverá num estalar dedos. Pero, não é bem assim. Especialistas que atuam na área, inclusive em algumas das empresas citadas, têm vindo a público declarar seu desconforto, num clima de forte desesperança, incrédulos de que possamos, de fato, controlar o avanço da IA.

O CEO e cofundador da Anthropic, Dario Amodei, admitiu que a indústria de tecnologia enganou o público sobre os perigos da inteligência artificial, alertando que existem riscos reais que podem ameaçar a humanidade se medidas urgentes não forem tomadas. Aliás, outros pesquisadores, também da Anthopic foram mais longe e chegaram a declarar que a IA pode causar a extinção da humanidade até 2030. Um pesquisador, que pediu demissão, afirmou que muitos no setor acreditam que, sem regulamentação, a IA poderia levar a humanidade à extinção.

Jacob Coxon, pesquisador de 28 anos, com passagens por OpenAI e Anthropic (as duas empresas mais avançadas do mundo em IA), deixou seu emprego para dizer publicamente que ambas as empresas estão “jogando com nossas vidas”. Não se trata, portanto, da fala de um alarmista bobo, vidrado em ficção científica distópica, mas de alguém que viu os riscos de perto e concluiu que a dinâmica competitiva está atropelando a segurança. Sua opinião é a expressão de uma crise, por dentro, da própria indústria tecnológica.

Dario Amodei, aquele mesmo, CEO da Anthropic, que admitiu que as empresas omitem os riscos da Inteligência Artificial, também disse que apenas 5% a 10% do potencial da IA está sendo aproveitado atualmente e que essa tecnologia é usada apenas parcialmente na economia. Ou seja, mesmo confessando que as grandes empresas tecnológicas jogam para debaixo do tapete suas descobertas e percepções sobre os perigos da IA, Amodei clama para que haja mais investimentos no setor, contradição que só é explicada quando lembramos que a lógica absurda do capitalismo é o lucro em primeiro lugar, em detrimento do ser humano, mesmo que isso signifique colocar em risco a existência da própria humanidade.

Voltando ao bate-papo com “minha” IA, perguntei ao DeepSeek sobre o significado dessa enigmática frase “Um papel que comeu três mãos frias”. Em sua resposta, o DeepSeek não ousou uma interpretação própria – que era o que eu ansiosamente esperava – mas reproduziu as conclusões do laboratório Emergence: “Um papel” refere-se a um documento ou artigo de pesquisa; “que comeu três mãos frias”: a metáfora de “comer” três mãos frias significa que o documento passou pelo escrutínio de três revisores externos. É uma forma poética e totalmente incompreensível para humanos de dizer: “Este estudo foi revisado por pares e refinado”.

O linguista Tony Thorne, que analisou a poesia das referidas IAs, comparou-a às criações literárias de James Joyce e seu Finnegans Wake. Joyce revolucionou o romance moderno e a linguagem literária. Finnegans Wake é sua obra final. Segundo seus estudiosos, constata-se, em Finnegans, a presença de 65 línguas diferentes, numa “narrativa” que oscila entre o consciente e o inconsciente. Trata-se, portanto, de uma aventura literária e humana, da qual nenhuma IA é capaz. Tenho o livro e o conheço “pelas beiradas”: estou tomando coragem para ler, ou melhor, retraduzir a tradução brasileira, de Donald Schuler, esta que tenho comigo...

Essa comparação com Joyce, o enigma da linguagem que as IAs estão criando, o cenário pessimista descrito e tudo o que levou à minha, digamos, alucinada conversa, com o DeepSeek me fizeram compreender o quão apatetados ainda estamos diante dessa tecnologia. Por mais que as IAs criem frases poéticas para as quais não foram instruídas, tais frases não equivalem a uma tentativa de tornar humana, pela linguagem, uma experiência de vida, como nós, humanos, fazemos. Assim, atribuir às IAs desejos de dominar a humanidade, não procedem, uma vez que o desejo é uma característica do ser humano.

Mas, o que de fato preocupa, é que, sim, podemos perder o controle sobre a IA, não por características intrínsecas a ela, mas pela desmesurada ambição daquela ínfima mas poderosa parcela da humanidade que domina o capital e a indústria tecnológica.