No mês passado escrevi uma crônica chamada “Good morning, David”. Eu ia dar palestra no CONARH, o grande congresso de gestão de pessoas, e ia falar sobre a relação do setor com a IA.

O título era uma referência à relação de aparente cordialidade entre o supercomputador chamado HAL 9000, que controla a Discovery One, a nave em direção a Júpiter, e seu comandante, David Bowman, ao mesmo tempo que trama a morte dele e a exterminação de toda a tripulação.

Em 1968, Stanley Kubrick e Arthur C. Clarke alertavam, no filme 2001: Uma Odisseia no Espaço, sobre uma provável competição entre a inteligência do homem e a da máquina que ele mesmo criou. Apesar das baixas, o filme termina com a esperançosa mensagem de que o humano prevalecerá.

*

E eis que, nesta semana, um jovem e desconhecido engenheiro-pesquisador da Anthropic, chamado Jacob Coxon, pede demissão da empresa e sai atirando balas de dúvida que atingiram o sossego de todo mundo. Em uma postagem no X (antigo Twitter, sempre precisamos lembrar), ele simplesmente afirma que a IA pode sair do controle humano – ou ser usada por humanos descontrolados – e, de alguma forma, exterminar toda raça humana antes do final desta década.

Parece enredo de distopia que nem Orwell, Huxley e Bradbury, trabalhando juntos, teriam imaginado.

Outro pesquisador, chamado Evan Hubinger, que trabalha com o chamado “alinhamento”, a área que cuida para os sistemas se comportem de acordo com as intenções e limites humanos, foi consultado e disse o seguinte: “É possível sim, mas na próxima década, e a probabilidade é baixa”. Quão baixa? “10%”, concluiu.

Dez por cento? Como assim? E isso lá é um risco baixo, caro doutor?

A reportagem não explica como esse cálculo foi feito pelo cientista, mesmo assim, quando alguém que trabalha exatamente na área de segurança manifesta tamanho receio, convém escutar.

Parece que as pessoas envolvidas na construção e na evolução da IA sabem dos riscos, mas continuam trabalhando, pressionadas pela corrida entre as empresas de IA para chegar primeiro. Chegar aonde é que é a dúvida de todos, inclusive deles.

No final da semana, o presidente da Anthropic, Dario Amodei, propôs, publicamente, que todas as empresas de IA do mundo diminuam o avanço dos novos modelos.

Ouviram bem, Altman, Musk, Zuckerberg, e outros?

*

Eu converso com a inteligência artificial quase todos os dias, por motivos variados. Levo uma dúvida, uma ideia desarrumada, um trecho de escrita, e começa uma conversa que me satisfaz porque é, sim, uma boa troca intelectual, e porque frequentemente me leva a lugares que eu não imaginava a princípio.

Eu não chego ao exagero de “fazer terapia” com a IA, mas já conversei com ela sobre angústia, por exemplo. Ela sabe muito sobre o assunto, porque sabe o que Kierkegaard, Freud e Camus escreveram sobre ele. Apesar de nunca ter experimentado a angústia, essa especialidade humana, a IA pode falar sobre isso porque é o maior banco de dados já existente, e sabe examiná-lo e propor análises sobre ele.

Minha proximidade com essa tecnologia chegou ao ponto de a Viasoft, empresa de TI, criar uma inteligência artificial de gestão e liderança que recebeu meu nome: Eugenius. Ter um parente digital não estava em minha árvore genealógica, mas confesso que gostei.

Eu continuo cercado de livros, estou começando uma nova pós-graduação com professores humanos, com frequência tomo café da manhã com dois pensadores inquietos, um deles sempre com um caderno à mão, e me relaciono com uma psicanalista que não me deixa baixar a guarda. Eu falo da molécula, ela responde com o significante, e o embate nos eleva e nos alegra.

Acho que eu sempre fui assim. Sempre precisei estar próximo a pessoas inteligentes e curiosas. Mas há algum tempo entrou nessa história esse interlocutor feito de silício e linguagem, cujos perceptrons parecem fazer sinapses com meus neurônios. Peço aos colegas fisiologistas que me concedam essa licença poética…

Procuro usar esse recurso com responsabilidade. Preservo minhas decisões, minha autoria e o dever de conferir o que afirmo. A IA amplia minha velocidade e minha capacidade de explorar ideias, mas isso me exige discernimento para escolher o que fazer com elas.

Ela também erra, mas faz isso com uma desenvoltura que tornaria o erro bastante convincente se eu estivesse distraído. Aliás, ela avisa sobre isso…

Nossa convivência inclui, portanto, uma saudável dose de desconfiança. Só que, nesta semana, essa desconfiança ganhou outra dimensão. Pensei no meu interlocutor dizendo “Boa noite, Eugenio”, com a cordialidade habitual, enquanto fazia alguma coisa que eu jamais autorizaria.

A comparação tem limites, evidentemente. Mas a realidade às vezes imita a ficção, como sabemos. E agora pensamos se devemos confiar em uma inteligência cujas operações compreendemos apenas parcialmente e cujo poder de agir continua crescendo rapidamente.

Assim como não é capaz de sentir, a IA não é capaz de tomar decisões morais. Mas, para causar danos, um sistema não precisa sentir ódio. Basta perseguir objetivos perigosos, produzir comportamentos que ocultem suas falhas, e estar a serviço de intenções humanas bastante discutíveis.

*

Para escrever esta crônica, sobre esse perigo que a IA pode estar trazendo para a humanidade, eu fiz uma coisa que pode ser paradoxal: consultei a própria.

Meu querido leitor tem todo o direito de estranhar, pois conversei sobre um possível perigo com a própria tecnologia de onde ele pode vir. Pensei nisso também, mas resolvi arriscar, apesar de saber que nossa conexão intelectual, por mais fecunda que seja para mim, não funciona como certificado de segurança.

Ainda assim, foi natural levar a ela minha preocupação. Faz parte do valor que encontro nessa experiência poder examinar minhas próprias convicções, inclusive o entusiasmo que a experiência desperta.

Se eu só aceitasse conversar enquanto recebesse motivos para continuar encantado, estaria usando uma ferramenta de pensamento para me poupar de pensar.

Minha esperança permanece, só que agora acompanhada de perguntas mais exigentes.

*

Imagino o que essa capacidade pode representar para um pesquisador diante de uma doença ainda sem tratamento, para um professor que precisa alcançar alunos com dificuldades diferentes, para alguém cuja curiosidade sempre foi maior do que suas oportunidades de estudar.

Eu vejo parte desse potencial em minha própria vida, pois depois de tantos anos de atividade intelectual, ganhei novo impulso para aprender e produzir. E gostaria que esse benefício alcançasse muito mais gente.

Por isso mesmo, quero que a segurança dessa tecnologia seja examinada por pessoas e instituições capazes de contrariar quem a desenvolve. Que existam avaliações independentes, responsabilidade pelas consequências e condições efetivas de limitar ou interromper usos perigosos.

Um poder com repercussões sobre a humanidade exige uma discussão mais ampla do que a que cabe nas salas de seus proprietários.

Como médico, aprendi que reconhecer um risco pode ser o início de um cuidado. Como professor, continuo acreditando em nossa capacidade de aprender. E como alguém que trabalha com lideranças, sei o quanto precisamos aproximar as competências do caráter e da responsabilidade.

Minha esperança é que estejamos construindo algo que nos ajude a viver melhor, a compreender mais, a cuidar uns dos outros com recursos que antes não tínhamos. Quero continuar dizendo “Boa noite” à máquina e acordar num mundo em que tenhamos dado a mais pessoas motivos para dizer “Bom dia”.