17 Abril 2023
Assim como a heroína, mais do que um medicamento, demonstrou ser uma substância que cria uma toxicodependência de efeitos sociais letais, mutatis mutandis, em relação aos LLMs (grandes modelos de linguagem, na sigla em inglês), teremos de olhar para os efeitos sobre o bem-estar relacional e social que eles podem induzir em um contexto social cada vez mais digital e algoritmicamente mediado.
O comentário é de Paolo Benanti, frei franciscano da Terceira Ordem Regular, professor da Pontifícia Universidade Gregoriana, de Roma, e acadêmico da Pontifícia Academia para a Vida. Em português, é autor de Oráculos: entre ética e governança dos algoritmos (Unisinos, 2020).
O artigo foi publicado no blog pessoal do autor, 14-04-2023. A tradução é de Moisés Sbardelotto.
Certamente, um título tão forte pode deixar mais de um leitor perplexo. Por isso, um esclarecimento se faz necessário de imediato. À luz de um precioso estudo publicado pelos pesquisadores de Stanford, gostaria de utilizar um exemplo da pesquisa industrial do início do século passado para tentar nos interrogar qual é a melhor abordagem ética para acompanhar esta fase da inovação tecnológica.
Comecemos a partir do que ocorreu com o nascimento da síntese química. Depois de um início na Inglaterra com a descoberta dos corantes sintéticos e sua difusão, a grande indústria da química industrial se deslocou para a Alemanha, onde um regime de cobertura das patentes mais favorável e um setor industrial fecundo decretaram seu sucesso explosivo (não é uma metáfora, dado o desenvolvimento da química industrial ao fabricar as bombas e os gases tóxicos da Primeira Guerra Mundial).
A história daquela que eu defini como uma realidade sintética pode ser encontrada em algumas de minhas publicações e em um de meus podcasts.
“Realidade sintética. Da aspirina à vida: como recriar o mundo”, em tradução livre (Foto: Divulgação)
No entanto, vamos nos deter naquilo que ocorreu quando a Bayer se transformou de uma indústria de corantes em uma indústria de medicamentos. Essa história tem um protagonista: Carl Duisberg.
Após a descoberta dos corantes sintéticos, médicos e biólogos descobriram, por exemplo, que os corantes sintéticos mostravam afinidades seletivas para certos tipos de células e bactérias, e os usaram para identificá-los. Também foram identificadas algumas potencialidades terapêuticas, como a do corante Vermelho Congo, útil para o tratamento dos reumatismos. O azul de metileno, ainda usado pelos biólogos nos laboratórios, foi empregado para colorir os tecidos biológicos. Outros corantes revelaram a existência de alguns componentes fundamentais das células, como os ácidos nucleicos. A partir de produtos intermediários da síntese de corantes, foram gradualmente obtidos outros medicamentos e perfumes.
Foi justamente a esses desenvolvimentos que Duisberg voltou sua atenção. O diretor de pesquisa da Bayer havia ficado impressionado com dois produtos lançados no mercado há pouco tempo. No primeiro caso, a descoberta derivou do fato de que, na tentativa de chegar à síntese do quinino, dois químicos de uma pequena empresa da cidade renana de Hoechst, a 10 quilômetros da sede da Bayer, encontraram um produto derivado das anilinas ao qual atribuíram propriedades antipiréticas.
Os dois químicos comercializaram a substância como antipirina: a química industrial havia começado a produzir fármacos. Apesar de provocar reações gástricas incômodas, a substância teve um rápido sucesso comercial, mostrando à indústria a existência de um setor potencialmente lucrativo para a aplicação da pesquisa química.
O segundo episódio foi a comercialização de outro medicamento, a Antifebrina. Em 1886, após um erro de expedição, dois médicos de Estrasburgo, Arnold Kahn e Paul Hepp, administraram acetanilida a um paciente com vermes intestinais, em vez de naftaleno. Tendo esclarecido o erro e constatado que o paciente não havia sofrido danos, os dois médicos se deram conta de que a acetanilida não tinha efeito sobre os vermes, mas era um ótimo antipirético.
O irmão de um dos dois, Paul Heppe, era químico da Kalle & Company, uma das empresas que produziam acetanilida, e ele foi questionado se estava interessado em produzir o medicamento antitérmico. O problema, porém, era que a produção da acetanilida não era secreta e, portanto, seria copiada com muita facilidade, anulando toda vantagem econômica. Então, eles decidiram cunhar um novo nome, Antifebrina, assegurando-se os direitos comerciais sobre a marca. Esse episódio foi revolucionário.
Até aquele momento, os medicamentos vendidos pelos farmacêuticos eram conhecidos por seus nomes químicos complexos e, com esses nomes científicos, eram indicados nas publicações médicas que os médicos consultavam para conhecer as novas terapias. Quando um médico decidia utilizar o medicamento, reproduzia o nome científico e deixava que o farmacêutico decidisse de quem iria obter os insumos para produzir a substância.
Quando apareceu um medicamento com um nome tão simples como Antifebrina, os médicos começaram a usar esse nome nas receitas e, embora os farmacêuticos estivessem cientes de que a acetanilida e a Antifebrina eram a mesma coisa, eram obrigados a obedecer servilmente às prescrições médicas. Isso obrigou os farmacêuticos a se abastecerem de produtos da Kalle & Company aos seus preços e a ter de ignorar outros fornecedores: os pacientes pagavam preços muito altos, e a empresa obtinha lucros elevadíssimos.
Carl Duisberg entendeu as possibilidades que havia por trás desse novo “mercado” e acelerou nessa direção, contratando as mentes mais inovadoras e criativas à disposição. Com elas, ele reorganizou os laboratórios. Criou o departamento farmacêutico para elaborar novas ideias sobre medicamentos e o grupo farmacológico que tinha a tarefa de testá-los.
Os químicos da Bayer realizavam experimentos contínuos com centenas de substâncias semelhantes, e os progressos muitas vezes ocorriam com base no princípio da serendipidade.
Felix Hoffmann trabalhava com o mesmo princípio e foi com essa modalidade que ele recebeu o encargo de tentar sintetizar o ácido salicílico, aliviando os incômodos distúrbios gástricos relacionados a ele. Em 10 de agosto de 1897, Hoffmann anotou em seu diário que, variando os experimentos, havia conseguido obter a acetilação do ácido salicílico, que neutralizava o componente responsável pelas contraindicações gástricas.
Seu chefe, Eichengrüng, ficou muito satisfeito com os resultados e repassou o preparado a Dreser para que o experimentasse. Devido a uma série de preconceitos médicos em relação ao ácido salicílico, Druiser rejeitou o fármaco. Ele queria jogá-lo fora, mostrando-se mais propenso a adotar outro composto, também por acetilação, que Hoffmann havia desenvolvido naquela semana e que, segundo ele, tinha um maior potencial comercial e terapêutico.
Ironia do destino: em duas semanas, Hoffmann havia descoberto um dos medicamentos mais conhecidos, a aspirina (C9H8O4), e uma das drogas mais letais, a heroína (C21H23NO5). Os químicos alemães estavam convencidos de que o processo de acetilação dos alcaloides naturais poderia dar origem a compostos menos tóxicos e mais ativos, ou, em todo o caso, a novas moléculas, mais caras e lucrativas do que o produto original. A confiança dos químicos alemães na acetilação era tão grande que foi chamada de verdadeira “acetilomania”.
Eichengrüng encontrou uma forma de levar os resultados do ácido acetilsalicílico a Duisberg que, impressionado com suas qualidades, ordenou uma nova experimentação. Após os controles clínicos que refutaram quaisquer complicações, ele decidiu produzir o fármaco.
Em 23 de janeiro de 1899, uma comunicação circulou entre os executivos da Bayer para encontrar o nome comercial para o ácido acetilsalicílico. O ácido salicílico podia ser extraído de plantas spirea. A este nome, decidiu-se antepor a letra a- como sinal de acetilação e de produção por síntese (era o conteúdo da spirea sem nenhuma utilização da planta), e foram acrescentadas no fim as letras -in, para facilitar a pronúncia. Assim nascia a aspirina, Aspirin, para a Bayer da época, um medicamento que mudou o mundo. A Bayer e Duisberg haviam batizado aquele que depois foi chamado informalmente de “fármaco das maravilhas”.
O que aconteceu, por sua vez, com a outra substância sintetizada por Hoffmann? A diacetilmorfina (C21H23NO5) – este é o nome do composto –, obtido também a partir da acetilação da morfina, tomou o nome comercial de Heroína.
Sua história é tristemente conhecida. Se Eichengrüng foi o responsável pela comercialização da Aspirina, foi Dreser quem colocou a heroína em produção. O chefe do departamento de farmacologia, cada vez mais convencido do potencial dessa substância, começou a testá-la em rãs e coelhos de laboratório. O passo seguinte foi experimentá-la em si mesmo e em alguns voluntários da fábrica de corantes adjacente.
A diacetilmorfina mostrou-se muito eficaz, e os operários relataram que o uso da substância os fazia se sentirem heroicos: isso marcou o nome do fármaco. A heroína, depois, foi submetida a mais experimentações clínicas, e, em 1898, Dreser anunciou ao Congresso de Naturalistas e Médicos Alemães que era 10 vezes mais eficaz do que a codeína como remédio para a tosse, tendo apenas um décimo de seus efeitos tóxicos.
A Bayer estava convencida de ter descoberto um medicamento para todos, seguro e que não gerava dependência, e planejava promovê-lo junto aos médicos como um remédio para cólicas infantis, resfriados, gripe, dores nas articulações e outros mal-estares, e até mesmo como tônico geral. É interessante notar que a Coca-Cola foi promovida nos mesmos termos no início do século XX.
Entre 1899 e 1905, foram publicados 180 artigos clínicos sobre a heroína, e em 1910 os trabalhos clínicos realizados com a diacetilmorfina incluíam pelo menos 10.000 pacientes. A grande maioria dos estudos julgava a heroína positivamente. Alguns trabalhos até a retratavam em termos entusiasmados. Ninguém falava de dependência iatrogênica, exceto algumas vozes dissidentes. Deve-se enfatizar que o problema da dependência era relativamente limitado, porque a heroína era administrada em doses de 5mg.
Em 1899, a Bayer exportava heroína para 23 países. Não se considerava que a heroína fosse capaz de gerar dependência; hoje sabemos que a dependência, por sua vez, é forte e se instaura muito rapidamente. Em poucos anos, a “heroinomania” rapidamente se tornou uma emergência de saúde: em 1905, a cidade de Nova York consumia cerca de duas toneladas de heroína por ano. Na China, ela substituiu o ópio. A Europa e o Velho Mundo não ficaram imunes: o consumo se espalhou rapidamente.
No Egito, em 1930, o fenômeno havia assumido proporções dramáticas: calcula-se que, de 14 milhões de habitantes, havia 500.000 heroinômanos. A velocidade e a força da dependência provocada pela heroína haviam sido subestimadas, e, em pouco tempo, a substância tornou-se causa de uma emergência de saúde, tanto que, ainda em 1925, a Itália colocou a heroína entre as substâncias ilegais.
Poderíamos continuar com a crise dos opioides nos Estados Unidos nos últimos anos, mas a história se tornaria longa demais. Receio que ainda não aprendemos tudo sobre o âmbito farmacêutico. A triste história da heroína nos mostra que, diante da inovação que impacta o ser humano, a precisão do design não é suficiente.
Em outras palavras, não basta uma ética dos engenheiros que se interrogue apenas sobre o processo de produção de uma tecnologia, garantindo padrões. Uma arma bem projetada não é menos perigosa em virtude desse cuidado no projeto. Não é preciso simplesmente tornar transparente o processo de produção ou garantir que o produto cumpra suas promessas.
Se tivéssemos que usar a metáfora do carro, não basta dizer que os freios são capazes de parar o carro em um determinado espaço e em um determinado tempo. Também não basta – como se fez desde a era das patentes – tornar transparente o processo de produção. Saber como é feito um freio ainda não me diz nada sobre como devo dirigir o carro.
Diante dos desafios que temos pela frente, a maior pergunta não é como dirigir o carro. A verdadeira questão é qual é a meta, para onde queremos ir e qual é a direção a seguir na próxima encruzilhada? Qual é o destino? Qual é o propósito da nossa viagem? Essas são perguntas sapienciais.
Se hoje ver a propaganda da heroína como remédio para a tosse nos faz sorrir amargamente, podemos e devemos nos perguntar por que essa história, talvez longa demais, pode nos ajudar a gerir as novidades dos modelos generativos dos LLMs.
Eis brevemente o que poderíamos dizer por Tweet, o que aconteceu. Stanford publicou um estudo inovador sobre a inteligência artificial, no qual seus pesquisadores no campo das inteligências artificiais lançam os chamados Agentes Generativos, programas de informática que simulam o comportamento humano autêntico, usando modelos generativos. Os Agentes Generativos aprimoram os LLMs existentes, introduzindo capacidades de memória, de reflexão e de planejamento, permitindo coerência a longo prazo e comportamentos dinâmicos.
Imediatamente surgiram preocupações sobre as relações parassociais e a antropomorfização da inteligência artificial, com potenciais consequências negativas para a sociedade e a substituição dos seres humanos em tarefas cruciais.
O que emerge do estudo é que os Agentes Generativos podem simular o comportamento humano autêntico.
No estúdio, foi realizado um lugar virtual chamado Smallville. Smallville é um mundo de jogo no estilo Sims. Existem 25 agentes generativos (personagens) que vivem no jogo e operam de uma forma que se assemelha muito ao comportamento humano.
Os agentes podem:
- planejar o dia deles
- compartilhar qualquer notícia
- estreitar relações
- coordenar as atividades.
Como Stanford criou os agentes generativos?
Eles tiveram que construir uma arquitetura capaz de armazenar, sintetizar e aplicar as “memórias” relevantes, para gerar um comportamento confiável. Isso foi feito usando um modelo linguístico de grandes dimensões – o ChatGPT.
Existem três componentes fundamentais:
- fluxo de memória: um registro das experiências do agente
- reflexão: sintetiza as memórias para ajudar a tirar conclusões
- planejamento: traduz as conclusões em planos de ação.
Uma vez iniciada a simulação, nesse mundo virtual de Smallville, uma agente, Isabella, foi encarregada de organizar uma festa do Dia dos Namorados.
Os pesquisadores sabiam que muitas coisas poderiam dar errado. A agente poderia:
- Não seguir as instruções.
- Não lembrar de avisar os outros.
- Não lembrar de se apresentar.
Em vez disso, é interessante ler o estudo para ver o que aconteceu. No fim da simulação, 12 agentes ficaram sabendo da festa de Isabella. Isso sem nenhuma intervenção por parte do usuário/pesquisador. Além disso, a comunidade de agentes estreitou novos relacionamentos durante a simulação.
A imagem mostra o caminho de difusão da festa de Isabella.
O mais impressionante é que os agentes distribuíram autonomamente os convites para a festa nos dois dias seguintes. Além disso,
- Criaram relações.
- Coordenaram-se para chegar a tempo.
- Combinaram de sair juntos para ir à festa.
Esses comportamentos eram emergentes em relação aos pré-programados.
E é aqui, no impacto social desses fármacos (brincando com a ambivalência do termo grego farmakon) que, assim como no caso da heroína, podemos olhar para o impacto sobre a sociedade.
Agentes generativos poderiam ter consequências enormes e imprevistas sobre a sociedade:
- antropomorfização: os seres humanos atribuem emoções aos agentes
- impacto dos erros: os agentes fazem falsas deduções que causam danos
- risco de implementação em uma sociedade mista da inteligência artificial generativa: persuasão sob medida e deepfakes.
Ao chegar à conclusão desta minha leitura da questão, preciso fazer uma premissa. O nosso país está cada vez mais polarizado. Se, neste parágrafo, tento tirar algumas conclusões éticas sobre a alfabetização que, a meu ver, é urgente criar sobre os LLMs, estou ciente de que faço isso em um contexto hiperpolarizado, marcado pelas decisões do órgão regulador da privacidade, conhecido como Garante, sobre o ChatGPT.
Daí uma premissa: não comento, aludo ou pretendo dizer nada sobre esse fato. Nas minhas intenções, o exemplo da heroína serve apenas para dizer que é preciso mudar de perspectiva para uma correta análise ética, e as atuais (incluindo as preciosas estruturas de proteção dos direitos de privacidade) talvez não nos sejam suficientes.
O que surge claramente a partir desse experimento:
- Os agentes generativos oferecem um novo horizonte para a interação humano-computador.
- É importante abordar de frente as preocupações éticas.
- Se o fizermos, devemos saber que agentes autônomos podem ajudar a sociedade a aumentar a produtividade: dos copilotos aos imersivos.
No entanto, assim como a heroína, mais do que um medicamento, demonstrou ser uma substância que cria uma toxicodependência de efeitos sociais letais, mutatis mutandis, em relação aos LLMs, em vez da citotoxicidade ou da neurotoxicidade, teremos de olhar para os efeitos sobre o bem-estar relacional e social que eles podem induzir em um contexto social cada vez mais digital e algoritmicamente mediado.
Estou convencido de que os LLMs são instrumentos fundamentais para obter grandes progressos para a humanidade. No entanto, se, como a Bayer, deixarmos ao mercado e à corrida pelas patentes e pelo lucro o único motor e propulsor, temo que, por uma aspirina que alivia as nossas dores de cabeça, teremos em troca muitas vidas arruinadas pela heroína.
Esperemos que amanhã não tenhamos que olhar com um sorriso amargo para aquilo que foi escrito e comunicado hoje sobre as fantasmagóricas propriedades fantasmas dos LLMs.
FECHAR
Comunique à redação erros de português, de informação ou técnicos encontrados nesta página:
ChatGPT, a heroína da Bayer? Artigo de Paolo Benanti - Instituto Humanitas Unisinos - IHU
