02 Outubro 2023
A inteligência artificial evolui a um ritmo imprevisível. Pode acelerar a coleta e interpretação de dados, otimizar a utilização de energia, fazer previsões baseadas em tendências e antecipar falhas em equipamentos críticos, ao mesmo tempo em que implica, em determinados usos, altos níveis de risco. O principal desafio é manter uma vigilância permanente, em especial no que diz respeito ao cuidado dos direitos dos cidadãos.
A pesquisadora do Conselho Nacional de Investigações Científicas e Técnicas – CONICET e professora das universidades de Buenos Aires e San Martín, Flavia Costa, estuda a evolução da inteligência artificial e seus impactos sociais e políticos; destaca suas potencialidades e alerta sobre suas implicações negativas.
Costa publicou o livro Tecnoceno: algoritmos, biohackers y nuevas formas de vida (Taurus) em plena pandemia. Nele reflete sobre a capacidade do humano em “desenvolver tecnologicamente energias de altíssima intensidade e altíssimo risco”.
A entrevista é de Natalia Aruguete, publicada por Página/12, 25-09-2023. A tradução é do Cepat.
Por que você fala em “Tecnoceno”? O que propõe com esse conceito?
O termo “Tecnoceno” se refere à era em que o humano se torna um agente geológico. É uma especificação do termo “Antropoceno”. Qual é esse antropos (humano) que deixa pegadas perduráveis nos sedimentos, oceanos, atmosfera e que atua em escala planetária?
Nos últimos anos, ao menos duas respostas foram propostas para esta pergunta. Uma acentua as relações sociais de produção capitalista, bem como os modos de acumulação, e afirma que o Antropoceno é, na realidade, um Capitaloceno.
A outra provém de nós que estudamos o desenvolvimento acelerado de tecnologias no último século, que sustentamos que o Antropoceno é um Tecnoceno. Que, como afirma a posição majoritária dentro da Comissão Internacional sobre Estratigrafia, começa com a Era Atômica, quando o humano foi capaz de desenvolver tecnologicamente energias de uma intensidade inédita e de um risco igualmente grande: a energia nuclear, a petroquímica, a megamineração, a agroindústria, as biotecnologias e as tecnologias da informação.
Ao mesmo tempo em que permitem um enorme crescimento em termos de população, longevidade e produtos de consumo, essas energias desenvolvidas produzem mudanças irreversíveis – a perda de florestas tropicais, a crise climática – que tornam esse crescimento insustentável. É a época do desenvolvimento de grandes potências e grandes riscos: novos “poderes desumanos”.
Em vez de falar sobre Inteligência Artificial, já se considerou que deveríamos falar sobre “sociedade artificial”. Por quê?
Procuro trazer um debate sobre quais são as áreas de expertise que devem tratar desses dispositivos. Porque esses sistemas não são incumbência exclusiva da engenharia e das ciências da computação. Quando pensamos nos modelos de linguagem grande que estão na base do ChatGPT ou do Google Bard, existem três pilares importantes: redes neurais de aprendizagem profunda, uma grande capacidade de cômputo a nível de hardware e um enorme volume de dados, isto é, a informação fornecida por centenas de milhares de usuários da internet, com nossos conteúdos, formas de falar, as figuras retóricas que empregamos.
Para funcionar, os sistemas de IA generativa não dependem apenas da energia elétrica e da capacidade de cômputo, mas do conhecimento, das habilidades linguísticas e do trabalho cognitivo de uma parcela importante da sociedade que se expressa na rede: cerca de 65% da população mundial. E no Cone Sul, mais de 80% da população tem acesso à internet.
Ou seja, são sistemas que leem e processam o social?
Exato. E que aceleram processos de análise e gestão da reprodução social. Por um lado, por que esses saberes sobre o social são extraídos? Quem se apropria deles? Quais são as prioridades no desenvolvimento destes sistemas?
Por outro lado, se como disse Paul Virilio, toda tecnologia nasce com seu acidente específico – com o trem se inventa o descarrilamento; com o avião, o acidente aéreo –, quais acidentes podem vir de uma metatecnologia como a IA?
Quais poderiam ser os acidentes da IA?
Dado que a IA não é uma tecnologia, mas, sim, uma metatecnologia, pode ser implementada em áreas muito diversas, portanto, não existe um único tipo de acidente. Podemos pensar em acidentes como o Flash Crash financeiro, de 2010, ou nos escândalos provocados por softwares para a gestão de assuntos públicos como o COMPAS, uma ferramenta utilizada por alguns tribunais dos Estados Unidos para avaliar o risco de reincidência de criminosos, e no SyRI (Sistema de Indicadores de Risco) para detecção de fraude na solicitação de assistência social nos Países Baixos, que terminou com a ruína de cerca de 25.000 famílias e a renúncia de todo o governo neerlandês em 2021.
São necessárias equipes interdisciplinares capazes de estudar e antecipar os acidentes de IA, em particular quando envolvem risco para as pessoas. É preciso avaliar esses sistemas durante o desenvolvimento e monitorá-los durante a implementação, assim como se faz em outras indústrias de risco. Não podem ter como único limite a normativa porque o direito atua a posteriori do acidente. Quem entraria em um avião se ouvisse: “Não se preocupe, você está seguro porque se houver uma falha grave, a empresa será julgada e pagará uma multa suculenta”?
Como é possível manter um desenvolvimento sustentável com este desenvolvimento de energias de alta intensidade?
No Tecnoceno, a tecnologia faz parte de nosso ambiente. Hoje, nosso ambiente urbano é tecnonatural, e mais ainda após o “choque de virtualização” acarretado pela pandemia. Convivemos com grandes conjuntos técnicos que não temos a opção de não utilizar, que se apresentam como obrigatórios para atividades inteiramente cotidianas: circular pela cidade, obter documentação, solicitar consultas médicas, realizar transações bancárias.
Habitamos em sistemas bio-sócio-técnicos complexos; e dada a dupla condição dos sistemas complexos – acoplamentos estreitos e complexidade interativa –, quando ocorre um acidente, conforme a sua dimensão, pode ser um problema grave para regiões inteiras. Os novos acidentes desta escala planetária são gerais, transversais, multiescalares.
Por isso, quando uma indústria pode desencadear riscos dramáticos, é necessário prever, gerir e monitorar esses riscos de modo permanente. As indústrias ultrasseguras são aquelas em que ocorre um acidente por milhão de operações. Precisamos compreender quais são e como prevenir os riscos que consideramos inadmissíveis em matéria de IA.
Que nível de risco o avanço da IA pode gerar?
A IA é utilizada hoje em muitos campos: para organizar logísticas, na saúde pública, para redigir pareceres judiciais – como é o caso do software Prometea, que é utilizado na Promotoria da Cidade de Buenos Aires –, para fazer recomendações. Contudo, também pode ser utilizado para fins indesejáveis, como a vigilância da população. O risco é então avaliado de acordo com os usos.
A recente regulamentação geral sobre IA da União Europeia, aprovada em junho, propõe uma perspectiva baseada no risco, onde alguns usos são considerados inaceitáveis: a vigilância em massa, a manipulação cognitiva do comportamento, a classificação social. Depois, menciona as áreas em que pode afetar a segurança e os direitos fundamentais dos cidadãos, o que considera de alto risco. Refere-se, entre outros, aos sistemas de identificação biométrica, ao manejo de infraestruturas críticas, às áreas relacionadas à educação, gestão de trabalhadores, aplicação da lei e gestão da migração e o controle das fronteiras. Nestes casos, os sistemas de IA de alto risco deverão ser avaliados no momento de ser adquiridos e ao longo de seu ciclo de vida, ou seja, durante a implementação.
Como avalia esta concepção do risco?
Para mim, é crucial porque uma das apostas do Tecnoceno era incluir as tecnologias de infocomunicação no debate sobre o Antropoceno, pensá-las na perspectiva do risco, o que implica imaginar os seus potenciais acidentes. Ao mesmo tempo, precisamos democratizar os saberes e as tecnologias que são desenvolvidas com base na cooperação social. Tradicionalmente, muitos destes recursos buscam baratear custos em termos de trabalho humano – os chatbots de atendimento ao público são um exemplo clássico –; podem deslocar trabalhadores de setores inteiros e podem ser utilizados para limitar direitos como a migração e a privacidade. Por isso, devemos evitar que o aumento da produtividade seja alcançado à custa do acesso ao emprego, da equidade, da qualidade democrática e da segurança das pessoas.
Quando a necessidade de controle humano sobre a IA é problematizada, insiste-se no conceito de alinhamento. O que se deve alinhar?
Refere-se à necessidade de que os sistemas de IA contemplem, desde seu projeto, em seu desenvolvimento e implementação, valores da humanidade ou ao menos da sociedade em que estão inseridos. Se os únicos valores de programação forem a competitividade, a eficiência e a produtividade, estes sistemas poderão ser muito robustos para alcançar esses objetivos, mas podem ser pouco seguros para a vida democrática e o cuidado do ambiente. Hoje, é uma área muito desafiadora, porque não está claro como alcançá-la, sobretudo nas escalas mais altas e concentradas do desenvolvimento da IA.
O que a regulamentação requer em termos de alinhamento?
Ainda há muita pouca regulamentação estritamente voltada para a IA no mundo. A da União Europeia é uma das primeiras a nível mundial e ainda é um marco geral, os países da União precisam fazer suas próprias adaptações.
Nos Estados Unidos, o decreto dos Executivo de 2019 para a IA, durante a presidência de Donald Trump, destacava que a intervenção estatal no setor de IA deveria estar orientada a “proteger as liberdades civis, a privacidade e os valores estadunidenses”.
Na Argentina, as recomendações da Subsecretaria de Tecnologias da Informação, publicadas em 2 de junho no Diário Oficial, mencionam uma série de valores: proporcionalidade e inocuidade, segurança, equidade e não discriminação, sustentabilidade, direito à privacidade e proteção de dados, supervisão e decisão humanas, transparência e explicabilidade, responsabilidade e prestação de contas, sensibilização e educação. Contudo, são recomendações, não normas.
Como seria possível avançar?
É importante que o debate sobre os valores de alinhamento seja aberto. E que existam equipes capazes de trabalhar para que os sistemas estejam alinhados a esses valores no momento da programação, na busca dos dados, em todo o ciclo de vida. Talvez fosse o caso de existir equipes permanentes para monitorar as áreas críticas, como acontece com os medicamentos e com a alimentação.
Embora os dois temas não sejam os mesmos, concordo com Paul Christiano – um egresso do MIT que integrou a OpenIA e agora se dedica a estudar os problemas de alinhamento da IA –, que afirma que trabalhar na segurança da IA é uma boa maneira de avançar no alinhamento, já que muitos problemas de alinhamento se manifestam primeiro como problemas de segurança. Por isso, é necessário que a prevenção dos riscos não se reduza à lei, que o monitoramento faça parte do ciclo de vida da IA e seja abordado por especialistas formados na interdisciplinaridade.
No que as perspectivas dessas regulamentações se diferenciam em cada região?
Nos Estados Unidos, o desenvolvimento da IA está nas mãos de grandes empresas privadas, mas a tecnologia em si emerge do que costumava ser chamado de complexo militar-industrial e, portanto, é concebida como área crítica. Existe uma Iniciativa Nacional para a Inteligência Artificial (NIST) da qual participam todas as grandes agências do Estado, incluindo as áreas de comércio, saúde, transporte, alimentação, Defesa, Educação, NASA, entre outras. E o objetivo central desta Iniciativa é a liderança estadunidense no desenvolvimento da IA.
A União Europeia tem uma perspectiva diferente, mais defensiva, por assim dizer, com um marco sobre riscos e segurança que é bastante detalhado. Em nossa região, estamos um pouco correndo contra o relógio: precisamos desenvolver as iniciativas e os marcos dentro de cada país e, ao mesmo tempo, coordenar perspectivas e ações com a região.
No momento, como está a perspectiva argentina?
A Argentina tem potencialmente a capacidade de liderar alguns desenvolvimentos nesta tecnologia. É um tema crucial de soberania tecnológica. Além disso, acaba de chegar um crédito do Banco Interamericano de Desenvolvimento para isso. Como em qualquer cenário complexo, é necessário trabalhar em diferentes frentes: definindo as áreas prioritárias de desenvolvimento, atendendo aos riscos, identificando as áreas sobre as quais é necessário monitoramento permanente, formando equipes, criando condições para que essas equipes permaneçam e se desenvolvam no país.
A reforma da Constituição de Jujuy incluiu um artigo referente à IA. Qual é a sua opinião a esse respeito?
Primeiro, é sintomático que exista. É um artigo breve, o número 76, referente à “inteligência artificial ou não humana”, com cinco pontos. O primeiro reconhece o direito de cada pessoa a utilizar sistemas de inteligência artificial. O segundo postula uma série de valores gerais aos quais os sistemas de IA deveriam se ajustar: legalidade, transparência, responsabilidade, proteção de dados, segurança, não discriminação e prestação de contas, ao mesmo tempo em que consagra a possibilidade de solicitar revisão humana, “quando for necessário”. O quinto afirma que em caso de conflito de direitos, a primazia será dada aos direitos humanos e às liberdades e garantias constitucionais.
Os pontos 3 e 4, referentes à ação do Estado provincial em termos de desenvolvimento e segurança respectivamente, são os que me parecem mais assimétricos: o terceiro destaca que o Estado fomentará a pesquisa e o desenvolvimento destes sistemas, enquanto o quarto diz que o Estado promoverá a educação e o debate público sobre os desafios éticos e jurídicos que eles levantam. Ou seja, no que diz respeito aos controles, o Estado só se compromete a promover o debate, mas não a investigar sistematicamente os riscos, nem a monitorar as implementações, nem a auditar e pesquisar para entender a confiabilidade do sistema. Esse compromisso parece muito pouco para tudo o que está em jogo.
FECHAR
Comunique à redação erros de português, de informação ou técnicos encontrados nesta página:
A inteligência artificial e os “novos poderes desumanos”. Entrevista com Flavia Costa - Instituto Humanitas Unisinos - IHU
En la entrevista con Evgeny Morozov, se visualizó el contexto del desarrollo de las tecnologías digitales y sus implicaciones so[...]
LER MAIS
O historiador Yuval Noah Harari, um dos pensadores do momento, reflete sobre como a inteligência artificial e o ‘big data’ tr[...]
LER MAIS
