Jonnie Penn, um doutorando que estuda inteligência artificial na Universidade de Cambridge e é afiliado ao Berkman Klein Center for Internet & Society da Universidade de Harvard, propõe em um recente artigo no The Economist que se olhe para as inteligências artificiais evidenciando como elas nasceram do processo decisório organizacional das grandes empresas e do modo como o poder estatal é organizado.

Falta em tudo isso uma reflexão ética. A IA precisa da ética. Segue abaixo uma síntese do seu pensamento.

O texto foi publicado pelo teólogo e sacerdote italiano Paolo Benanti, frei franciscano da Terceira Ordem Regular e professor de Teologia Moral da Pontifícia Universidade Gregoriana, em Roma, em Settimana News, 28-01-2020. A tradução é de Moisés Sbardelotto.

Eis o texto.

A inteligência artificial está por toda parte, mas é considerada de um modo totalmente a-histórico. Para entender o impacto que a IA terá sobre as nossas vidas, é vital avaliar o contexto em que esse campo se estabeleceu. Afinal, as estatísticas e o controle estatal evoluíram de mãos dadas por centenas de anos.

Consideremos a computação. Suas origens foram retraçadas não apenas à filosofia analítica, à matemática pura e a Alan Turing, mas talvez surpreendentemente à história da administração pública. Em “The Government Machine: A Revolutionary History of the Computer” [A máquina de governo: uma história revolucionária do computador], de 2003, Jon Agar, da University College London, ilustra o desenvolvimento do serviço civil britânico, passando de 16.000 funcionários em 1797 para 460.000 em 1999. Ele notou uma estranha semelhança entre o funcionamento da burocracia humana e a do computador eletrônico digital.

Ambos os sistemas processavam grandes quantidades de informação usando uma hierarquia de regras predefinidas, mas adaptáveis. Porém, um precedia o outro. Isso sugeria um vínculo significativo entre a organização das estruturas sociais humanas e os instrumentos digitais projetados para servi-las. Agar traça um vínculo com as próprias origens da computação: o Difference Engine de Charles Babbage nos anos 1820 na Grã-Bretanha. Ele havia sido subsidiado pelo governo, na esperança de que serviria ao seu patrocinador. Os projetos de Babbage, observa Agar, devem ser vistos como “materializações da atividade estatal”.

Essa relação entre sistemas computacionais e estruturas organizacionais humanas ecoa ao longo da história da IA. Nos 1930 e 1940, Herbert Simon, um cientista político da Universidade de Chicago que depois lecionou na Carnegie Mellon University, começou a desenvolver um relato “científico” da organização administrativa.

Simon havia sido aluno de Rudolf Carnap, um membro do Círculo de Viena dos positivistas lógicos. Isso deu forma à sua crença de que as teorias existentes careciam de empirismo. A sua tese de doutorado em 1947 deu origem a “Comportamento administrativo”, um livro que fornecia um quadro através do qual todas as atividades dentro de uma organização podiam ser entendidas usando uma matriz de processos decisórios.

Simon, um pioneiro

Simon continuou fazendo enormes contribuições em uma série de campos – não apenas nas ciências políticas e econômicas, mas também na informática e na inteligência artificial. Ele cunhou o termo “satisficing” [satisfatório] (para aceitar o bom em vez de lutar pelo ótimo) e desenvolveu a ideia de “racionalidade limitada”, pela qual ganhou o Prêmio Nobel de Economia de 1978. Mas, ainda nos anos 1950, Simon era consultor da Rand Corporation, um influente think tank apoiado pela Força Aérea estadunidense.

Na Rand, Simon e dois colegas – Allan Newell, um jovem matemático, e J. Clifford Shaw, um ex-atuário de seguros – tentaram modelar um sistema de resolução de problemas humanos em termos que um computador pudesse fazer operar.

Para fazer isso, Simon tomou emprestados elementos do quadro que ele desenvolvera em “Comportamento administrativo”. Para fazer um computador “pensar” como um humano, Simon o fez pensar como uma empresa.

O produto do trabalho do trio foi uma máquina virtual chamada Logic Theorist, anunciada como o primeiro protótipo em funcionamento de inteligência artificial. As folhas impressas pelo Logic Theorist em operação chamaram muito a atenção no Projeto de Pesquisa de Verão sobre Inteligência Artificial em Dartmouth, em 1956, o evento que deu nome ao campo e reuniu seus primeiros membros. Nas notas do congresso de Dartmouth, um participante escreveu que o Logic Theorist ajudou a resolver o temido problema de fazer uma demonstração aos patrocinadores: isso era algo essencial, porque a fundação que financiava a IA era cética de que a pesquisa na área valesse a pena.

Um ano após o congresso de Dartmouth, Simon e Newell apresentaram seus resultados como “Heuristic Problem Solving: The Next Advance in Operations Research” [Solução de problemas heurísticos: o próximo avanço na pesquisa operacional]. A pista está no título: a “pesquisa operacional” surgiu na Grã-Bretanha durante a Segunda Guerra Mundial para aplicar princípios científicos e estatísticos a fim de otimizar as atividades militares e, posteriormente, para os usos empresariais. Portanto, IA significava negócios.

A pesquisa operacional é o ramo da matemática aplicada em que problemas decisórios complexos são analisados e resolvidos mediante modelos matemáticos e métodos quantitativos avançados como suporte para as próprias decisões.

Em um discurso aos profissionais da pesquisa operacional em Londres em 1957, Simon identificou Frederick Taylor, o pai do movimento de gestão científica, e Charles Babbage como os antecessores intelectuais desse campo.

“Os físicos e os engenheiros elétricos tiveram pouco a ver com a invenção do computador digital”, disse Simon. “O verdadeiro inventor foi o economista Adam Smith.” Ele explicou as conexões: Gaspard de Prony, um engenheiro civil francês, começou a “fabricar” logaritmos usando as técnicas tiradas de “A riqueza das nações”, de Smith. Babbage, inspirado em Prony, converteu essa intuição em hardware mecânico. Em meados dos anos 1950, Simon transformou-o em código de software.

A tradição continua. Muitos sistemas de inteligência artificial contemporânea não imitam tanto o pensamento humano, mas sim as mentes menos imaginativas das instituições burocráticas; as nossas técnicas de aprendizagem automática costumam ser programadas para alcançar uma escala, velocidade e precisão sobre-humanas em detrimento da originalidade, da ambição ou da moral de nível humano.

O capitalismo está no código

Esses fluxos da história da IA – a tomada de decisão empresarial, o poder estatal e a aplicação da estatística à guerra – não sobreviveram na compreensão pública da IA.

Em vez disso, as notícias de descobertas técnicas ou de especialistas que expressam temores sobre a IA são acompanhadas por um imaginário, senão de um Exterminador do Futuro fortemente armado, de cérebros, robôs, microchips neons coloridos ou equações matemáticas absurdas. Cada uma dessas imagens é um apelo nem tão sutil à autoridade das ciências naturais ou da informática sobre, por exemplo, a das ciências “soft”, para tomar emprestada a terminologia de Simon, como as ciências políticas, as ciências da administração ou mesmo a economia, o campo para o qual ele foi chamado a Estocolmo para receber seu Prêmio Nobel.

Talvez por causa dessa impressão equivocada, continuam hoje os debates públicos sobre qual valor, se é que há algum, as ciências sociais poderiam oferecer para a pesquisa em inteligência artificial. Segundo Simon, a própria IA nasceu nas ciências sociais.

David Runciman, cientista político da Universidade de Cambridge, defendeu que, para entender a IA, devemos primeiro entender como ela opera dentro do sistema capitalista em que está inserida. “As empresas são outra forma de máquina pensante artificial, pois elas são projetadas para serem capazes de tomar decisões sozinhas”, explica ele.

“Muitos dos medos que as pessoas têm agora sobre a próxima era dos robôs inteligentes são os mesmos que elas tinham em relação às empresas durante centenas de anos”, diz Runciman. A preocupação é que se trata de sistemas que nós “nunca aprendemos realmente a controlar”.

Após o vazamento de petróleo da BP em 2010, por exemplo, que matou 11 pessoas e devastou o Golfo do México, ninguém foi preso. A ameaça contra a qual Runciman adverte é que as técnicas de IA, como manuais para fugir da responsabilidade empresarial, serão utilizadas impunemente.

Hoje, pesquisadores pioneiros como Julia Angwin, Virginia Eubanks e Cathy O’Neil revelam que os vários sistemas algorítmicos calcificam a opressão, corroem a dignidade humana e minam mecanismos democráticos básicos como a responsabilização, quando projetados de modo irresponsável. O dano não precisa ser deliberado; conjuntos de dados distorcidos usados para treinar modelos preditivos também provocam o caos. Dado o dispendioso trabalho exigido para identificar e enfrentar esses danos, pode ser que algo como “a ética como um serviço” emerja como uma nova forma de trabalho a domicílio. Cathy O’Neil, por exemplo, administra agora o seu próprio serviço de auditoria de algoritmos.

Nos anos 1950, depois de cunhar o termo “inteligência artificial” para o congresso de Dartmouth, John McCarthy, um dos primeiros pioneiros do campo, escreveu em suas anotações: “Uma vez que um sistema de epistemologia seja programado e funcionar, nenhum outro será levado a sério, a menos que também leve a programas inteligentes”. A partir desse ponto de vista, o slogan da DeepMind [empresa britânica com foco em máquinas de inteligência artificial], “Resolva a inteligência. Use-a para resolver todo o resto”, parece quase imperativo.

A sugestão de McCarthy era de que influência, e não a autoridade, poderia decidir o consenso científico no seu campo. A DeepMind não deve “resolver” a inteligência (supondo que isso seja até possível), deve apenas ofuscar a concorrência. Hoje, existe um novo slogan da DeepMind: “Resolva a inteligência. Use-a para tornar o mundo um lugar melhor”. Isso sugere que a DeepMind também está ciente da necessidade da diplomacia na visão de totalidade fortalecida pela IA desta era.

Stephen Cave, diretor do Leverhulme Center for the Future of Intelligence, demonstrou que a definição de inteligência tem sido usada ao longo da história como instrumento de dominação. Aristóteles apelou à “lei natural” da hierarquia social para explicar por que mulheres, escravos e animais deviam ser subjugados por homens intelectuais. Para fazer as contas com esse legado de violência, a política da agência corporativa e computacional deve fazer as contas com questões profundas decorrentes dos estudos sobre raça, gênero, sexualidade e colonialismo, entre outras áreas de identidade.

Uma promessa central da IA é que ela permite a categorização automática em larga escala. A aprendizagem automática, por exemplo, pode ser usada para distinguir um tumor cancerígeno de um benigno. Essa “promessa” se torna uma ameaça se for dirigida às complexidades da vida cotidiana. Os rótulos negligentes podem oprimir e fazer mal quando afirmam uma falsa autoridade. Para protestar contra os rótulos inadequados que são usados para “conhecer” o mundo, muitos jovens hoje desafiam com orgulho as categorizações indesejadas, sejam elas as opções de gênero ou sexuais tradicionais.

Máquinas que repensam

Pode surpreender que faltem estudos sobre as histórias sociais, materiais e políticas sobre as origens da inteligência artificial. Com efeito, muito foi escrito sobre a história da IA – por Simon em 1996 e por Newell em 2000, entre outros. A maior parte dessas histórias, no entanto, segue um esquema estreito, vendo-a “principalmente em termos intelectuais”, nas palavras de Paul Edwards, um historiador das tecnologias da informação.

As duas histórias quase oficiais da IA são, cada uma, uma história de ideias: “Machines Who Think” [Máquinas que pensam], de Pamela McCorduck, que “forjou o modelo para a maioria das histórias posteriores” após a sua publicação inicial em 1979; e “AI: The Tumultuous History” [IA: a história tumultuada], de Daniel Crevier, publicada em 1993. Ambos os livros se baseavam principalmente em entrevistas em profundidade com pesquisadores-chave para construir suas narrativas.

Nenhum deles, talvez como resultado, procurou entender a IA no seu contexto mais amplo, inserida na ascensão da pesquisa operacional, da “big science” [grande ciência], das ciências atuariais e do financiamento militar estadunidense do como ele evoluiu a partir da Segunda Guerra Mundial. Expulsa dessas histórias, a IA pode parecer separada do seu contexto histórico e político.

Sem esse contexto, a IA também pode parecer separada dos sistemas de conhecimento que a criaram. No seu discurso de 1957 aos profissionais da pesquisa operacional, Simon celebrou a diversidade do passado do campo da IA. Ele descreveu as contribuições dos tecelões franceses e dos mecânicos do tear de Jacquard, além de Smith, Prony, Babbage e seus pares nas ciências “soft” nos termos de uma “dívida” crescente que ainda precisa ser paga.

O fato de que um novo conhecimento pode nascer tão inesperadamente e em tantos lugares era o que empolgava Simon com o seu trabalho – e isso pode nos estimular a pensar do mesmo modo hoje. A IA moderna pode fazer mais do que espelhar o dogma organizacional que caracterizou o seu nascimento. Ela pode também refletir a nossa humanidade.