Yarden Katz é pesquisador do departamento de sistemas biológicos da Harvard Medical School. Doutor em ciências cognitivas pelo MIT, investiga intersecções entre cognição e biologia, com interesse também em história, filosofia e política da ciência.
Ele lançou em 2020 o livro Artificial Whiteness: politics and ideology in artificial intelligence. Na obra, ele debate como a inteligência artificial serve à supremacia branca e que ela sempre foi um projeto também político, desde a Guerra Fria até os entusiastas atuais do Vale do Silício. Critica também os reposicionamentos da IA a serviço de projetos capitalistas com a criação de fundações e institutos como AI Now. Além disso, o livro mostra como a IA reforça modelos epistêmicos de uma supremacia branca masculina com uma visão de mundo imperialista e que é necessário visibilizar as conexões entre IA e branquitude.
Em entrevista ao DigiLabour, Yarden Katz fala sobre:
• Problemas dos discursos sobre vieses na IA;
• IA, raça e branquitude;
• Relações entre universidades e o reposicionamento da IA;
• Lógica carcerária-positiva e o papel de fundações e institutos como AI Now;
• Trabalho humano, colonialidade e ideologia da universalidade na IA;
• Como confrontar a IA como tecnologia da branquitude.
A entrevista é publicada por DigiLabour, 16-02-2021.
O argumento de que a inteligência artificial está articulada ao império e ao capital parece óbvio, mas o seu livro revela algo mais poderoso. Em quais sentidos o seu trabalho se diferencia de outras perspectivas sobre IA, como os que enquadram questões de vieses e diversidade, por exemplo?
Para começar, recuso-me a aceitar “inteligência artificial” como um conceito pronto. O livro confronta a suposição de que a “IA” está revolucionando tudo e que deve ser analisada ou gerida como se fosse uma força tecnológica coerente. Eu também não vejo a “IA” como uma tecnologia no sentido liberal, significando algum instrumento técnico (uma técnica de computação, neste caso) com múltiplos usos.
Portanto, este livro não é sobre “ética e vieses da IA”, mas sim sobre como surgiram indústrias como aquelas em torno de “ética e vieses da IA”. Por que essas iniciativas e esses discursos se tornaram-se tão populares? Por que todos, de corporações aos militares, de governos repressivos a jornalistas e várias organizações sem fins lucrativos, estão tão interessados nisso? Quais agendas são atendidas por essa preocupação com a “IA”? E quais conversações são silenciadas por essa indústria barulhenta?
Como argumento no livro, a perspectiva do viés serve ao poder estatal e corporativo. Essa visão obscurece a violência histórica e institucional e, em vez disso, direciona nossa atenção para “máquinas” ou “algoritmos”. Por exemplo, em vez de perguntar por que existe uma vasta indústria público-privada em torno das prisões e do encarceramento, em primeiro lugar, os especialistas em IA perguntam: esses sistemas são “enviesados” contra negros? E isso é melhor do que os chamados julgamentos “artesanais” dos tribunais de justiça?
A virada para a questão do viés esconde a violência, as instituições que a possibilitam e sua longa história – uma história que antecede os computadores, obviamente.
A perspectiva do viés é boa para a classe de especialistas profissionais que deseja sua parte no grande bolo da IA. Eles podem arrecadar muito dinheiro para pesquisas sobre os vieses da IA e chamar a atenção da mídia para isso. Uma vez que o conceito é, e – como eu argumento – sempre foi nebuloso e mutante, você pode colar “IA” em qualquer coisa. Assim, os especialistas podem dizer que estão fazendo “IA e X” (onde X poderia ser policiamento, jornalismo, segurança nacional, meio ambiente, etc.). E isso nos leva a muitas pequenas indústrias em torno do “viés”, da “justiça” e da “transparência” em relação à IA nos círculos acadêmicos e políticos onde corporações como Google e Microsoft há muito dominam. Os especialistas podem debater se esse algoritmo é mais ou menos “justo” do que aquele, sem perguntar se a computação deveria ter alguma função, muito menos questionar o envelope institucional em que a computação é aplicada. Esses discursos dançam em torno da verdade óbvia de que algoritmos são inertes. Eles não podem pular do computador e jogar alguém na prisão. E os computadores sempre podem ser desconectados.
A preocupação com o viés, então, desvia de questões fundamentais como: por que estamos falando sobre “IA” tão repentinamente? E por que todas as fundações e corporações e os governos nefastos estão tão interessados em financiar todos esses centros e especialistas em IA? E o viés é um quadro útil, ou esconde mais do que ilumina?
E em relação à raça?
Meu argumento mais amplo no livro é que a própria IA, como um conceito e conjunto de discursos, é flexível e mutável, bem como a ideologia da branquitude. Eu me baseio na ideia de Cedric Robinson de que as sociedades baseadas na supremacia branca (ou, de forma mais geral, o que ele chama de “regimes raciais”) são uma “colcha de retalhos improvisada”, adaptando-se continuamente às novas condições e desafios dos movimentos sociais.
A IA, na minha opinião, deve ser vista por meio dessa lente. A IA é nebulosa e mutável, assim como as hierarquias e categorias raciais, continuamente adaptadas por especialistas para atender aos objetivos do império e do capital de maneira a sustentar a supremacia branca. O que conta como “IA” muda consideravelmente se olharmos em termos de como os sistemas de computação são construídos, mas a prática de apresentar a IA como algo que pode servir aos interesses imperiais e capitalistas é constante. Além disso, ao longo de sua história, a IA produziu modelos racializados, de gênero e classe do self humano, muito parecidos com as ciências raciais anteriores (seja antropometria, frenologia ou eugenia). E a IA herda todas as falhas racistas de concepções anteriores de “inteligência” (brilhantemente criticadas por escritores como Stephen Jay Gould). Ao mesmo tempo, por meio da linguagem da computação, a IA também foi pioneira em novas maneiras de nos dizer o que o ser humano inteligente “universal” deve ser.
É por isso que argumento que a IA é uma tecnologia da branquitude em dois sentidos: é uma ferramenta que serve a uma ordem social baseada na supremacia branca, mas também imita a forma da branquitude como uma ideologia por ser dinâmica, mutante e incoerente em seu núcleo.
Qual é o papel da universidade em reposicionar a IA em contexto de neoliberalismo e “ciência empreendedora”?
As universidades desempenham um papel importante no avanço das visões neoliberais, e a própria universidade está passando por uma reestruturação neoliberal, assim como outras instituições. Pelo modelo neoliberal, um cientista ou acadêmico deve ser um “empreendedor”: um criador de portfólio individual, que busca maximizar seu impacto atendendo às necessidades do mercado e forjando constantemente novas parcerias entre fontes de financiamento estaduais, corporativas e acadêmicas.
A maneira como a universidade adotou a “IA” é um excelente exemplo desse espírito empreendedor. A “IA” dá um novo brilho ao trabalho que já estava ocorrendo com rótulos como “big data”. Para os acadêmicos empreendedores, esse rebranding é uma oportunidade de obter financiamento e criar novos centros em parcerias com empresas, militares e o Estado. Também é uma maneira útil de domar o entendimento público de que o que as empresas chamavam de “big data” (prometendo democratizar o mundo ou o que seja) era, na verdade, um sistema de vigilância e controle em massa – como os vazamentos de Edward Snowden em 2013 ajudaram a revelar. A virada para a “IA” ajudou a distrair temporariamente dessa perspectiva crítica, e a mídia acaba por reciclar clichês sobre robôs.
As universidades lucraram com esse rebranding porque isso permitiu novas oportunidades de financiamento de corporações e doações de milionários, bem como novos caminhos para publicações e influência, tudo sob a bandeira da “AI”. Parênteses: quando eu digo que as universidades lucram, são as elites universitárias as que realmente lucram, não os alunos ou a comunidade em torno. Assim, as universidades ajudaram a criar a sensação de que a “IA” é uma nova força que está remodelando o mundo, enquanto as iniciativas em torno da IA incorporam o modelo empresarial de produção de conhecimento. Ao mesmo tempo, nos trabalhos que vem dessas iniciativas corporativas-acadêmicas, a “IA” é frequentemente usada como pretexto para prescrever políticas neoliberais em outros lugares – por exemplo, no que diz respeito ao trabalho ou ao Estado de bem-estar.
E como enfrentar isso?
É uma questão importante. A universidade, tal como está, é basicamente projetada para impedir que aconteça o que Harney e Moten chamam de “estudo”. Entre os que insistem em estudar, há algumas discussões interessantes sobre a abolição da universidade. Esses movimentos são inspirados por uma tradição abolicionista. A ideia, a meu ver, é eliminar as condições em que a universidade que temos agora – profundamente entrelaçada com guerra, imperialismo, racismo e exploração – cresceu, e desmantelar os próprios sistemas de policiamento, ranqueamento e individuação.
O que você chama de lógica carcerária-positiva e qual o papel de institutos como AI Now e Data & Society em reproduzir essa lógica?
A lógica carcerária-positiva é uma lógica que não desafia fundamentalmente o estado carcerário, mas, em vez disso, dá a ele um verniz progressista. É diferente do que a maioria das pessoas pensaria como discursos “pró-carcerários”, como Donald Trump clamando por “lei e ordem” e para os manifestantes políticos serem espancados, ou Jair Bolsonaro ansiando pelos dias de ditadura no Brasil. Tudo isso é abertamente pró-polícia, pró-prisões.
A lógica carcerária-positiva, por outro lado, incluiria coisas como tornar o software de reconhecimento facial das empresas com “menos viés” contra as comunidades marginalizadas – ao apresentar isso como um projeto de justiça social que tenta ser “interseccional” com respeito a raça, gênero e classe. Quaisquer que sejam as intenções dos indivíduos que fazem este trabalho, esse argumento tem consequências prejudiciais. Ele sugere que os sistemas podem ser mais igualitários ou meramente garantir que os produtos da computação – desenvolvidos para encarceramento e vigilância – sejam melhores em reconhecer aqueles que são mais criminalizados. Na verdade, o Google tem perseguido negros sem teto em Atlanta a fim de coletar dados com menos vieses raciais. E uma empresa que fornece reconhecimento facial ao governo israelense para rastrear palestinos fez um argumento semelhante para seus produtos. Portanto, as empresas estão adotando esse argumento do viés, e os acadêmicos que trabalham ao lado das empresas enquadraram a redução do viés como um passo em direção à justiça social.
Os think tanks que você mencionou contribuem para essa linha de trabalho (embora não sejam de forma alguma os únicos). É importante notar que tais centros, que dominam a discussão sobre “IA” e “big data”, são basicamente construções corporativas. Eles estão incorporados e patrocinados pelo mundo da computação corporativa, um mundo que aparentemente estão lá para criticar. Sua cultura, suas táticas e seus métodos são corporativos. Esses centros nos oferecem o mesmo velho modelo neoliberal de “parcerias” e “stakeholders”, segundo o qual conectar as armas às empresas e ao Estado é sempre benéfico. Portanto, embora recentemente eles afirmem estar lutando por justiça social, seu trabalho, suas omissões e suas análises contam uma história diferente.
Quando se trata de violência estatal carcerária, as propostas desses centros não questionam o sistema carcerário, e na prática até implicam em aumentá-lo – por exemplo, solicitando que mais dados sejam coletados e que os dados sejam “auditados” por especialistas interdisciplinares. Essas propostas estendem a esfera de influência dos especialistas: uma vez que a IA é aparentemente usada em todos os lugares, os novos especialistas em IA devem ser chamados para auditar, supervisionar, curar e gerenciar esses aplicativos. E, fiéis ao modelo neoliberal, esses centros promovem mais conexões entre academia, governos e indústria. Tudo isso praticamente garante que o complexo industrial em torno da prisão não será enfrentado.
Outro problema com esses centros é como eles cooptam e sequestram iniciativas de ativistas, abafando as suas vozes quando se trata de tópicos como o encarceramento. Meu livro foi escrito antes do imenso levante do ano passado contra a violência carcerária do Estado e pela vida das pessoas negras, antes dos assassinatos de George Floyd e Breonna Taylor. De muitas maneiras, o problema da cooptação piorou desde então.
Este é um ponto em que podemos ver como a IA muda, como o regime racial de Robinson, adaptando-se em resposta às lutas sociais. Então, inicialmente, falou-se muito sobre como a “IA” nos libertaria do trabalho e tornaria todos ricos. Isso ainda está acontecendo, mas a camada da “ética” também foi adicionada, juntamente com debates abstratos sobre robôs substituindo pessoas ou enigmas éticos decorrentes de carros autônomos (e outros problemas que os filósofos gostam). Ainda ouvimos muito sobre “ética”, mas depois o “viés” assumiu um lugar mais proeminente – especialmente “viés racial” e “viés de gênero”. Agora, conforme as lutas globais contra o encarceramento se intensificam, a conversa sobre “viés” está perdendo força porque é claramente inadequada para descrever este mundo violento – e assim os especialistas em IA estão se voltando para o “poder”. Então, mais recentemente, não se trata de ser “ético” ou “sem viés”, mas sim sobre a distribuição de “poder”. Mas simplesmente substituir “viés” por “poder” não muda nada se você não levantar as questões mais fundamentais sobre IA e as instituições que a sustentam. Eu vejo todos esses exemplos como adaptações da IA.
Para dar um exemplo em relação à adaptação: lembre-se de que os especialistas falaram do “viés racial” nos sistemas de reconhecimento facial e inicialmente pediram que eles fossem “consertados” – para que o sistema não tivesse preconceito contra, digamos, mulheres negras. Mas, na verdade, foram os ativistas em várias cidades que disseram: não, não queremos reconhecimento facial de forma alguma, queremos bani-lo. Em seguida, os especialistas tiveram que mudar de opinião e apoiar o movimento pela proibição.
No entanto, essa mudança nas atitudes dos especialistas tem limites. A Electronic Frontier Foundation (EFF), por exemplo, ainda se recusa a apoiar a proibição do uso “privado” de software de reconhecimento facial. A linguagem da EFF é reveladora: eles escrevem que os softwares de reconhecimento facial podem amplificar o “viés carcerário” (e insiste nas oportunidades oferecidas pelas “tecnologias emergentes”). O que está sendo desafiado aqui, novamente, não é o sistema de encarceramento, mas sim os métodos pelos quais o Estado decide quais pessoas serão colocadas em prisões.
O ponto é que, havendo muita resistência, os especialistas do mundo sem fins lucrativos podem ser forçados a se adaptar. A adaptação também pode significar a cooptação de movimentos ativistas. Recentemente, especialistas nos Estados Unidos estão adotando o rótulo de “abolição”, depois de décadas de ativismo que o tornaram mais palatável no mainstream.
Há um trabalho brilhante de grupos como INCITE! sobre como esse “complexo industrial sem fins lucrativos” – composto de fundações (como a Fundação Ford), universidades e organizações sem fins lucrativos – cooptou movimentos sociais radicais. Os think tanks dedicados à “IA” ou aos “dados” de alguma forma representam as piores características do complexo industrial sem fins lucrativos. Esses centros estão totalmente distantes de qualquer coisa real. Eles não prestam contas a ninguém, exceto seus financiadores e as elites que atuam em seus conselhos. E é por isso que eles só podem se comprometer com generalidades que parecem neutras, como estudar as “implicações sociais da tecnologia”.
Há muito a ser aprendido aqui com os grupos que lutaram com as contradições de operar dentro do complexo industrial sem fins lucrativos. Como argumenta Ruth Wilson Gilmore, “se os ativistas contemporâneos estão procurando por uma forma pura de fazer as coisas, eles deveriam parar de fazer isso”. Não existe uma “estrutura organizacional” que seja inerentemente sintonizada com a libertação. Essencialmente, todos os que trabalham nesses espaços são cúmplices (em vários graus, é claro). As questões colocadas por grupos como o INCITE! são: como você se mantém fiel a uma tradição e a um processo abolicionista e presta contas a uma comunidade enquanto trabalha nessas estruturas comprometidas? Como você navega por essas contradições? Esses ativistas levantam constantemente essas questões e constantemente renegociam os termos de seu compromisso. Este é um nível de consideração que não se encontra nesses centros de “IA” precisamente porque esses centros são consequências da esfera corporativa-estatal-militar da computação.
Você descreve três falsificações epistêmicas nas histórias da IA. Uma delas é a representação de uma “inteligência” universal não marcada por contextos sociais e políticos. E você também afirma, em consonância com outras pesquisas, que o trabalho humano em plataformas como Amazon Mechanical Turk e outras não é universal. Quais as relações entre trabalho humano, colonialidade e ideologia da “universalidade” na IA?
Há várias camadas. Em primeiro lugar, como sabemos, esses sistemas de computação dependem de trabalho humano. Há o trabalho explorado que é usado para gerar o conjunto de dados, um ponto que tem recebido muita atenção. A dependência do trabalho humano é também o lugar onde a ideia da “universalidade” desmorona. Ou seja, dependendo de quem anota os dados, o sistema de computação produzirá resultados diferentes. O contexto social é importante. Além disso, há também o trabalho (às vezes forçado) que envolve a criação de sistemas de computação e gadgets.
Em segundo lugar, as principais corporações transnacionais podem extrair esse trabalho e recursos por causa das relações imperiais-coloniais existentes. Há um trabalho importante sendo feito em relação a isso, mostrando como as relações coloniais continuam a se manifestar por meio de sistemas e serviços de computação. Por exemplo, corporações como o Google assumem as indústrias locais e forçam seus produtos e serviços no Sul Global, extraindo riqueza e exercendo influência de uma forma que não seria possível sem as relações coloniais-imperiais existentes entre o Norte e o Sul globais, ou entre os Estados Unidos e grande parte do resto do mundo.
Finalmente, e ironicamente, a recente onda por uma “IA ética” é promovida e patrocinada por alguns dos piores aproveitadores de projetos imperiais e coloniais, seja Stephen Schwarzman, do grupo Blackstone, ou a empresa de consultoria McKinsey, ou mesmo Henry Kissinger. Eles prometem “fazer o bem” para o mundo a partir de uma “IA ética”, e as universidades de elite abraçam esses patrocinadores e seus planos. Essa configuração ajuda a garantir que tudo o que acontece nos centros de “IA” recém-financiados não desafie a agenda dos patrocinadores. Enquanto isso, continuam os projetos de expropriação e extração de riqueza com investimento das universidades de elite e seus patronos.
Como confrontar a IA como uma tecnologia da branquitude?
Esta é uma pergunta importante, mas não para apenas uma pessoa responder. Cabe a coletivos comprometidos deliberar e planejar, e intencionalmente deixei coisas implícitas e em aberto no livro. Mas vou pontuar algumas ideias.
No livro, sugiro que a recusa e a retirada – inspirando-nos na noção de Audra Simpson de uma “recusa produtiva” de seu brilhante livro Mohawk Interruptus – têm implicações ricas e concretas para a ação futura, se concordarmos que o objetivo é abolir as condições que produziram a “IA”. Eu também sugiro que a recusa em relação à IA é parte de um projeto mais amplo para desmantelar a supremacia branca e o imperialismo e, portanto, esse movimento deve ser baseado nesses esforços mais amplos. Essa também é uma forma de resistir à ideia de que a IA é um desenvolvimento novo e excepcional.
Há uma enorme quantidade de trabalho e reflexão a serem feitos aqui – tanto sobre as formas de recusar e resistir, mas também sobre questões como: o que é “computação”, afinal? O que esperamos obter com isso? Quais formas ela pode assumir, se houver, que sejam compatíveis com as visões de um mundo não violento no qual cuidamos da Terra?
Há várias barreiras para prosseguir com essas conversações de forma séria. Por um lado, o mundo está em chamas e, compreensivelmente, há questões mais urgentes, mesmo que o dano criado por essas iniciativas de computação e as instituições ao seu redor seja maior do que muitos possam pensar. Além disso, qualquer coisa que envolva computação está repleta de propaganda – como evidenciado por quase todos os termos que encontramos neste espaço: “inteligência artificial”, “nuvem”, “big data”, “economia da informação” etc. Há muito a ser historicizado e desaprendido. Por fim, os centros corporativos que eu e outros criticamos dominam a conversação e tentam sequestrar as contracorrentes emergentes. A cooptação é um problema real e os espaços de estudo são sempre contestados.