As tecnologias são majoritariamente produzidas por pessoas que têm raça e classe bem definidas e, geralmente, compreensões de mundo distintas em relação a pessoas negras. Na prática, mesmo que essa tecnologia erre, ela está acertando alguém, de um grupo muito bem definido, perpetuando o processo de persecução penal de pessoas negras e de superencarceramento dessa população no Brasil.

Doutora em Direito pela PUC-Rio e professora de Direito Digital no IDP Brasília, Bianca Kremer defende a necessidade da criação de um amparo legal que defenda os direitos das minorias e permita mais transparência em tecnologias que usem internet e bancos de dados para seu funcionamento.

A entrevista é de Fernanda Pardini Ricci e Maíra Torres, publicada por ComCiência, 12-12-2022.

Eis a entrevista.

Você já afirmou que a opacidade algorítmica e dificuldade de treinamento das tecnologias podem replicar lógicas que reforçam as desigualdades e o racismo estrutural. Como os algoritmos podem ser discriminatórios?

Os algoritmos funcionam com reconhecimentos de padrões a partir de grandes bancos de dados. Quanto mais automatizado for esse aprendizado, mais autonomia há em relação à interferência humana direta no seu funcionamento. Precisamos de um olhar mais atento aos efeitos sociais dessa tecnologia, porque ela não será experimentada da mesma maneira por todas as pessoas. Vivemos em uma sociedade rompida pela lógica da colonialidade, por dinâmicas hierárquicas sociais que geram diferença de experimentação, especialmente se considerarmos categorias de opressão, como gênero, raça, classe, sexualidade e deficiência.

Qual a origem do problema?

Quando usamos a internet, especialmente dentro das plataformas digitais (como as redes sociais), temos uma dinâmica de relações que privilegia os interesses de mercado. Isso passa a perpetuar nas redes dinâmicas de poder muito bem definidas. Há muito tempo temos essa lógica de que aquilo que é rentável e comercializável tem cor, raça, e gênero muito bem definidos socialmente. É o fenômeno da plataformização da vida.

O objetivo central das plataformas digitais e da forma como a internet vem sendo capturada é a propaganda. As plataformas não são amiguinhos, são um modelo de negócio, e para se tornarem rentáveis é importante que estejamos cada vez mais presentes nelas. Se determinados corpos não representam rentabilidade expressiva, eles serão excluídos dessa lógica de enunciação, de vontades, de expressão de beleza e presença.

Pensando no campo da inteligência artificial e da necessidade de inclusão, em que situações as pessoas costumam ser prejudicadas por esse tipo de tecnologia, como o reconhecimento facial, por exemplo?

O reconhecimento facial tem sido utilizado não só pelo setor público para segurança e persecução penal, como pelo setor privado, para autenticação de identidades em aplicativos. A crítica não é o uso da tecnologia em si, mas ao mau uso do reconhecimento facial, quando ele é produzido para uma finalidade e acaba sendo experienciado de uma forma que produza violências, sobretudo de raça. Por exemplo, quanto o uso no setor da segurança pública não tem reiterado a construção de um arquétipo criminoso? Há uma falta de transparência muito grande sobre a composição dos grandes bancos de dados policiais.

Essas tecnologias não são seguras para a população porque reproduzem binarismos. As pessoas trans, quando são identificadas ou autenticadas nas suas biometrias pelos espaços públicos, estão muito mais submetidas a processos de violência das suas identidades, em comparação a pessoas cisgêneras. Têm questionada a sua identidade de gênero em diversos espaços, e essas tecnologias reforçam a cisheteronormatividade que as impedem não apenas de acessar produtos e espaços como também reiteram a violência que sofrem.

Por que a chance de erro ao usar tecnologia de reconhecimento facial pela polícia é maior com pessoas negras?

Essas tecnologias são majoritariamente produzidas por pessoas que têm raça e classe bem definidas e, geralmente, compreensões de mundo distintas em relação a pessoas negras, criadas a partir de um outro lugar. Os brancos não experienciam as dinâmicas de violência da mesma maneira que os negros. E isso vale não apenas para o Brasil, mas no mundo. Na prática, mesmo que essa tecnologia erre, ela está acertando alguém, de um grupo muito bem definido, perpetuando o processo de persecução penal de pessoas negras e de super encarceramento dessa população no Brasil.

As tecnologias erram mais com a identificação de rostos negros porque são produzidas por pessoas brancas. O índice de acerto de identificação é muito menor em porcentagem em comparação a pessoas brancas, como mostram estudos internacionais. Ao mesmo tempo, nós também absorvemos e adquirimos tecnologias produzidas no norte global para funcionar no sul, com outros rostos e outras dinâmicas de poder no contexto social. Isso nos leva a questionar qual a finalidade da adoção dessas tecnologias, se elas de fato se traduzem em maior segurança para as atividades policiais. Há maior segurança para quem?

Há um projeto de lei do estado de São Paulo (PL nº 385 /2022) para proibir o uso de tecnologia de reconhecimento facial pelo poder público. O que pensa sobre iniciativas como essa?

Não temos uma legislação que permita expressamente o uso de tecnologias dessa natureza pelo setor público, especialmente no campo da segurança. Temos, no entanto, a LGPD, que não proíbe o uso, mas traça diretrizes para dar maior segurança em relação ao tratamento dessas informações pelos setores públicos e privados. Questões relacionadas à segurança e defesa nacional vão precisar de uma regulação específica. Então, diante desse silêncio da lei, temos uma adoção cada vez maior dessas tecnologias, sem regulamentação e aferição dos riscos para a população, especialmente para os grupos marginalizados.

Essa vigilância massiva da sociedade dentro de uma lógica conservadora bastante problemática favorece um ecossistema político e jurídico muito policialesco e que se coloca acima de direitos fundamentais e da dignidade das pessoas. É difícil ver um panorama em que esses projetos de leis, de fato, vão produzir frutos robustos na sociedade como um todo.

Quais são as dificuldades da área do direito junto à governança para combater ou evitar essas discriminações provocadas pelos algoritmos?

A governança da internet surgiu no cenário internacional, num contexto de internet dominado por grandes empresas estadunidenses. Considerando isso, em que medida ela consegue produzir efeitos para salvaguardar direitos, em comparação à perpetuação de interesses de grandes conglomerados econômicos? Em que medida somos atores dentro desse cenário ou mera mão de obra dando espaço para que essas empresas continuem nesse patamar de influência no espaço digital?

A governança da internet tem muito a avançar no mundo. No Brasil, ela não é tão expressiva para garantir os interesses de toda a coletividade. Há um comitê gestor, o CGI, que representa o país não apenas em questões de infraestruturas, funcionamento da internet, como também de propagação e difusão da internet em todos os espaços da sociedade. Ele é majoritariamente composto por homens, brancos, acima de 50 anos. São apenas três mulheres, brancas – Tanara Launcher, Bia Barbosa e Laura Tresca. Elas são silenciadas nas reuniões e têm diminuídas as suas expressões quando há o debate de gênero, e até mesmo de raça e classe, no acesso à internet e na governança. Temos ampliado a participação feminina a passos lentos.

E, para avançar, o debate precisa ser racializado, não apenas no caráter da teorização, mas para entender quais são as necessidades das populações ribeirinhas, afro, indígenas e quilombolas, porque essas são as pessoas que menos têm acesso à internet ou à internet de qualidade.

Qual o cenário legal atual sobre o embate entre direito à privacidade e o uso de inteligências artificiais, como o reconhecimento facial?

Hoje temos a tramitação do projeto da Lei Geral de Proteção de Dados Penal para regular o uso de tecnologias pelos órgãos de segurança pública, processos de regulação de plataformas como o das fake news, e outros projetos que tangenciam a regulação desses meios em diversos aspectos do seu funcionamento, seja no caráter concorrencial ou de coibição de desinformações.

Temos ainda reformas no Código de Processo Penal em trâmite, sobretudo ao acesso e uso de prova de digitais no ambiente judicial e administrativo, no campo da persecução penal, da segurança pública e das investigações criminais. Por fim, existe também uma comissão de juristas que está desenvolvendo um substitutivo de lei para ter um marco legal da inteligência artificial, regulando seus usos no Brasil.

Leia mais 

• O algoritmo das desigualdades
• Algoritmos e inteligência artificial podem promover racismo no Brasil
• Direitos na era do algoritmo. Entrevista com Andrés Gil Domínguez
• Da necropolítica social à necropolítica digital: as mil faces do racismo algorítmico. Entrevista especial com Tarcízio Silva
• Inteligência artificial, branquitude e capitalismo: entrevista com Yarden Katz
• Tecnologia de controle social, baseada em inteligência artificial, já está presente em 75 países
• A vigilância em massa é o grande problema do nosso tempo. Entrevista especial com Marcelo Branco
• Os monopólios digitais e a espiral da vigilância comercializada. Entrevista especial com Jonas Valente
• Contra a servidão ao algoritmo, o cooperativismo de plataforma. Entrevista especial com Trebor Scholz