Tal como os povos têm o direito de se alimentar sem o controle das megacorporações, temos o direito à tecnodiversidade e nossa autodeterminação digital
O direito à soberania alimentar, hoje aparentemente “natural” e óbvio, foi algo lutado e conquistado politicamente pela Via Campesina na década de 1990, reconhecido pela Organização das Nações Unidas – ONU e pelo Banco Mundial. Três décadas depois estamos diante de um desafio semelhante, mas desta vez associado aos direitos digitais.
“Soberania alimentar diz respeito ao direito dos povos e das comunidades comerem, cultivarem e cuidarem de sua alimentação sem o controle das megaempresas multinacionais, sem veneno, de modo agroecológico. As sociedades querem e podem definir o que comer. A soberania digital é a capacidade da nossa sociedade e do Estado definir, governar, e controlar as tecnologias indispensáveis à nossa autodeterminação, à nossa inventividade, tecnodiversidade e desenvolvimento”, afirma o professor e pesquisador Sérgio Amadeu, em entrevista por e-mail ao Instituto Humanitas Unisinos – IHU.
Tal proposição vai na contramão de uma espécie de monocultura do digital, em que todo o esforço das Big Techs é o de captura da psique das pessoas, tornando-as ativos financeiros rentabilíssimos ao grande capital, substituindo a biopolítica pela psicopolítica. “Segundo o filósofo [Byu Chul-Han], ultrapassamos a fase biopolítica, da disciplina do corpo da espécie, da população, agora se atua sobre a mente, sobre a psique, com técnicas de tentar decodificar todos humores e perspectivas a partir da análise preditiva de dados”, explica Amadeu.
O que acontece em nível global ressoa no local. “No Brasil observamos parte dos dirigentes empresárias e políticos de extrema-direita se colocarem contra à construção de regras para enfrentar seus riscos [das redes sociais e tecnologias] e equívocos conhecidos, notórios. Dizem que regular atrapalha a inovação, ou seja, querem a inovação que não mitiga nem mesmo os riscos conhecidos, querem criar aplicativos que não evitam discriminações de gênero, sexo, raça, entre outras violações de direitos. Na sociedade do risco, existe pulsões necropolíticas, existem propostas reacionárias que vão convivendo com as racionalidades erguidas na modernidade”, complementa.
Ao comentar sobre o caso do apagão digital ocorrido em julho passado, quando o Windows corporativo parou de funcionar, afetando milhares de empresas e serviços ao redor do mundo, Amadeu explicou que há um provável erro de treinamento do modelo de aprendizado profundo da máquina. Assim, "quando foi aplicado ao sistema operacional erroneamente travou o Windows por considerá-lo sob ataque. Isso é o que o filósofo Yuk Hui nomeou de catástrofe algorítmica". Falhas como essa indicam que "os sistemas tecnológicos contemporâneos são portadores de catástrofes. Cada vez mais os sistemas de mitigação de tragédias serão os responsáveis pelas falhas e pelos acidentes, como no caso da solução da CrowdStrike, que deveria proteger o sistema operacional contra os ataques, em vez de ser ele o atacante", adverte.
Sérgio Amadeu da Silveira (Foto: Matheus Santos | SMetal)
Sérgio Amadeu da Silveira é graduado em Ciências Sociais (1989), mestre (2000) e doutor em Ciência Política pela Universidade de São Paulo (2005). É professor associado da Universidade Federal do ABC (UFABC). É membro do Comitê Científico Deliberativo da Associação Brasileira de Pesquisadores em Cibercultura (ABCiber). Integrou o Comitê Gestor da Internet no Brasil (2003-2005 e 2017-2020). Presidiu o Instituto Nacional de Tecnologia da Informação (2003-2005). É autor, entre outros, dos livros Tudo sobre tod@s: redes digitais, privacidade e venda de dados pessoais; Exclusão digital: a miséria na era da informação; Software livre: a luta pela Liberdade do conhecimento, entre outros. É pesquisador do CNPq/Produtividade em Pesquisa – 2.
IHU – A questão biopolítica, especialmente a partir de Foucault, mas também em Agamben, está associada à ideia de uma espécie de economia da vida, ou seja, de permitir viver ou deixar morrer. Como hoje as tecnologias são mediadoras do governo da vida?
Sérgio Amadeu – As tecnologias, em geral, integram a regulação efetiva dos processos da vida. Técnicas de exclusão, de subordinação, de extermínio não são feitas apenas por normas e pelas leis, elas compõem também arquiteturas físicas e lógicas, integram modos de conduzir o corpo da espécie ou são pensadas para segregar, confinar ou dão para alguns grupos maiores possibilidades de ação, de visão e de poder sobre os demais. Isso não quer dizer que as tecnologias definam a vida social, mas que as tecnologias, há muito tempo, estão no cerne da estruturação das formas de poder social. Podemos perceber momentos históricos que dadas técnicas e tecnologias adquirem um estágio de aparente neutralidade. Como demonstrou o cientista político Langdon Winner, as tecnologias podem ser criadas com finalidades estritamente políticas ou podem adquirir qualidades políticas em dadas circunstâncias históricas.
O filósofo Byu Chul-Han observa que a intensa digitalização e a conversão contínua dos comportamentos e das ações em dados tem como objetivo adentrar e capturar a psique, por isso, cunhou a expressão psicopolítica. Segundo o filósofo, ultrapassamos a fase biopolítica, da disciplina do corpo da espécie, da população, agora se atua sobre a mente, sobre a psique, com técnicas de tentar decodificar todos humores e perspectivas a partir da análise preditiva de dados. O que chamo de inteligência artificial realmente existente se consolida no tratamento de uma gigantesca e variada base de dados com sistemas algoritmos que rodam em infraestruturas de alto poder computacional que visam a partir dos dados controlar a vida.
Mas nem tudo pode ser algoritmizável, nem toda dimensão qualitativa pode ser expressa em quantidades, nem toda correlação de dados que expressam fenômenos podem explicar as causas dos próprios fenômenos. Gödell já havia provado que sistema formais tem limites e Turing também deixou evidente as fronteiras dos algoritmos. Por isso, não acredito que os dados possam nos dominar. Existe um mercado em torno dessa crença, existe sim a fé na tecnologia, mas as manipulações tecnológicas ilimitadas e a capacidade do tratamento dos dados construir o futuro da certeza total, é mais uma manifestação do sonho capitalista de capitalizar o tempo, a gravidade, para monetizar o universo. O mercado e seus condutores, as atuais classes dominantes, utilizam ainda a alienação técnica para expandir essa crença que Jose Van Dijck chamou de dataísmo. A alienação técnica, expressão de origem Simondoniana, reforça a alienação do trabalho. Ela consiste em considerar as tecnologias mágicas, extrassociais, fora do nosso alcance, algo que não se deve pensar, apenas usar. Assim, retiramos a tecnologia do campo da cultura, como se ela não fosse uma de suas maiores expressões. Isso reforça o poder da Big Techs de desenhar como deve ser as nossas vidas. As corporações vão dominando a gestão das mediações que os produtos e serviços tecnológicos portam para quem os utilizam.
IHU – Um elemento-chave neste contexto é o “risco”, algo que o teórico das mídias Ulrich Beck chamou atenção, precisamente, o que ele denomina “sociedade do risco”. O que são esses riscos e qual o papel das tecnologias na produção deles?
Sérgio Amadeu – Recentemente, em julho de 2024, uma atualização de segurança rotineira do sistema operacional Windows da Microsoft, realizada por uma empresa terceirizada chamada CrowdStrike, paralisou grande parte das operações em nuvem da Microsoft Azure e diversos usuários corporativos que tinham a proteção do CrowdStrike Falcon Sensor. O caso foi conhecido como apagão digital. Provavelmente, a CrowdStrike treinou de modo equivocado um modelo de aprendizado profundo (deep learning) de detecção de ataques. Quando foi aplicado ao sistema operacional erroneamente travou o Windows por considerá-lo sob ataque. Isso é o que o filósofo Yuk Hui nomeou de catástrofe algorítmica.
Yuk Hui escreveu que as catástrofes tecnológicas são falhas da razão, não serão superadas, em vez disso, são cada vez mais incorporadas nos manuais e nos procedimentos de prevenção que probabilisticamente todos sabem que irão falhar. Os sistemas tecnológicos contemporâneos são portadores de catástrofes. Cada vez mais os sistemas de mitigação de tragédias serão os responsáveis pelas falhas e pelos acidentes, como no caso da solução da CrowdStrike, que deveria proteger o sistema operacional contra os ataques, em vez de ser ele o atacante.
Antes de Hui, Ulrich Beck já havia nos alertado que os rumos das tecnologias nos conduziria para uma sociedade do risco em que as catástrofes seriam inevitáveis. Qual o motivo disso? Beck mostra que o ritmo, os objetivos e a organização das tecnologias não poderiam avançar nas direções lançadas pelas indústrias capitalistas sem considerar a falha, o erro, o acidente e o incerto. Beck observou que viveríamos calculando riscos, incorporando esses cálculos em nosso cotidiano e quando a tragédia acontecesse, procuraríamos auditores e especialistas para buscar os culpados.
Mas as contradições sociais e políticas são profundas e tão contundentes que, enquanto vemos a União Europeia tentar regular os sistemas automatizados chamados genericamente de IA, no Brasil observamos parte dos dirigentes empresárias e políticos de extrema-direita se colocarem contra à construção de regras para enfrentar seus riscos e equívocos conhecidos, notórios. Dizem que regular atrapalha a inovação, ou seja, querem a inovação que não mitiga nem mesmo os riscos conhecidos, querem criar aplicativos que não evitam discriminações de gênero, sexo, raça, entre outras violações de direitos. Na sociedade do risco, existe pulsões necropolíticas, existem propostas reacionárias que vão convivendo com as racionalidades erguidas na modernidade.
IHU – Como nas sociedades atuais as tecnologias digitais, especialmente aquelas associadas às grandes corporações de plataformização da vida (Big Techs), impuseram seus modos de gestão de risco?
Sérgio Amadeu – Essa pergunta é fundamental e, ao mesmo tempo, muito difícil de ser respondida. Cada segmento da tecnologia possui seus riscos, erros e a probabilidade de sofrer diversos acidentes e ataques. Mas, vou dar um exemplo, que muito me impressionou nos meus estudos. A dataficação crescente da atualidade realimentou a dinâmica do risco, a tornou indispensável e comercialmente atraente. Uma pesquisa realizada pela Research and Markets estimou que o processo de coleta e análise de dados dos sistemas das aeronaves, AHM, foi de US$ 4,7 bilhões em 2022 e pode atingir US$ 9,7 bilhões até 2030. O monitoramento em tempo real dos componentes do avião é descritivo, preditivo e prescritivo. Os modelos de aprendizado de máquina, a principal técnica em uso da IA, são treinados para estimarem os riscos de falhas a cada momento e fazer dessa dinâmica um mercado bilionário. Um voo de uma hora gera aproximadamente entre 5 a 10 Terabytes de dados que são armazenados em tempo real. Isso permite, que a manutenção preventiva das aeronaves seja realizada no dispositivo certo e com menor perda de tempo e maior precisão.
Outro exemplo, está na plataformização do campo. As big techs estão espalhando sensores nas terras e contratando satélites para tentar cominar dados e dominar as previsões de tempo, colheita, umidade da terra, estimativas de colheita, etc. A finalidade é reduzir o máximo a incerteza e dominar as forças da natureza a partir do conhecimento dos dados. Ian Hacking, no livro "The Taming of Chance", descreveu que no século XIX ocorreu o deslocamento dos usos da probabilidade em jogos de azar para sua crescente importância para a ciência e para a administração pública e privada. Foucault já havia mostrado que o disciplinamento do corpo, a emergência da biopolítica se dava com incorporação da estatística como fundamental para a governamentalidade liberal do século XIX. A partir da perspectiva foucaultiana, Hacking historicizou a incorporação da ideia de que a incerteza e a probabilidade são partes inerentes da realidade. Elas devem ser conhecidas e controladas. O capitalismo as tornou lucrativas. Por isso, as Big Techs não param de coletar dados de todas as pessoas possíveis no planeta. Querem predizer o seu comportamento a partir das estatísticas que hoje está sendo chamada de IA ou aprendizado de máquina.
IHU – Em que sentido as catástrofes tecnológicas são, ao mesmo tempo, criadas e solucionadas por meio de suas falhas (falhas da razão diria Yuk Hui)? Por que isso torna as catástrofes inevitáveis?
Sérgio Amadeu – No meu modo de ver, o filósofo Yuk Hui argumenta que os desenvolvedores dos sistemas, ao buscarem previsibilidade e controle, terminam gerando pontos cegos e momentos em que a falha se torna inevitável. A complexidade dos sistemas a tornam semelhante ao mundo real em que a indeterminação é uma constante. Por isso, para Yuk Hui a catástrofe tecnológica surge da tentativa de controlar o incontrolável. Além disso, as soluções para evitar as falhas vão gerar novas camadas de complexidade e contingência, ou seja, falhas que geram respostas que geram novas falhas e assim por diante. As falhas da razão podem ser compreendidas como a racionalidade técnica ao tentar evitar as falhas previstas e até mesmo as não previstas, o que é um oxímoro, uma vez que a incorporação do não previsto se torna uma previsão, o que gera novas catástrofes. Além disso, é preciso destacar que para o filósofo Yuk Hui a contingência no mundo técnico é inescapável.
IHU – Em que sentido o episódio da CrowdStrike Falcon Sensor aponta para uma característica das sociedades contemporâneas, nos termos de Anthony Giddens e Ulrich Beck, de que os problemas que enfrentamos tecnologicamente são criados pela própria tecnologia?
Sérgio Amadeu – O episódio da solução contra ataques externos CrowdStrike Falcon Sensor gerou o maior ataque ou um dos maiores ataques internos ao sistema operacional Windows. Quem poderia imaginar que a atualização do sistema de segurança seria responsável por paralisar diversas aplicações, deixar hospitais sem o prontuário de seus pacientes, bancos sem condições de realizar transações financeiras, escolas sem seus sistemas administrativos e de ensino, enfim, tudo o que se queria evitar foi criado pela própria solução de prevenção de ataques. Assim como no futebol não é possível impedir que “gol contra” aconteça, mesmo quando a intenção do jogador é tirar a bola da zona de perigo, nenhuma consciência superior poderá impedir a contingência. Insisto, tudo indica que foi um modelo treinado pela IA da empresa CrowdStrike que gerou a pane e a catastrófica paralisação de máquinas que aplicaram a atualização criada por aquele modelo no sistema Windows.
IHU – Por que o sonho capitalista de aumentar a lucratividade substituindo o trabalho humano por máquinas produz riscos incalculáveis?
Sérgio Amadeu – Nem tudo precisa ser automatizado. Nem tudo precisa ser maquinizado. Mas, o capital busca reduzir o peso do trabalho humano em sua composição. Isso permitiria a sua reprodução sem o pagamento de salários, direitos e sem custos do gerenciamento de humanos. Entretanto, dois problemas logo se apresentam. O primeiro é de ordem econômica e social. A maioria das pessoas no sistema capitalista vivem de salário ou de pequenos negócios e serviços em torno desses salários pagos. A produtividade extrema dos sistemas automatizados gerariam um subconsumo por falta de renda das pessoas sem emprego. A solução de uma economia das máquinas exigiria que elas fossem consideradas conscientes e que pagassem por sua existência. Mas como isso seria possível sem gerar a barbárie e uma miséria socialmente inaceitável, perigosa. A solução da renda básica de cidadania é pensada, mas para ser de fato efetuada o capitalismo precisaria ser superado. Caso não seja, a divisão de classes se tornaria quase uma divisão de castas. Maiorias pauperizadas, precarizadas ganhando mínimos para viver e algumas classes indispensáveis para a manutenção das máquinas e seus donos e acionistas, com riqueza concentrada de modo inimaginável. Todavia, estamos bem longe desse cenário distópico. Atualmente, temos é a precarização de diversas atividades, não somente, as mais simples, diversas atividades cognitivas estão sendo completamente afetadas pelos sistemas automatizados.
O segundo problema agrega aos riscos sociais, os riscos políticos que o controle dos rumos das tecnologias de aprendizado de máquina e aprendizado profundo que o domínio dessas grandes empresas trazem. Elas estão concentrando o poder da invenção. O modo com que as Big Techs estão dominando as ciências computacionais é preocupante. Um levantamento da Universidade de Stanford, o AI Index Report, constatou que, em 2023, 51 modelos significativos de aprendizagem automática em uso foram desenvolvidos exclusivamente pelas Big Techs. Apenas 15 modelos significativos foram desenvolvidos pelas universidades e 21 em parcerias da academia com empresas. Isso ocorre por que o custo de treinamento de um modelo grande de linguagem, hoje, já ultrapassou a casa dos 50 milhões de dólares. Assim, se você quer estar na fronteira tem que ter muito capital ou ser subordinado ao desenvolvimento das Big Techs. Isso pode abalar as democracias pelo poder colossal que essas empresas vão adquirindo.
Zuboff chamou isso de instrumentarismo, eu prefiro denominar de totalitarismo digital-dataficado. Um dos mais devastadores efeitos desse processo de concentração de dados, de infraestruturas e capital nas Big Techs é a redução da diversidade tecnológica, é a diminuição da tecnodiversidade. É a supremacia de um tipo de automatismo californiano, a tentativa de supressão de outras cosmovisões e de outras tecnologias, de outras matemáticas. No fundo, estamos falando da destruição de outros modos de vida pelo capital que hoje galopa sobre a ideia alienada de que essas tecnologias automatizadas serão sempre “o máximo”, positivas, úteis, encantadoras. Isso me lembra uma frase de Deleuze no Post-scriptum sobre as sociedades de controle: “Informam-nos que as empresas têm uma alma, o que é efetivamente a notícia mais terrificante do mundo”.
IHU – Que tipos de consequências sociotécnicas estão em jogo na algoritimização da vida?
Sérgio Amadeu – A vida algoritmizada no caminho das Big Techs é a vida submetida à vigilância, nos dizeres de Zuboff, é a vida organizada por métricas que formatam as subjetividades. Como bem escreveu David Beer, somos completamente influenciados pelo que medimos. As medidas servem para orientar nossas condutas. Podemos utilizar algoritmos para um outro modo de vida, mas ele não será o ultra individualismo presente nas redes de relacionamento social e seus gatilhos de atenção. Não conheço um algoritmo que não seja considerado falho que não busque consolidar algum tipo de eficiência. O desenvolvimento tecnológico atual está dominado pelo ideal de capitalização constante, pela ideia de progresso infinito. Os neoliberais dizem que crescer sempre é natural. Na realidade, não existe nada na natureza que tenha crescimento infinito. Nossa vida é cíclica. Estamos submetidos às leis da entropia. A Terra está sofrendo consequências das abstrações tão úteis ao acúmulo de capital. Em vez de alterarmos os rumos de nossas tecnologias, o que implica em mudar nosso modo de vida, apostamos em abstrair funcionalidades dos ecossistemas e aplicar em créditos de carbono. Um capitalista imobiliário devasta um mangue aqui e planta milhares de árvores ali. Como se isso fosse cambiável. Absurdos se acumulam. Li em um site uma fala de Bill Gates dizendo que a IA poderia acabar com a fome da África. Lamentavelmente, esse tipo de frase empolga pessoas, pois estamos submetidos a uma alienação técnica. Desde quando a fome da atualidade é promovida pela falta de alimentos? Mas, nas redes de relacionamento o que vale é a espetacularização. Frase do tipo “saiba o que eles não querem que você saiba ou veja” é irritantemente corriqueira. Por isso, precisamos de tecnologias digitais que sejam alteradas por cosmovisões mais complexas daquelas construídas para capturar atenções e vender produtos e saídas. Não é por menos que temos coachs atuando como estelionatários ideológicos vendendo sucesso para quem agir como eles. E eles sabem compreender os algoritmos e se clicarmos em um link e fizermos um curso nossa vida irá mudar e a riqueza irá aparecer.
IHU – Quais os riscos de governos e estados apostarem suas fichas no armazenamento de informações essenciais na nuvem?
Sérgio Amadeu – Nuvem é uma metáfora útil às Big Techs. Quando alguém diz que seus arquivos estão na nuvem, parecem que estão voando por aí, sem localização. Na realidade, os arquivos estão hospedados em data center, em geral, de grandes empresas, muitas vezes fora do país. Os data centers são armazéns de dados, softwares e sistemas que podem ter milhares de computadores. O dono da nuvem é um provedor da nuvem que garante que você acesse os seus arquivos e sistemas a partir da internet.
O problema é que colocar dados estratégicos, sensíveis e indispensáveis de uma empresa, universidade, governo, em datacenters fora do país é cada vez mais arriscado. Diversos países possuem políticas de localização de dados. O Brasil tem uma política completamente flexível. Os dados até mesmo de tribunais e áreas importantes do governos estão hospedados nos Estados Unidos, país sem uma legislação de proteção de dados compatível com a nossa.
No Brasil, mais de 70% das nossas universidades não possuem mais e-mails próprios, nem servidores para armazenar nossos dados de pesquisa, nossas listas de discussão. Tudo isso, está sob o controle das Big Techs. Temos como resolver isso? Sim, com políticas públicas, com a construção de infraestruturas computacionais soberanas. A regulação é fundamental, mas não basta. Precisamos de arranjos que permitam termos aqui em nosso país infraestruturas de dados e de treinamento de IA sob o controle de nossa sociedade.
IHU – Há uma questão de fundo em todo esse processo: como fica a soberania digital de um país frente ao poder das Big Techs?
Sérgio Amadeu – O Brasil precisa construir políticas digitais e de dados que garantam sua soberania, a governança, o não aprisionamento tecnológico de nossas instituições e organizações. A ideia de soberania digital não está ligada principalmente às noções da teoria política tradicional, está mais vinculada ao conceito de soberania alimentar, que nasceu nos anos de 1990 com a Via Campesina. Hoje, a ideia de soberania alimentar está consolidada até mesmo na ONU e no Banco Mundial. Soberania alimentar diz respeito ao direito dos povos e das comunidades comerem, cultivarem e cuidarem de sua alimentação sem o controle das megaempresas multinacionais, sem veneno, de modo agroecológico. As sociedades querem e podem definir o que comer. A soberania digital é a capacidade da nossa sociedade e do Estado definir, governar, e controlar as tecnologias indispensáveis à nossa autodeterminação, à nossa inventividade, tecnodiversidade e desenvolvimento. Soberania de dados é o direito e a autonomia da nossa sociedade para controlar a criação, o armazenamento, o processamento e o tratamento de dados da nossa população e dos nossos territórios e seus objetos técnicos. Não se trata de direitos individuais, são reivindicações e direitos coletivas.