“Se uma arma decide autonomamente se, quando e em quem atirar, não existe mais um responsável. Um robô confunde um ônibus escolar com um avestruz, porque os processos cognitivos não são iguais aos humanos. A margem de erro pode ser reduzida, mas nunca será igual a zero.”

A reportagem é de Rachele Gonnelli, publicada em Il Manifesto, 10-04-2019. A tradução é de Moisés Sbardelotto.

Marco Dorigo, italiano, é diretor de pesquisa do Fundo Belga de Pesquisa Científica e co-diretor do IRIDIA, o laboratório de inteligência artificial da Université Libre de Bruxelles. Ele é o proponente da metaheurística de otimização de colônias de formigas e um dos fundadores do campo de pesquisa de inteligência de enxames.

Eis a entrevista.

Marco Dorigo, como especialista em robótica de nível internacional, você já assinou dois apelos de cientistas para a proibição dos robôs assassinos, dos sistemas armados de inteligência artificial sem controle humano, no jargão, humans out of the loop. Qual é a sua preocupação?

A preocupação diz respeito mais ao futuro do que ao presente, se realmente poderemos ter máquinas capazes de tomar a decisão de matar autonomamente. Vejo nessa possibilidade um problema importante, porque poderíamos reduzir o limite de tolerância para aquém do qual decidimos entrar em um conflito. Pois não se trataria mais de pôr em risco a vida dos soldados. Outro aspecto preocupante é o da responsabilidade com relação à decisão: se um erro é cometido, quem responderia por ele? Os erros, como se sabe, também são cometidos pelos seres humanos, mas é possível rastrear a responsabilidade: os crimes de guerra podem ser processados e, antes ainda, atribuídos. Mesmo no caso de um soldado que apenas aperta um botão atrás de um controle remoto, como já ocorre, sempre há, por enquanto, uma decisão humana.

Se, ao contrário, a delegação à máquina for total, torna-se muito mais complicado atribuir a responsabilidade pelas ações efetuadas. Se uma arma, através de imagens coletadas por sensores, decide autonomamente se, quando e em quem atirar, quem é o responsável? O algoritmo que a guia poderia estar errado, ou o contexto poderia ter mudado de modo imprevisto. Além disso, quando se programa uma máquina, nunca temos certeza de que ela foi programada de modo correto: existem bugs, erros de software, como se viu com os aviões da Boeing, como aquele que caiu recentemente na Etiópia. Não existem métodos que garantam que um sistema controlado por software funcione perfeitamente, e, certamente, os riscos podem se tornar inaceitáveis quando falamos de um robô dotado de uma pistola.

Você diz “se” forem construídas essas armas inteligentes e autônomas, mas a tecnologia para criá-las já existe? Bastaria um “switch”, isto é, aplicá-la?

Eu não sou especialista em tecnologia bélica e, portanto, não estou a par dos últimos desenvolvimentos do setor. Mas, provavelmente, até mesmo os especialistas só conhecem apenas uma pequena parte desses desenvolvimentos, porque os militares não gostam de falar sobre os seus planos.

Para o grande público, o pior pesadelo talvez seja o dos enxames de drones armados com cargas explosivas e com reconhecimento facial. A “inteligência de enxame” não é o seu campo de investigação?

O objetivo das minhas pesquisas é como fazer para controlar grupos de robôs autônomos que devem cooperar para executar tarefas que eles não seriam capazes de executar individualmente. Por exemplo, estudamos como um enxame de robôs pode procurar feridos em uma situação de desastre natural e como poderiam cooperar para recuperar os feridos mais graves.

E os drones assassinos não são feitos assim?

Eu trabalho no âmbito civil e, como já disse, não sou especialista em aplicações militares. Os drones assassinos, com efeito, poderiam ser muito pequenos e ser dotados de uma carga letal, e poderiam ser difíceis de parar: é mais difícil abater um grande número de pequenos objetos do que um único grande robô, embora eu acredite que os militares, como sempre, encontrarão contramedidas para destruí-los, contraenxames. No entanto, o problema não está no desenvolvimento de tecnologias que permitam que um grande número de robôs cooperem entre si.

De fato, essas tecnologias podem encontrar aplicações muito úteis, basta pensar na coordenação dos carros autônomos que, no futuro próximo, gradualmente substituirão os atuais carros com controle humano. O problema está no uso que se faz da tecnologia e no fato de que a tecnologia que permite a criação de sistemas autônomos pode, se usada no campo militar, mudar completamente o quadro de referência. Pela primeira vez na história, não é mais o ser humano quem se põe em jogo, mas as decisões militares são delegadas a uma máquina.

Na conferência para o lançamento da campanha “Stop Killer Robot”, um colega seu, o secretário da Uspid [União Italiana de Cientistas para o Desarmamento], Diego Latella, explicou que um robô pode confundir um ônibus escolar com um avestruz, graças a uma interferência de ruído nas imagens. Não se trata de um comando terrorista confundido com um avestruz. Fala-se de estupidez da máquina: ela pode ser eliminada?

Não me admira que um robô possa confundir um ônibus escolar com um avestruz. O fato é que os processos cognitivos na Inteligência Artificial não são iguais aos nossos. É um problema ligado a como esses sistemas aprendem e a como eles representam internamente o conhecimento adquirido. Como já foi dito, as máquinas, assim como os seres humanos, cometem erros. Mas os erros cometidos podem ser de um tipo muito diferente. E para nós, humanos, às vezes, esses erros são incompreensíveis.

Esses erros incompreensíveis dependem do programador ou da quantidade de dados armazenados?

A margem de erro pode ser reduzida aumentando a quantidade de dados utilizados para fazer com que as máquinas aprendam. No entanto, não acredito que seja possível reduzir essa margem de erro para zero. E o tipo de erros cometidos provavelmente continuará sendo de um tipo diferente daquele cometido pelos seres humanos, pois o “cérebro” das máquinas provavelmente continuará sendo diferente do dos seres humanos. Em geral, eu acredito que o problema não está no fato de que as máquinas cometam erros, mas sim que os sistemas autônomos artificiais cometam mais ou menos erros do que os sistemas de controle humano que eles deverão substituir.

Muito em breve, teremos carros com direção autônoma, e muitos estão preocupados que os erros da máquina possam provocar acidentes. Mas os acidentes já ocorrem de qualquer maneira. A verdadeira pergunta é se, com os carros autônomos, eles serão mais ou menos do que agora. Da mesma forma, sistemas inteligentes para o diagnóstico médico, usando algoritmos para o aprendizado automático capaz de examinar milhões de radiografias, nos permitirão fazer diagnósticos precoces de câncer e tratamento oncológicos personalizados muito mais dirigidos. Também nesse caso, o importante, na minha opinião, é se a taxa de sucesso nos diagnósticos é melhor ou não do que a fornecida pelos melhores especialistas.

Então, a tecnologia é sempre boa, e, quanto aos robôs assassinos, é apenas a guerra que é má?

Em certo nível, toda tecnologia, assim como toda descoberta científica, pode ser usada tanto para o bem quanto para o mal. Mas é verdade que, nos últimos anos, digamos, da internet em diante, houve uma aceleração nos desenvolvimentos da tecnologia da informação, aceleração que faz com que, também para nós, pesquisadores, seja difícil acompanhar todas as inovações do nosso campo e faz com que seja mais difícil prever quais poderão ser os usos “maus”.

Abstratamente, os algoritmos para a cooperação são quase todos “dual use”, isto é, aplicáveis ao campo civil ou ao militar. Até agora, as máquinas que aprendem sozinhas se concentraram em jogos como Go ou o xadrez, possuem domínios muito pequenos e não são muito autônomas. Mas a tecnologia segue em frente, e o que eu não gostaria é de que, no futuro, o limite a ser ultrapassado para entrar em guerra fosse abaixado drasticamente. Se é possível enviar as máquinas para as primeiras fileiras, não há sequer a necessidade de um período de propaganda bélica para criar uma opinião pública favorável à guerra. Basta identificar um inimigo. Afinal, serão os robôs que irão ao front.

Leia mais

• Máquinas Sapiens. Os desenvolvimentos da Inteligência Artificial
• Inteligência artificial, desafio ético. Entrevista com Paolo Benanti
• A silenciosa dominação por Algoritmos
• A silenciosa ditadura do algoritmo
• A Era do algoritmo chegou e seus dados são um tesouro
• Inteligência artificial pode trazer desemprego e fim da privacidade
• Inteligência artificial - A disputa entre a busca da eficiência e os desafios ético-morais. Entrevista especial com Brian Green
• Procriação, a Inteligência Artificial à procura de uma gravidez
• Inteligência artificial e pós-humanismo. Artigo de Giannino Piana
• Robôs: O futuro é agora. Vídeo