Kate Crawford: “Estamos injetando nos algoritmos as nossas limitações, a nossa forma de marginalizar”

Kate Crawford (Sydney, Austrália) não revela o ano em que nasceu. Qualquer empresa poderia usar esse dado para tentar lhe vender um produto ou mesmo influenciar sua intenção de voto. “Onde você vive, sua idade, seu gênero ou inclusive seus amigos... Parecem informações banais, mas é preciso estar consciente do que podem fazer com isso”, explica. Sua luta não é por obrigar as empresas tecnológicas a pagarem pelo uso de dados pessoais, e sim expor os problemas sociais decorrentes da tecnologia. Crawford estuda como os algoritmos marginalizam as minorias. Além de seu trabalho como pesquisadora na Microsoft, em 2017 fundou com outros colegas da Universidade de Nova York o AI Now Research Institute, uma entidade independente que pretende ajudar os Governos a corrigirem os vieses de desigualdade dos seus algoritmos.

Mais informações

Google conserta seu algoritmo “racista” apagando os gorilas

A perigosa caixa preta dos algoritmos e a campanha eleitoral de 2018

Assim os algoritmos perpetuam a desigualdade social

Seu objetivo é acabar com as chamadas black boxes (caixas pretas), sistemas automatizados e totalmente opacos que os órgãos públicos usam para decidir questões fundamentais para a vida das pessoas, como quem recebe assistência domiciliar. “Ninguém sabe como funcionam nem os critérios usados para treinar essas máquinas”, denuncia a especialista, que em 2016 foi encarregada pelo Governo Obama de organizar jornadas de discussão sobre as implicações sociais da inteligência artificial.

Crawford participou na semana passada da Mesa-Redonda sobre Inteligência Artificial e seu Impacto na Sociedade, organizado pelo Ministério de Energia e Agenda Digital da Espanha, em Madri, onde apresentou as conclusões de seu relatório Algorithmic Impact Assesment, um guia para detectar as injustiças e aperfeiçoar os algoritmos dos poderes públicos.

Pergunta. O mundo digital está reproduzindo as desigualdades do mundo real. De que fontes são extraídos os dados para o treinamento dos algoritmos?

Resposta. É preciso entender como funcionam os sistemas de inteligência artificial. Para ensiná-los a distinguir um cachorro de um gato, lhes damos milhões de imagens de cada um desses animais. São treinados para que aprendam a identificar. O problema é que esses mesmos sistemas, esse software, está sendo usado pela polícia nos Estados Unidos para predizer crimes. Treinam o algoritmo com fotos de pessoas processadas, com dados dos bairros onde são registrados mais delitos ou mais prisões. Esses padrões têm um viés, reproduzem estereótipos, e o sistema de inteligência artificial os toma como verdade única. Estamos injetando neles as nossas limitações, nossa forma de marginalizar.

P. Esses dados são colhidos da Internet de forma aleatória?

R. São usadas base de dados. Uma das mais populares e mais usadas pelas empresas tecnológicas é o Image Net, que contém 13.000 imagens. Em 78% delas aparecem homens, e em 84%, brancos. Essas são as referências para qualquer sistema treinado com esse kit. A forma como etiquetamos as imagens está muito relacionada à nossa cultura e à nossa construção social. O Image Net foi criado reunindo fotos do Yahoo News entre 2002 e 2004. O rosto que mais aparece é o de George W. Bush, que era o presidente dos Estados Unidos naquele momento. Ainda hoje é uma das bases de dados mais utilizadas. Os sistemas de inteligência artificial parecem neutros e objetivos, mas não são. Contam uma versão muito particular da história para a gente.

P. Que empresas estão interessadas em destinar recursos para analisar esses vieses?

R. Temos feito isso na Microsoft. Em nosso estudo Man is to Computer Programmer as Woman is to Homemaker? (“o homem está para o programador de computador como a mulher para a dona de casa?”) detectamos que os homens são habitualmente associados a profissões como políticos ou programadores, e as mulheres com modelos, donas de casa, mães... Analisando centenas de textos extraem-se esses padrões, esses estereótipos sociais que os algoritmos depois replicam. Por isso, se você busca no Google imagens para a palavra médico, aparecerão fotos de homens com jalecos brancos. Se colocar enfermagem, só verá mulheres em hospitais. Quando as pessoas veem isso, automaticamente as formas mais básicas de distorção são reforçadas. É preciso começar a questionar como esses sistemas foram construídos.

"Se você busca no Google imagens para a palavra médico, aparecerão fotos de homens com jalecos brancos. Se colocar enfermagem, só verá mulheres em hospitais. Quando as pessoas veem isso, automaticamente as formas mais básicas de distorção são reforçadas. 

P. Na Europa ainda não é tão habitual que os Governos empreguem a inteligência artificial para tomar decisões. Que impacto isso está tendo nos Estados Unidos?

R. A imprensa noticiou em março como a Administração está usando um algoritmo para decidir em quais casos uma pessoa deve receber assistência domiciliar. De repente foram cortadas muitas dessas ajudas, e idosos que vinham recebendo cuidados em casa durante anos ficaram sem eles. O que tinha mudado? O algoritmo não levava o contexto em conta e tomava más decisões. Ninguém tinha avaliado o sistema para ver quanta gente ficou de fora. Foi um escândalo nos Estados Unidos. É um exemplo de um sistema aplicado sem a pesquisa suficiente. As pessoas com menos recursos econômicos e menos nível educacional são as que estão sofrendo primeiro.

P. Os Governos deveriam tornar públicos esses algoritmos?

R. Em um dos relatórios que publicamos no ano passado no AI Now Research Institute, lançamos uma recomendação crucial: que os Governos deixem de usar sistemas algorítmicos fechados. Teriam que permitir a especialistas independentes auditar essas fórmulas para detectar onde estão as fraquezas, os vieses. Essa parte é muito importante para assegurar a igualdade de oportunidades. Percebemos que até esse momento ninguém tinha publicado nenhuma pesquisa sobre esse tema, não havia nenhum guia. Montamos uma equipe de especialistas em direito, engenharia, ciências da computação e sociologia e elaboramos um mecanismo para ajudar os Governos a desenvolverem um sistema transparente que permita aos cidadãos conhecer os detalhes, se seus dados foram processados de forma correta. Se não, nunca saberão como foi tomada uma decisão que afeta diretamente a sua vida, o seu dia a dia.

P. Vocês já provaram seu método contra os vieses com alguma administração?

R. Estamos testando com a prefeitura de Nova York, é a primeira cidade a implementar isso nos Estados Unidos. Estamos medindo como os algoritmos afetam os cidadãos. Também apresentamos o projeto na Comissão Europeia e na Espanha, onde em um mês sairá o primeiro relatório sobre as consequências da IA, encomendado pelo Ministério a um comitê de especialistas. A Europa chegou tarde ao jogo, e por isso tem que aprender com os erros dos Estados Unidos e da China, países onde a aplicação da IA na tomada de decisões pública está mais avançada.

P. E as empresas como o Facebook, deveriam ser obrigadas a torná-los públicos?

R. Olhar os algoritmos do Facebook ou do Google não nos ajudaria. São sistemas gigantescos e complexos, com centenas de milhares de algoritmos operando ao mesmo tempo, e estão protegidas pelo segredo industrial. Os Governos não vão usar esses algoritmos, vão criar sistemas públicos, e por isso devem ser abertos e transparentes. Talvez não para o público em geral, mas para comissões de especialistas independentes.

"São os homens mais ricos e poderosos do Vale do Silício os que mais temem a hipotética rebelião das máquinas, porque não têm outra coisa com que se preocuparem"

P. A inteligência artificial está cada vez mais presente nos processos de seleção das empresas. A que tipo de perfis essa tecnologia prejudica?

R. Nos Estados Unidos há uma nova empresa, a Hirevue, que recruta novos perfis para companhias como Goldman Sachs e Unilever usando inteligência artificial. Durante a entrevista, você é gravado e tem 250.000 pontos do seu rosto monitorados, para que depois analisem suas expressões. Com esses dados determinam se você será um bom líder ou se será ou não honesto. Também estudam o tom de sua voz e definem padrões de comportamento. Não podemos assumir que sabemos como é alguém por suas expressões, não existe uma base científica. No século XIX popularizou-se a frenologia, que se baseava em decifrar aspectos da personalidade a partir de uma análise do rosto. Outro ponto perigoso é que as empresas procuram pessoas que se pareçam com seus atuais funcionários, e o impacto disso na diversidade é tremendo. Estão criando monoculturas.

P. Acha que chegou a hora de desmitificar algumas crenças sobre a inteligência artificial, como que as máquinas poderão ter consciência? Quanto mal alguns gurus estão causando?

R. É uma terrível distração dos verdadeiros problemas que a IA gera atualmente. Habitualmente, são os homens mais ricos e poderosos do Vale do Silício os que mais temem a Singularidade, a hipotética rebelião das máquinas, porque não têm outra coisa com que se preocuparem, da qual sentirem medo. Para o resto de nós, os temores são como vou conseguir um emprego, como vou chegar no final de mês e pagar meu aluguel, ou como pagar meu plano de saúde. Pensar que as máquinas vão ter sentimentos é um mal-entendido, é não ter ideia de como funciona a consciência humana, que é impossível que uma máquina replique. Temos corpo, conexões muito complexas, que não são só impulsos cerebrais. Somos corpos em um espaço, vivendo em comunidade e em uma cultura. As pessoas veem a palavra inteligência artificial e acham que estamos criando inteligência humana, quando o que estamos fazendo é desenhar padrões de reconhecimento e automatização. Se chamássemos de automatização artificial, o debate mudaria totalmente.