Se está na cozinha, é uma mulher: como os algoritmos reforçam preconceitos

Mais informações

O inconsistente e perigoso ‘radar gay’

“Alô, aqui é um robô sem sentimentos nem empatia”

Elon Musk encabeça uma petição à ONU para proibir os ‘robôs soldado’

Expansão da inteligência artificial e novos rumos da economia no mundo

Um homem calvo, de uns 60 anos, mexe com suas espátulas de madeira alguns pedaços de carne dentro da frigideira. Usa óculos de acetato, calça jeans e está em frente ao fogão de sua pequena cozinha, decorada com tons claros. Ao ver essa imagem, a inteligência artificial, regida por algoritmos, não tem dúvida e, graças à sua sofisticada aprendizagem, rotula assim: cozinha, espátula, fogão, mulher. Se está numa cozinha, em frente ao fogão, deve ser uma mulher. Uma equipe da Universidade da Virgínia acaba de publicar um estudo que indica, mais uma vez, o que muitos especialistas vêm denunciando: a inteligência artificial não apenas não evita o erro humano derivado de seus preconceitos, como também pode piorar a discriminação. E está reforçando muitos estereótipos.

Em seu trabalho, os cientistas analisaram os dados de dois gigantescos bancos de imagens, usados habitualmente para treinar as máquinas, examinando o que os robôs aprendiam com tais imagens. Inicialmente, os homens protagonizavam 33% das fotos que continham pessoas cozinhando. Após treinar uma máquina com esses dados, o modelo mostrou sua fraqueza: deduziu que 84% da amostra eram mulheres. “Sabe-se que as tecnologias baseadas em big data às vezes pioram inadvertidamente a discriminação por causa de vieses implícitos nos dados”, afirmam os autores. “Mostramos que, ao partirem de uma base enviesada sobre gênero”, acrescentam, os modelos preditivos “amplificam o viés”.

As máquinas se tornam mais sexistas, racistas e classistas porque identificam a tendência subjacente e apostam nela para acertar. Já é bem conhecido o caso de Tay, o robô inteligente projetado pela Microsoft para se integrar nas conversas do Twitter aprendendo com os demais usuários: a empresa precisou retirá-lo em menos de 24 horas porque começou a fazer apologia do nazismo, assediar outros tuiteiros e defender o muro de Trump. A essa altura, são vários os exemplos de algoritmos que exacerbam os preconceitos e discriminações, colocando em questão a grande promessa desses sistema: eliminar o erro humano da equação. Os algoritmos nos condenam a repetir o passado do qual queríamos fugir, ao replicar os preconceitos que nos definiam.

As tecnologias baseadas em big data às vezes pioram inadvertidamente a discriminação por causa de vieses implícitos nos dados

O Google começou a rotular as pessoas negras como gorilas, e o Google Maps situava “a casa do negro” na Casa Branca da era Obama. As fotos dos usuários negros do Flickr são classificadas como “chimpanzés”. A inteligente Siri da Apple, que tem resposta para tudo, não sabe o que dizer quando a dona do celular lhe diz que foi estuprada. O software da Nikon adverte o fotógrafo de que alguém piscou quando o retratado tem traços asiáticos. As webcams da HP não podem identificar e seguir os rostos mais morenos, mas o fazem com os brancos. O primeiro concurso de beleza julgado por um computador colocou uma única pessoa de pele escura entre os 44 vencedores. Nos Estados Unidos, a Amazon deixa fora de suas promoções os bairros de maioria afro-americana (mais pobres). O Facebook permite que os anunciantes excluam minorias étnicas de seu target comercial e, ao mesmo tempo, que incluam pessoas que se identificam explicitamente como antissemitas e também jovens identificados por seus algoritmos como vulneráveis e depressivos.

“Prometendo eficácia e imparcialidade, [os algoritmos] distorcem a educação superior, aumentam a dívida, estimulam o encarceramento em massa, golpeiam os pobres em quase todas as situações e solapam a democracia”, denuncia Cathy O'Neil, especialista em dados e autora do revelador livro Weapons of Math Destruction (armas de destruição matemática), em que examina todos os desastres algorítmicos a partir de sua formação como doutora em Matemática na Universidade Harvard e sua experiência de trabalho como data scientist no mundo financeiro. “Ir à faculdade, pedir dinheiro emprestado, ser condenado à prisão, encontrar e manter um trabalho. Todos esses campos da vida estão cada vez mais controlados por modelos secretos que proporcionam punições arbitrárias”, alerta.

O Google começou a rotular as pessoas negras como gorilas, e o Flickr as classificou como chimpanzés

Como afirma O’Neil, os preconceitos dos algoritmos podem ser ainda muito mais perigosos. A redação da ProPublica, uma ONG sem fins lucrativos que se descreve como independente, comprovou isso meses atrás ao descobrir que um programa usado na Justiça dos EUA para prevenir a reincidência dos presos era notavelmente racista. Os acusados negros eram duas vezes mais propensos a ser mal rotulados como prováveis reincidentes (e tratados de forma mais dura pelo sistema penal), enquanto os acusados brancos que de fato reincidiram foram rotulados como de “baixo risco” com duas vezes mais probabilidade que os negros. Os cidadãos, e certamente os condenados, ignoram que seu futuro está sendo decidido por um programa de informática viciado que será tão racista quanto o juiz mais racista. Fria, enviesada e meticulosamente racista.

Uma pesquisa da Universidade Carnegie Mellon descobriu que as mulheres têm menos chances de receber anúncios de emprego bem remunerado no Google. Os programas usados nos departamentos de contratação de algumas empresas mostram uma inclinação por nomes usados por brancos e rejeitam os dos negros. As autoridades policiais de várias cidades utilizam softwares que ajudam a prever os lugares onde o crime é mais provável; desse modo, comparecem mais a essas zonas, detêm de novo mais pessoas ali e reforçam esse ciclo negativo. E os seguros são mais caros e severos nos bairros pobres de maioria negra. “O resultado é que criminalizamos a pobreza, achando que nossas ferramentas são não apenas científicas, como também justas”, resume a especialista.

Prometendo eficácia e imparcialidade, golpeiam os pobres em quase todas as situações e solapam a democracia

Em alguns casos, afirma O’Neil no livro, os problemas do algoritmo se devem a uma falha na seleção dos dados. Em outros, ao preconceito subjacente na sociedade, que o software simplesmente incorpora para acertar. Mas o maior problema é o modelo econômico. “Quando se elaboram sistemas estatísticos para encontrar clientes ou manipular devedores desesperados, as receitas crescentes parecem mostrar que eles estão no caminho correto. O software está fazendo seu trabalho. O problema é que os lucros acabam servindo como um substituto da verdade”, diz ela. O’Neil denuncia que isso é uma “confusão perigosa” que surge “de maneira reiterada”. O Facebook deixa que seu algoritmo selecione e venda anúncios a “pessoas que odeiam os judeus” e “adolescentes vulneráveis” porque se enriquece desse jeito; se as pessoas lhes pagam por isso, não podem estar erradas.

Um regulador ante a falta de transparência

Muitos desses problemas são descobertos por jornalistas, pesquisadores e instituições. Outros se tornam manifestos e obrigam a empresa a corrigi-los. Mas o que acontece com todos os processos que já estão mecanizados e que desconhecemos como nos afetam? Como uma mulher saberá que foi privada de ver um anúncio de emprego? Como uma comunidade pobre poderá saber que está sendo assediada policialmente por um software? Como se defende um criminoso de uma minoria étnica que ignora que um algoritmo o tem na mira? O Facebook e o Google, por exemplo, são perfeitamente conscientes desse problema e até nos explicam como ocorre, mas são absolutamente opacos e não permitem que ninguém monitore esses vieses de maneira eficiente, critica O’Neil. Há muitos programas desse tipo sendo aplicados no sistema judicial norte-americano, mas seus preconceitos são desconhecidos porque cada empresa mantém seus algoritmos em segredo, como a fórmula da Coca-Cola.

O software está fazendo seu trabalho. O problema é que os lucros acabam servindo como um substituto da verdade

Se o algoritmo foi transformado em lei, deve ser transparente, acessível, discutível e passível de emendas, como a própria lei. É o que exigem cada vez mais especialistas e organismos, como a Liga de Justiça Algorítmica (AJL) e a Inteligência Artificial Agora. Eles afirmam que o problema das máquinas inteligentes são os seus enormes preconceitos sociais, não a possibilidade de que levem a um apocalipse no estilo O Exterminador do Futuro. E que, portanto, é preciso criar reguladores públicos para revisar seus sistemas. Trata-se de uma crise que só irá crescer: dias atrás, causou escândalo um polêmico algoritmo que pretendia identificar os gays por sua cara. Nos EUA, metade da população já tem seu rosto registrado em bases de dados policiais de reconhecimento facial. E os gigantes da rede já conhecem até nossa orientação sexual, mesmo que não sejamos usuários de seus serviços. “Não podemos contar com o livre mercado para corrigir esses erros”, conclui O’Neil.