Algoritmo do Twitter prefere rostos femininos, brancos e magros, demonstram programadores em desafio

Em setembro de 2020, um aluno da Universidade de Victoria (Canadá) descobriu sem querer que o Twitter dava mais destaque aos rostos brancos ao recortar fotos. Seus tuítes sobre o assunto provocaram uma grande polêmica, e dezenas de outros tuiteiros apresentaram provas no mesmo sentido. Finalmente, a rede social decidiu averiguar o que ocorria. O processo terminou neste mês de agosto com uma competição ―a primeira do tipo― entre informáticos que foram autorizados a analisar o algoritmo, disputando uma recompensa por suas descobertas. O desafio confirmou que algum viés existia. O vencedor, Bogdan Kulynych (Ucrânia, 1993), doutorando da Universidade Politécnica de Lausanne (Suíça), descobriu que certamente o algoritmo prefere rostos claros, jovens, magros e com traços femininos.

O viés dos algoritmos não é nenhuma novidade. Um algoritmo desse tipo é um software que ordena resultados a partir de dados previamente apresentados. No caso do Twitter, ele escolhia o fragmento (os pixels) de uma imagem que considerava mais interessante, destacando-a na interface dos usuários.

Este algoritmo provém de um modelo elaborado a partir do monitoramento do olhar humano quando uma imagem aparece em uma tela. E supostamente os humanos preferem rostos de pele clara, femininos, magros, jovens e com um tom quente e bem contrastado. Em um estudo feito pelo próprio Twitter antes do concurso, quando já se notava um viés, foi analisado também se há um “olhar masculino”: às vezes o algoritmo se centrava em outras zonas do corpo feminino além do rosto, e segundo o artigo científico que acompanhava o estudo isso refletia a “representação constante das mulheres como objetos sexuais para o prazer sob o ponto de vista dos homens heterossexuais”.

“Na minha pesquisa gerei vários rostos artificiais e os modifiquei não arbitrariamente, mas sim de uma maneira muito específica para ver a quais deles o algoritmo dava mais proeminência”, diz Kulynych ao EL PAÍS por teleconferência. Em outras palavras, ele quis entender por que, ao fazer um recorte automático, o algoritmo tendia a conservar ou a destacar mais determinados rostos. “Selecionei só um pequeno grupo de 16 rostos por problemas de tempo e porque o processo computacional é longo. Eram rostos diversos, e no final vi padrões. O algoritmo dava mais proeminência a rostos mais jovens, magros, com tons mais quentes e traços femininos”, continua.

Embora a amostra de Kulynych seja pequena, porque a competição deixava apenas uma semana para o trabalho, ele acha provável que esse problema seja “fundamental” e ocorreria da mesma forma com uma amostra maior de rostos. “Embora eu suspeite que com essa análise mais extensa a diferença seria menos pronunciada, ou que os padrões seriam menos claros”, observa.

O concurso foi uma espécie de autopsia do algoritmo. O Twitter o havia eliminado em maio, quando o substituiu por uma opção manual: agora, cada usuário pode dar destaque à parte que preferir nas imagens que publica. “É uma boa opção”, considera Kulynych. A supressão do algoritmo só elimina um pequeno problema. No fundo, ele já não era crucial, pois só decidia quais partes de uma foto grande mostraria. Em estudos anteriores, algumas feitas com sua orientadora, a engenheira espanhola Carmela Troncoso, Kulynych analisou o impacto de outros algoritmos mais importantes para as grandes empresa tecnológicas: aqueles mais essenciais, que decidem o que vemos no Twitter, YouTube, Amazon e Airbnb. Que comportamentos eles podem estar promovendo para beneficiar essas empresas?

Algoritmos deste tipo não costumam ficar disponíveis atualmente para que pesquisadores externos possam buscar erros ou vieses, diz Kulynych. Eles são uma parte nevrálgica das empresas tecnológicas: “Além dos erros, há os problemas nos algoritmos que emergem devido à estrutura de incentivos e otimização de benefícios dentro das companhias”, alerta o doutorando. “Com eles ninguém organiza competições, porque não são erros como tais. Só podem ser resolvidos de fora, e para isso seria necessário uma regulação para desafios como mitigar a desinformação nas redes sociais e o aumento da gentrificação em plataformas como o Airbnb. A capacidade de autorregulação destas empresas é limitada”, acrescenta.

A competição do Twitter para analisar seu algoritmo caído em desgraça é louvável, admite Kulynych, mas resta ver se será um primeiro passo ou simplesmente um caso isolado. Rumman Chowdhury, nova diretora (incorporou-se em fevereiro) de Ética do Aprendizado de Máquinas do Twitter, disse que não é fácil abrir o algoritmo de recomendação do Twitter para que seja analisado de fora, mas “seria fascinante fazer uma competição sobre vieses de sistemas”.

Em seu discurso sobre esta competição, Chowdhury admitiu a obviedade de que o viés dos algoritmos se baseia em automatizar o que os humanos fazem de forma natural: “Criamos estes filtros porque acreditamos que isso é o que é ‘bonito’, e isso termina treinando nossos modelos e nos levando a estas noções irreais do que significa ser atraente”.

Em uma conversa anterior no Twitter, funcionários da companhia fizeram uma analogia para este concurso: lembra as primeiras recompensas dadas a quem achava falhas de segurança nos softwares de anos atrás. Hoje em dia, uma falha de segurança pode valer centenas de milhares ou milhões de dólares, dependendo de quem a compre. Afinal, esse é um modo de acessar sistemas sem ser detectado. Já Kulynych levou apenas 3.500 dólares (18.830 reais) por seu trabalho, o que é uma quantia irrisória para os níveis do Vale do Silício.Mas talvez não pare por aí. “No começo, as falhas de segurança eram relatadas e ninguém recebia nada em troca, talvez o problema nem fosse arrumado. Assim nasceram as recompensas, para criar um incentivo para comunicá-los aos criadores do software e os arrumassem”, diz Kulynych. A diferença é que os problemas de segurança podem ser revelados de fora, enquanto a análise do algoritmo exige a cumplicidade da companhia, que precisa abri-lo a uma análise externa.

O viés detectado por Kulynych não foi o único. O segundo prêmio foi para um trabalho que também comprovava que o algoritmo prestava menos atenção a rostos de idosos, e o terceiro coube a outro pesquisador que descobriu, ao comparar memes com texto, que o algoritmo preferia a linguagem em alfabeto latino em detrimento da escrita árabe. O Twitter deu também um prêmio a um pesquisador italiano que descobriu que os emojis de pele clara também recebem melhor pontuação do algoritmo. No Brasil, a programadora Nina da Hora trabalha para impedir que algoritmos reproduzam preconceitos. Ela busca formas para que a tecnologia seja mais justa e igualitária.

Apoie nosso jornalismo. Assine o EL PAÍS clicando aqui

Inscreva-se aqui para receber a newsletter diária do EL PAÍS Brasil: reportagens, análises, entrevistas exclusivas e as principais informações do dia no seu e-mail, de segunda a sexta. Inscreva-se também para receber nossa newsletter semanal aos sábados, com os destaques da cobertura na semana.