A perigosa caixa preta dos algoritmos e a campanha eleitoral de 2018

A ProPublica, um instituto de jornalismo independente estadunidense que já ganhou diversos prêmios por seu trabalho investigativo, recentemente noticiou que softwares utilizados para ajudar magistrados dos Estados Unidos a calcular penas com base na probabilidade de os acusados cometerem novos crimes tinha um grave problema: se o indivíduo era negro, o algoritmo concluía que, em algumas situações, este tinha chances quase duas vezes maior do que um branco de cometer novos ilícitos. Com base neste cálculo, juízes condenaram negros a penas bem maiores do que indivíduos brancos com antecedentes e histórico de bom comportamento similares. Havia um outro grande problema: ninguém sabia que critérios eram utilizados para realizar o cálculo de risco. Devido a essa falta de transparência, em breve um caso será revisto pela Suprema Corte Americana porque o acusado afirmou que seu direito ao devido processo legal foi violado quando lhe foi negado o direito a entender o funcionamento do algoritmo.

Um outro estudo mais recente mostrou que algoritmos baseados inteligência artificial aprenderam, após analisar milhares de fotos, que se existe uma imagem com alguém numa cozinha, em frente a um fogão, deve ser uma mulher, reforçando estereótipos e causando discriminação. Em outro caso, um plano de saúde concluiu que determinado consumidor teria maiores chances de ter problemas cardiovasculares ao inferir que este seria obeso por possuir um carro grande e não ter filhos. E se os dados estiverem incorretos? E se fosse um homem na cozinha? E se o carro tivesse sido um presente? Como lidar quando os dados não são precisos?

Este são apenas exemplos, por mais assustadores que sejam, de como as nossas vidas hoje são controladas por algoritmos que muitas vezes reproduzem preconceitos, estereótipos e contribuem para aumentar a assimetria de poder entre cidadãos, o estado e empresas. Bancos, financeiras, agências de empregos, seguradoras, cidades inteligentes, carros que se autodirigem, todas são áreas da sociedade que dependem ferozmente de ADM (Automated Decision Making), algo como algoritmos que tomam decisões automaticamente.

Frank Pasquale, hoje um dos maiores especialistas no assunto, defende que vivemos numa Black Box Society, em alusão a opacidade intrínseca dos algoritmos que controlam diversos aspectos do nosso dia-a-dia e muitas vezes definem como, e se, exerceremos alguns dos nossos direitos mais básicos, mas que não permitem conhecer como se dá o seu efetivo funcionamento. Mas antes, é necessário entender o que são algoritmos.

A necessidade de transparência nos algoritmos é premente ante cenários quase apocalípticos onde processos decisórios automatizados superarão o processo decisório dos humanos

Algoritmos são sequências de instruções programados para realizar uma ou várias tarefas. Normalmente, coletam dados de fontes diversas que funcionam como variáveis que combinadas levam a um resultado. Em um programa de computador, é um código, linhas de comando, escritas por programadores. Mais recentemente, algoritmos de aprendizagem automática passaram a escrever, sozinhos, outros algoritmos por meio de inteligência artificial, o que, por vezes, pode levar a resultados totalmente inesperados, que não poderiam ser antevistos pelos humanos que desenvolveram o código original. Esse código é, pela maioria das legislações do mundo, proprietário. Isso significa que ele pertence a uma empresa, pode ter um grande valor de mercado e ser considerado um segredo de negócio. O acesso a ele por terceiros pode significar uma grande desvantagem competitiva. E aqui reside um dos maiores embates que impede a efetiva transparência dos algoritmos.

Os que defendem, como Pasquale, que as empresas deveriam revelar o código de seus algoritmos a fim de permitir que a sociedade os entendessem e auditassem, visando evitar práticas discriminatórios, encontram barreiras na própria legislação nacional e internacional que conferem as companhias quase que um escudo, sob as bandeiras da propriedade intelectual e da livre concorrência, que impede conhecer os detalhes que levam os algoritmos a estas tomadas de decisão.

Na União Europeia, o Google vem sendo acusado de utilizar o seu algoritmo para favorecer seu próprio serviço, mostrando as ofertas do Google Shopping como as mais relevantes, o que, levando-se em consideração posição quase que dominante o buscador, vem sendo considerada uma prática monopolística. Sob o argumento do abuso de poder de dominância, a empresa foi multada em quase 2,5 bilhões de Euros. Algumas das principais discussões do processo envolviam a necessidade de transparência dos algoritmos para aferir se a companhia realmente favorecia seus serviços, o que, para infortúnio de pesquisadores, não aconteceu.

Outros, advogam a necessidade de uma transparência balanceada, que não impacte segredos comerciais, mas que permita não só aos consumidores, mas a sociedade como um todo, auditar algoritmos para verificar se estes não estão, de fábrica, imbuídos de práticas discriminatórias.

Desse contexto nasce a ideia de Accountability by Design, que, por meio de processos indiretos, tenta coadunar os interesses da sociedade em fiscalizar práticas baseadas em algoritmos sem que seja necessário ter acesso direito ao seu código fonte e revelar práticas comerciais. Testes padrões como os hoje realizados em veículos para identificar se estes estão em conformidade com o arranjo regulatório nacional e os padrões internacionais definidos podem ser desenvolvidos, similar ao que hoje já existe para calcular riscos aceitáveis de impacto ao meio ambiente quando da construção de obras. Mas, infelizmente, até mesmo essa solução tem se mostrado ineficiente.

Em mais um escândalo envolvendo algoritmos, a montadora Volkswagen alterou artificialmente o software de seus veículos para disfarçar a quantidade de poluentes emitidos durante testes para poderem ter acesso a determinados mercados. A complexidade do código embarcado era tal que este conseguia detectar quando estava sendo testado para que somente durante o procedimento o carro emitisse poluentes dentro dos limites permitidos pela legislação. Ou seja, para evitar acesso ao código foram utilizadas outras metodologias de verificação, mas que foram alvo de fraudes gravíssimas que levaram a empresa a multas astronômicas, enaltecendo a necessidade de se encontrar formas alternativas e eficientes para abrir as caixas pretas.

Facebook e a eleição de 2018

No Brasil, essas questões começam a ser discutidas, principalmente no contexto de fake news e propaganda eleitoral. Estudo da FGV mostra que contas automatizadas motivam até 20% de debates em apoio a políticos no Twitter, impondo riscos à democracia e ao processo eleitoral de 2018 por meio de um discurso ilegítimo e parcial. A polêmica aumentou com a promulgação da lei da reforma política, que proibiu, no seu art. 57-C, a “veiculação de qualquer tipo de propaganda eleitoral paga na Internet, excetuado o impulsionamento de conteúdos, desde que identificado de forma inequívoca como tal e contratado exclusivamente por partidos, coligações e candidatos e seus representantes”.

Afora a discussão se o impulsionamento de conteúdo poderia ser efetivamente considerado conteúdo pago, fica a dúvida de como os algoritmos que irão impulsionar as propagandas funcionam. Essa desconfiança tem origem nas recentes declarações feitas por Mark Zuckerberg, CEO do Facebook, admitindo que a rede social foi, de alguma forma, manipulada durante as últimas eleições americanas por atores russos que tinham claro interesse em eleger o atual presidente, Donald Trump. Isso levou a empresa a enviar ao Congresso registros de milhares de compras de publicidade feitos por russos e a assumir um compromisso de mais transparência com relação a como a publicidade comportamental da sua rede social funciona, inclusive o impulsionamento. Como esse posicionamento será implementado no Brasil ainda é uma incógnita, principalmente por não haver regras que assegurem a transparência algorítmica, algo que poderia ser aprendido com o velho continente.

Desde da aprovação da nova GDPR (Regulação Europeia de Proteção de Dados), que entrará em vigor em maio do próximo ano, representantes de diversos setores tem clamado a positivação de um tal direito a explicação das decisões tomadas por sistemas inteligentes e automatizados, baseado no direito à transparência no tratamento de dados pessoais. O texto determina que um indivíduo tem o direito a obter informações suficientes sobre um algoritmo, como o seu funcionamento e possíveis consequências, que o permitam tomar uma decisão racional autorizando ou se opondo ao uso dos seus dados pessoais. Em outras palavras, a GDPR tentou achar um meio termo para harmonizar direitos e interesses, mas não determinou o acesso ao código dos algoritmos. Uma tônica diversa pode ser encontrada em várias leis que visam regular o tratamento de dados pessoais, como os projetos de lei atualmente em discussão no Brasil.

O Brasil, ainda, não dispõe de uma lei que outorgue efetivos instrumentos que permitam ao cidadão algo similar ao presente no contexto europeu. Todavia, projetos em trâmite no Congresso Nacional recorrem a princípios que visam limitar que dados serão coletados para compor os algoritmos, valendo-se de critérios de proporcionalidade e transparência para evitar práticas discriminatórias. Esses projetos obrigam ainda que sejam implementadas medidas protetivas à privacidade e outras liberdades fundamentais desde o momento da concepção do serviço, durante o seu desenvolvimento e a sua oferta ao mercado. Princípios éticos vêm sendo discutidos em larga escala e são cada vez mais adotados na construção desses algoritmos. No entanto, quem irá efetivamente fiscalizar essas melhores práticas ainda não se sabe.

Diante de tudo isso, a necessidade de transparência nos algoritmos se torna cada vez mais premente diante de cenários quase apocalípticos de um futuro onde processos decisórios automatizados e inteligência artificial dominarão, e superarão, o processo decisório natural do ser humano. Desde carros que sem motoristas, robôs e máquinas que substituem profissões comuns, geração automática de notícias, até mesmo engenharia artificial e ambientes bélicos, quase nenhum setor da sociedade estará imune aos efeitos que antes somente eram pensados, e possíveis, em obras de ficção científica. Caso a caixa preta não seja aberta, poderemos nos tornar reféns da nosso própria evolução.

Renato Leite Monteiro é especialista em privacidade e proteção de dados. É professor de direito digital do Mackenzie e da FGV/SP.