O Estado não deveria operar como um ‘call center’
A tecnologia pode ser usada como desculpa para sacrificar direitos essenciais de milhares de pessoas
Urrando de dor, o britânico Mark Hemmings ligou para o número 999, central de emergências no Reino Unido. Era 2013, Mark tinha 41 anos e mobilidade limitada. Uma operadora atendeu e ele logo explicou: “Estou com uma dor agonizante na barriga, doutora. Você pode me enviar uma ambulância?”. A operadora fez uma série de perguntas sobre os sintomas e, apesar da insistência de Mark para que lhe enviassem uma ambulância, a operadora recomendou que ele ficasse em casa e retornasse mais tarde. Mark foi encontrado inconsciente dois dias depois e morreu assim que chegou ao hospital.
Mark Hemmings poderia ter sido salvo. Bastava o socorro rápido, no momento da sua chamada, e uma cirurgia simples. Bastava que tivesse sido atendido por um humano. A operadora era a voz de um sistema automatizado de triagem, cujo algoritmo não conseguiu relacionar “dor agonizante na barriga” como um dos sintomas pré-definidos para atendimento emergencial, e por isso não requisitou a ambulância para o paciente.
Estamos acostumados com a automação. Nos deparamos com atendimentos sem interação humana em bancos e empresas de telefonia. Cada ligação é uma jornada. É difícil encontrar quem nunca teve frustrações consumeristas nesse campo: esperas longas no telefone, seguida de um labirinto de opções que nunca condizem com a nossa situação. Mas, e quando esses sistemas se espraiam para questões de vida ou morte como no caso de Mark?
Uma distopia automatizada parecida foi realidade de milhares de brasileiros. Enquanto a pandemia da covid-19 lotava os hospitais, outra demanda de vida ou morte surgia. Milhões de pessoas sem poder trabalhar buscavam no Estado o acesso aos auxílios emergenciais. Um tarefa de distribuição colossal que, aparentemente, só poderia ser realizável por meio do processamento automatizado dos pedidos. Mesmo assim, centenas de pessoas acabaram se aglomerando em filas nas agências da Caixa Econômica Federal para conseguir os seiscentos reais que o Governo Federal havia prometido.
Isso porque a automação, sozinha, não é capaz de resolver os nossos problemas. A começar pelas diferentes condições de vida no Brasil. O principal canal para pedir o benefício, a Internet, tem o acesso gravemente desigual no país, principalmente entre as populações que mais precisam do auxílio governamental, daí as filas nas agências da Caixa. É uma barreira que se coloca pela falta de acesso, equipamentos adequados ou familiaridade com o uso de tecnologias. Essas questões, longe de meros detalhes técnicos, deveriam ser consideradas no próprio desenho das políticas públicas, com critérios mínimos para a universalidade.
Outra questão é a capacidade de os modelos corresponderem à realidade. A automação depende de funções e critérios rígidos, possíveis de se operacionalizar via a lógica algébrica de um computador. Por isso, o trabalho de automação tem de categorizar todo o universo de possibilidades e atribuí-los corretamente a um número limitado de respostas. Isso é intrínseco ao processo de tomada de decisões automatizadas. Mas isso também pode trazer uma série de problemas.
Em um primeiro momento parece que a rigidez se justificaria a pretexto de evitar fraudes. Contudo, a apuração de uma equipe de jornalismo de dados identificou que cerca de 317 mil servidores públicos municipais ou estaduais receberam o benefício sem que o sistema da empresa responsável pela análise de elegibilidade, a Dataprev, identificasse as fraudes. Enquanto isso, o estabelecimento de requisitos cadastrais muito rígidos impediu uma série de pessoas de iniciar o processo para receber o auxílio. Chegamos a infeliz conclusão de que o sistema de análise de elegibilidade está tomando decisões erradas nos dois sentidos.
Para minimizar os problemas relacionados ao acesso, a Defensoria Pública da União recomendou a revisão dos requisitos utilizados pelo Governo na análise dos pedidos, argumentando, dentre outras coisas, que a utilização de apenas um tipo de documento de identidade como critério para concessão do benefício prejudica pessoas em extrema vulnerabilidade, como a população em situação de rua ou os migrantes.
Mas ainda que fossem superadas as barreiras infraestruturais, o serviço também apresentava falhas graves. Nos noticiários e nas redes sociais surgiram centenas de casos de usuários que se defrontaram com pedidos negados. A fila de requisições em análise se acumulou e pessoas tiveram suas solicitações rejeitadas sob justificativas genéricas e imprecisas. Como alternativa receberam a recomendação que fizessem novos pedidos, mas sem a informação sobre quais seriam os problemas a serem corrigidos. Neste cenário, as pessoas se encontraram completamente desamparadas e sem instrução de como obter o auxílio que lhes era devido.
Percebemos então que o Estado sofre dos mesmos males que o call center da empresa de telefonia mais mal avaliada. Uma investigação aponta a existência de formulários eletrônicos difíceis de serem preenchidos, procedimentos e obrigações que não poderiam ser cumpridas. Uma jornada de telas e comandos digitais que não se enquadram à realidade do usuário, nem oferecem meios para ele comunicar sua situação.
Na ausência de um direito que permita questionar o funcionamento desse mecanismo, a Defensoria está incidindo apenas em casos específicos em que consegue associar o indeferimento a um erro material da tomada de decisão, provocado por uma falha no próprio fluxo do sistema de análise. Assim, intercede a favor de um interesse coletivo, que se vê lesado face a uma decisão ruim e injustificada.
O problema, contudo, é mais profundo. Ele é causado pela incapacidade do usuário de ter uma interação transparente, inteligível e bidirecional com o sistema e entender como as decisões tomadas de forma automática podem lhe impactar. Dificuldade agravada por não possuirmos canais para saber como o sistema opera, ou mesmo como recorrer de decisões. Não há como “explicar” para a máquina os problemas da realidade humana, nem há o dever da máquina “justificar” as suas decisões para as pessoas. Falta, portanto, um mecanismo de transparência e recurso. Uma possível solução surgiu apenas no dia 17 do mês de junho a partir de um acordo que permite à Defensoria Pública da União contestar o resultado da análise.
Vê-se que o direito à transparência serve como mecanismo social de controle para o bom funcionamento de sistemas automatizados. Mas deveríamos ter igualmente um mecanismo coletivo de revisão das concessão de benefícios. Precisamos de controles para rever decisões que dão direitos a quem não deveria recebê-los, assim como o direito individual de compreender e questionar um processo automatizado que foi determinante no indeferimento de um direito individual.
Se abstrairmos a falta de um projeto sério para a tecnologia como instrumento de desenvolvimento social no Brasil, aceitaremos a desculpa de que as falhas do Dataprev surgiram pela necessidade de se erigir um sistema de benefícios do dia para a noite. A falta desse planejamento nos indica, por outro lado, que a tecnologia serve para um perigoso cálculo de utilidade no qual se sacrifica direitos essenciais de milhares de pessoas em função de uma suposta redução de custos, uma falsa eficiência. Sem recursos igualmente escaláveis de transparência, monitoramento e controle de sistemas automatizados, o dano será feito em escala. E não se engane, há sempre ganhadores e perdedores na opacidade da automação.
Renato Leite Monteiro colaborou ativamente com as discussões e redação da Lei Geral de Proteção de Dados do Brasil (LGPD). É fundador e diretor do Data Privacy Brasil]
Caio César Vieira Machado é advogado e cientista social, mestre pela Universidade de Oxford e pela Sorbonne e co-fundador do HealthTech & Society
Leôncio da Silva Junior é cientista social pela Universidade de São Paulo, graduando em direito na mesma instituição e pesquisador em privacidade e proteção de dados.
Informações sobre o coronavírus:
- Clique para seguir a cobertura em tempo real, minuto a minuto, da crise da Covid-19;
- O mapa do coronavírus no Brasil e no mundo: assim crescem os casos dia a dia, país por país;
- O que fazer para se proteger? Perguntas e respostas sobre o coronavírus;
- Guia para viver com uma pessoa infectada pelo coronavírus;
- Clique para assinar a newsletter e seguir a cobertura diária.
