Ciência vive uma epidemia de estudos inúteis

Um grupo de pesquisadores dos EUA, Reino Unido e Holanda assinou na quarta-feira um manifesto para que a ciência recupere parte dessa credibilidade e confiabilidade perdidas. O principal autor do documento é o médico e pesquisador da Universidade Stanford (EUA) John Ioannidis. Há anos, ele é um dos pioneiros da chamada “metaciência”, uma disciplina que analisa o trabalho de outros cientistas e comprova se estão respeitando as regras fundamentais que definem a boa ciência.

Segundo uma análise, ressalta o manifesto, 85% dos esforços dedicados à pesquisa biomédica “acabam sendo desperdiçados”. “São estudos que nunca chegam a ser aplicados na clínica ou são feitos de uma forma negativa, e também muitos outros que são abandonados em etapas muito iniciais”, explica Ioannidis. “Na maior parte das vezes as experiências não são bem projetadas”, denuncia o pesquisador. “Por exemplo, somente entre 10% e 20% de todos os estudos com animais são aleatorizados para se evitar as distorções” inconscientes dos cientistas, ressalta. No caso dos testes clínicos com pacientes, “somente 5% seguem todos os passos corretamente”, denuncia. O problema afeta “quase todas as disciplinas da ciência”, afirma.

Estudos invalidados

Em 2013, o médico de Stanford publicou um estudo que afirmava que até 95% podem ser falácias sem comprovação. Outra revisão recente invalidou milhares de estudos de neurociência baseados em uma técnica de ressonância magnética. De acordo com os pesquisadores, não são só os cientistas os responsáveis, mas também as universidades, as poderosas revistas científicas que publicam os estudos, as agências financiadoras e o restante dos atores do sistema, afirma.

O princípio de reprodutibilidade foi fundamental para o avanço da ciência. Na atualidade, essa garantia essencial está se perdendo

Uma pesquisa recente publicada pela Nature revelou que 90% dos cientistas reconhecem que existe uma crise de reprodutibilidade na ciência. Isso se deve em parte porque a forma de se produzir conhecimento na atualidade mudou tanto que seria quase irreconhecível para os grandes gênios dos séculos passados. “Antes se analisavam os dados em estado bruto, os autores iam às Academias reproduzir suas experiências diante de todos, mas agora isso se perdeu porque os estudos são baseados em seis milhões de folhas de dados brutos”, diz Ioannidis. Uma de suas análises demonstrou que a maioria dos estudos não fornece acesso aos dados brutos nos quais as conclusões se basearam. No final, os cientistas “acreditam no que veem, mas não existe uma forma de comprovar que está certo, e além disso não podemos usar esses dados posteriormente porque se perderam”, ressalta. Essa falta de transparência é um “dos maiores desafios” enfrentados pela ciência, afirma o médico.

O manifesto também denuncia que só são publicados estudos com dados novos, significativos estatisticamente e que apoiam uma teoria determinada. Muitos deles não trazem nada de valioso e, ainda pior, acabam sustentando com a estatística interpretações preconcebidas que não são certas. “Isso, lamentavelmente, não é descoberta científica, mas autoengano”, e pode multiplicar a quantidade de “falsos positivos”, diz o texto.

O Manifesto por uma Ciência Reproduzível, publicado na quarta-feira em formato aberto na Nature Human Behaviour, propõe uma série de medidas para evitar práticas ruins em todas as fases de uma pesquisa. Publicar os dados brutos e os estudos com resultados negativos é um dos passos mais importantes, afirma Ioannidis. Em geral, o método científico continua funcionando e a questão é “voltar aos seus princípios básicos”, explica.

Conhecimentos "simplistas"

“Ou detemos essa perda na reprodutibilidade dos resultados científicos ou perderemos todo o prestígio e a credibilidade que, por enquanto, a classe científica parece ter acumulado”, alerta Lluis Montoliu, pesquisador do Centro Nacional de Biotecnologia (CNB), envolvido em iniciativas para a promoção da integridade científica. “Esse é um assunto muito importante”, diz, “deveria ser obrigatório para todos os estudantes de doutorado”.

Juan Lerma, pesquisador do Instituto de Neurociências de Alicante, reconhece que muitos cientistas têm um conhecimento estatístico “simplista”. “Eu sou editor da revista Neuroscience, recebo 2.000 estudos por ano, e vejo uma deficiência geral em como trabalham com os dados estatísticos”, afirma. Lerma aponta outra causa da crise atual. “São publicados muitos estudos e muito depressa”, diz. “Não existe uma reflexão geral sobre o excesso de publicação e as pressões para se fazer estudos, as universidades medem os resultados por peso, e isso é um erro”, ressalta.

No caso dos testes clínicos com pacientes, “somente 5% seguem todos os passos corretamente”, denuncia o autor principal do estudo

Lerma reconhece que o problema para se reproduzir estudos é “generalizado”, mesmo que isso não queira dizer que os trabalhos são ruins. Sua equipe descobriu novos neurotransmissores no hipocampo, a parte do cérebro que controla a memória, mas se passaram cinco anos antes de outra equipe conseguir identificá-los por sua conta, confirmando a descoberta, explica. “O problema é que muitos dos resultados atuais requerem técnicas muito complexas” que pouquíssimos aprendem a dominar.

Parte da culpa, acredita Montoliu, é das revistas. “Não podemos esquecer o papel cúmplice de determinados grupos editoriais, frequentemente de revistas de calibre, que preferem publicar resultados inesperados, inovadores, espetaculares, que geram muito barulho e impacto, antes de assegurarem-se e verificar sistematicamente a confiabilidade dos mesmos”, explica. Algumas instituições na Espanha já estão tomando medidas para aplacar a crise mencionada pelos assinantes do manifesto, explica Montoliu. Por exemplo, foram contratados profissionais de estatística para os comitês de ética do CNB e do próprio CSIC, o maior órgão de pesquisa pública do pais, afirma.