Se um pesquisador de São Paulo mede a quantidade de uma determinada proteína no fígado de um camundongo, seria de se esperar que outro pesquisador em Belém obtivesse o mesmo resultado, certo?
Sim, mas isso nem sempre ocorre.
Um dos pilares das ciências naturais é que os resultados observados em um determinado estudo possam ser reproduzidos com fidelidade por quem quer que seja, em qualquer lugar do mundo, respeitando as especificidades do experimento. É assim que se tem a garantia de que os resultados publicados em uma revista científica sejam idôneos.
Por isso, cientistas vão tentar reproduzir experimentos de estudos já publicados da área biomédica a fim de descobrir quão confiável é a ciência brasileira. Da iniciativa inédita no país participarão, até agora, mais de 50 laboratórios entre os 71 já cadastrados.
Os primeiros resultados devem começar a aparecer no segundo semestre deste ano, segundo Olavo Amaral, coordenador da Iniciativa Brasileira de Reprodutibilidade e professor da Universidade Federal do Rio de Janeiro (UFRJ).
Amaral vai receber R$ 1 milhão do Instituto Serrapilheira, entidade privada de fomento à pesquisa criada pelo documentarista João Moreira Salles, herdeiro do banco Itaú, e sua mulher, a linguista Branca Vianna. Trata-se do primeiro projeto a receber um aporte desse volume da instituição.
Esse tipo de experimento está numa área que pode ser chamada de metaciência, no sentido de que seu objeto de estudo é a própria atividade científica.
A iniciativa vai selecionar experimentos de artigos produzidos por brasileiros nos últimos anos e vai tentar replicá-los para ver se os resultados finais serão os mesmos. As técnicas que serão utilizadas são algumas das mais utilizadas nos laboratórios do país, como as que permitem quantificar o material genético e as células vivas em uma amostra e até mesmo testes comportamentais, como um que permite inferir o nível de ansiedade em roedores.
A ideia é aproveitar a infraestrutura e a expertise dos diversos laboratórios participantes, sem prejudicar a rotina dos pesquisadores. Antes de serem reproduzidos, os protocolos serão padronizados de modo a reproduzir com fidelidade razoável o que está escrito nos artigos. Cada experimento será realizado em três laboratórios distintos.
— Eu fico muito satisfeita quando um estudante novo vai fazer algo que alguém já fez no passado e obtém o mesmo resultado. É um controle que fazemos no próprio laboratório. Mas quando o resultado é reproduzido em outros lugares, há uma quantidade maior de variáveis, desde a marca do reagente até detalhes do protocolo da técnica. A gente pode até ter variações, mas o resultado final não deveria ser diferente — diz a professora de bioquímica da Universidade Federal de São Paulo (Unifesp), Marimélia Porcionatto, que comanda um dos laboratórios que vai participar da iniciativa.
Os custos dos reagentes serão bancados pela verba obtida do Serrapilheira. Outra parte dos recursos vai ajudar a bancar a atividade do grupo de Amaral. Além dele, dois pós-doutorandos, Ana Paula Sampaio e Kleber Neves, e uma doutoranda, Clarissa Carneiro, coordenam a iniciativa.
Amaral, que é médico e neurocientista de formação, disse que o estalo de que poderia mudar de linha de atuação veio em 2014:
— Poxa, resolver o problema de tornar a ciência mais confiável poderia ser mais importante do qualquer outra coisa. Tem muita coisa errada por aí, pode estar ocorrendo uma imensa perda de esforço. Os cientistas ficam preocupados em produzir dados impactantes e, sem perceber, acabam gerando ciência que não é confiável.
Cristina Caldas, diretora de pesquisa científica do Serrapilheira, diz que perceber que esse problema existe gera uma conscientização:
— Isso pode fazer as pessoas discutirem o tema e estimulá-las a propor práticas para garantir a integridade. Se as agências de fomento tirassem um pouquinho de seu orçamento para esse tipo de estudo, ajudaria a esclarecer se o investimento em pesquisa está indo para o lugar certo.
Com ciência não confiável sendo gerada, nasce o problema da "crise de reprodutibilidade". É difícil ter certeza se a pesquisa publicada em algum periódico científico realmente reflete a realidade e se é boa. Uma iniciativa que tentou replicar trabalhos publicados nas melhores revistas de psicologia mostrou que 61% deles eram frágeis.
Resolver o problema de tornar a ciência mais confiável poderia ser mais importante do qualquer outra coisa. (...) Os cientistas ficam preocupados em produzir dados impactantes e, sem perceber, acabam gerando ciência que não é confiável
OLAVO AMARAL
COORDENADOR DA INICIATIVA BRASILEIRA DE REPRODUTIBILIDADE E PROFESSOR DA UFRJ
Os cientistas já estão cientes de que o sistema de publicação, que inclui a revisão de artigos por outros pesquisadores nas melhores revistas, não consegue garantir 100% a integridade dos achados ali reportados.
Uma das explicações para isso, diz Amaral, é intrínseca ao sistema: os processos que compõem uma pesquisa são complexos e nem sempre os detalhes chegam à versão final do artigo:
— É um relato meio idealizado da ciência real: o que não funciona, fica de fora.
Outro fato, diz o pesquisador, é que cientistas da área biomédica geralmente sabem muito pouco de estatística – o que pode gerar resultados inconsistentes com a realidade, graças a experimentos mal planejados.
Se consideramos que, entre as dezenas de milhares de revistas científicas que existem no mundo, sempre haverá uma que aceite uma pesquisa incorreta ou fraudada – algumas nem revisam adequadamente os artigos, basta pagar para publicar –, o fantasma da reprodutibilidade só tende a crescer.
Vale notar que a proposta da iniciativa não é uma caça às bruxas nem uma avaliação individual de cada trabalho selecionado.
— Não queremos avaliar a carreira de ninguém ou dizer se alguém está certo ou errado. Por mais estranho que seja, a variação nos resultados pode simplesmente se dever ao acaso — diz Amaral.
Ele lembra que, em estudos de comportamento, 30% da variabilidade pode simplesmente se dever ao local da pesquisa, por fatores talvez incontroláveis.
Cientistas e gestores de outras áreas têm buscado soluções para reduzir o problema de reprodutibilidade. No caso da pesquisa clínica, que testa novas drogas e tratamentos, muitas vezes os ensaios são multicêntricos, ou seja, conduzidos paralelamente em diversos locais. É o caso, por exemplo da pesquisa de novas vacinas.
Algo parecido tem sido feito na área de química orgânica, na qual métodos para sintetizar novas substâncias são usados em localidades diferentes a fim de, em conjunto, reduzir no resultado final o impacto de especificidades locais, segundo Caldas.
Outro recurso que pode ajudar a reduzir a pressão por artigos extravagantes (e, por isso, com mais chance de estarem errados) é a avaliação não só dos resultados mas também dos métodos de uma pesquisa antes mesmo de ela ser conduzida.
Se o método for consistente, não interessa se a resposta é positiva ou negativa -a questão foi esclarecida.
— Seria uma mudança do sistema de recompensa, que passaria a ser não pelo impacto ou pela manchete gerada pela pesquisa, mas pelo rigor dela — diz Amaral.
