Desde 1955, o "Journal of Irreproducible Results" tem oferecido "imitações, paródias, extravagâncias, textos burlescos e sátiras" sobre a vida no laboratório. Entre seus maiores sucessos estão "Oscilações acústicas em gelatina, com e sem fruta, sujeitas a níveis variados de estresse" e "Utilizando loops infinitos para computar um valor aproximado do infinito". As brincadeiras de boa índole são uma celebração indireta da ciência. Tudo que acontece de verdade no laboratório é, por implicação, de uma natureza mais elevada e séria.
Tem sido desagradável descobrir nos últimos anos que um resultado reproduzível pode, na verdade, ser algo único e precioso. A replicação, a habilidade de outro laboratório reproduzir uma descoberta, é a regra áurea da ciência, a confirmação de que você encontrou algo verdadeiro. Contudo, isso está ficando cada vez mais difícil. Com as verdades mais acessíveis já descobertas, o que resta costuma ser composto de efeitos sutis, alguns tão delicados que só podem ser conjurados em circunstâncias ideais, utilizando técnicas altamente especializadas.
Temores de que isso resulte em descobertas questionáveis começaram a surgir em 2005, quando o Dr. John P.A. Ioannidis, espécie de metacientista que pesquisa a pesquisa, escreveu um documento enfaticamente intitulado "Por que a maioria das descobertas de pesquisa publicadas é falsa".
Em virtude do desejo de cientistas ambiciosos se destacarem do bando com uma nova descoberta impressionante, argumentou John, muitas hipóteses começam com uma chance elevada de estarem erradas. Caso contrário, comprovar sua veracidade não seria tão difícil e surpreendente - apoiando a carreira científica de seu descobridor. Levando em conta a tendência humana de ver o que queremos ver, a parcialidade inconsciente é inevitável. Sem qualquer má intenção, um cientista pode ser levado a interpretar os dados de forma que eles apoiem a hipótese, ainda que levemente.
O efeito é amplificado pela competição por verbas de pesquisa cada vez menores e, também, pelo design de tantos experimentos - com tamanhos de amostra pequenos (células em uma placa de laboratório ou pessoas no conjunto epidemiológico) e padrões fracos para o que passa como estatisticamente significativo. Assim é fácil se enganar.
De acordo com John, paradoxalmente, os campos mais efervescentes, com a maioria das pessoas correndo atrás das mesmas questões, são os mais propensos a erros. Se um a cada cinco laboratórios concorrentes está sozinho na descoberta de um efeito, esse resultado é aquele com probabilidade de ser publicado, porém, existe a chance de quatro em cinco de que ele esteja errado. Estudos relatando conclusões negativas são mais facilmente ignorados.
Juntando tudo isso, John criou um modelo matemático dando suporte à conclusão de que as descobertas mais publicadas estão provavelmente incorretas.
Outros cientistas questionaram se sua metodologia foi distorcida por suas próprias inclinações. Contudo, no mesmo ano ele publicou outro arrasa-quarteirão, examinando mais de uma década de estudos muito conceituados - por exemplo, o efeito de uma aspirina diária em doença cardíaca ou os riscos da terapia de reposição hormonal em mulheres mais velhas. Ele constatou que uma grande proporção das conclusões foi enfraquecida ou contestada por estudos posteriores.
Seu trabalho só estava começando. A preocupação a respeito do problema chegou ao ponto de a revista "Nature" montar um arquivo, cheio de relatórios e análises, chamado Desafios da Pesquisa Irreproduzível.
Entre eles está um estudo no qual C. Glenn Begley, diretor científico da TetraLogic Pharmaceuticals, descreveu uma experiência que teve na Amgen, outro laboratório farmacêutico. Ele e seus colegas não conseguiram replicar 47 de 53 estudos célebres sobre câncer. Alguns dos resultados não puderam ser reproduzidos nem mesmo com a ajuda dos cientistas originais trabalhando em seus próprios laboratórios.
Tendo em vista o que está em jogo, parece uma falha moral que os títulos dos estudos não tenham sido revelados. Isso foi proibido, conforme nos informaram, por acordos de confidencialidade impostos pelos laboratórios.
Talvez, os pesquisadores acreditassem profundamente que seus achados fossem verdade, mas aí é que está o problema. Quanto mais apaixonados são os cientistas por seu trabalho, mas suscetíveis estão à parcialidade.
O medo de que tanta pesquisa publicada esteja maculada levou a propostas de tornar a reprodução mais fácil fornecendo documentos mais detalhados, incluindo vídeos de procedimentos difíceis. O pedido para a criação de agências independentes para replicar experimentos causou uma reação adversa, o temor de que resultados perfeitamente bons sejam jogados fora.
Os cientistas falam no "conhecimento tácito", os anos de maestria necessários para executar uma técnica. A imagem comunicada por eles é a de um experimento tão singular quanto Rembrandt.
"Muitos cientistas usam linhagens celulares epiteliais extremamente sensíveis", afirmou na "Nature" de novembro Mina Bissell, pesquisadora do câncer do Laboratório Nacional Lawrence Berkeley. "A menor mudança em seu microambiente pode alterar os resultados - algo que um novato talvez não perceba. É comum que até mesmo cientistas tarimbados lutem com as linhagens celulares e condições de cultura e, sem saber, introduzam mudanças que darão a impressão de que um estudo não poderá ser reproduzido."
Porém, esse é um caminho de mão dupla. Embutidos no conhecimento tácito podem estar ajustes e ajuntamentos imperceptíveis - maneiras de involuntariamente injetar as próprias expectativas nos resultados, como uma mensagem obtida graças a um tabuleiro Ouija.
O problema parece piorar. Estimou-se que o corpus do conhecimento científico tem dobrado de tamanho a cada dez ou 15 anos desde os dias de Isaac Newton. Somente o banco de dados PubMed, da Biblioteca Nacional de Medicina dos Estados Unidos, contém 23 milhões de citações.
Novos resultados empolgantes continuarão a surgir, mas à medida que a jogo se torna mais misterioso, os troféus se tornam mais e mais escassos. Se um resultado somente aparece na lua cheia com Vênus retrógrado, será mesmo um progresso no conhecimento humano?
