UY Press - Agencia uruguaya de noticias

05.02.2019

La ciencia es en gran parte responsable del enorme avance que ha tenido la civilización en los últimos siglos. También ha determinado cómo nos vemos a nosotros mismos y nuestro lugar en el universo.

La ciencia logra a través de un mecanismo que genera diferentes hipótesis y las pone a prueba experimentalmente, haciendo que a la larga estas hipótesis describan el mundo cada vez mejor, hasta llegar a verdades casi absolutas (ej. el universo tiene 13.800 millones de años, la tierra se está calentando por la actividad humana, etc). Pero este proceso no es completamente objetivo, debido a que es llevado a cabo por personas en el marco de una cultura, y más específicamente de una cultura científica, que determinan cuáles son las formas aceptadas de hacer y comunicar ciencia, qué evidencia se acepta como válida, y qué temas son interesantes o controversiales.

Como cualquier otra cultura, la cultura científica se ve fuertemente moldeada por los intereses personales de sus integrantes (intereses laborales y de prestigio), por diversas instituciones que pueden actuar de forma deficiente (por ejemplo universidades, agencias financiadoras, sociedades científicas), por la inercia que hace que se mantengan constumbres poco favorables (el "siempre se hizo así"), y por el azar de la historia. Esto es importante porque aunque el método científico haya mostrado funcionar a la larga (hablamos de décadas y siglos), si la cultura científica promueve buenas prácticas se avanzará en el conocimiento más rápido, se usarán los recursos públicos con mayor eficiencia, y la población contará con información científica más confiable.

Esta cultura científica es lo que se está discutiendo actualmente en el debate sobre la llamada 'crisis de reproducibilidad' en la ciencia. Es importante explicar el concepto de reproducibilidad en que se centra este debate. En general las publicaciones científicas muestran el resultado de experimentos que son utilizados para argumentar a favor o en contra de alguna hipótesis. La ciencia es una discusión continua entre las hipótesis vigentes, que avanza en base al acumulado de esta evidencia experimental. Pero para que el proceso funcione, los resultados publicados deben ser reproducibles, es decir, que se obtengan resultados similares si se repiten los experimentos. Esto es razonable: si se hace un experimento para estudiar el efecto de una dieta baja en azúcares sobre la salud cardíaca, se espera que al repetir el experimento se obtengan resultados similares, de lo contrario los resultados originales no serían buenos para extraer conclusiones. Aunque por razones prácticas no se puede esperar una reproducibilidad total de las publicaciones científicas, un grupo creciente de científicos sostiene que la cantidad de trabajos no reproducibles (que si repetimos sus experimentos se obtienen resultados diferentes) es mucho mayor que la que se puede considerar aceptable, y que el mal funcionamiento de la cultura científica es responsable (es importante notar que hay áreas científicas más afectadas que otras: se estima que el 50% de los trabajos de psicología no son reproducibles, en la discusión le sigue la biología, y la física por otro lado es poco mencionada).

Sabiendo de qué se trata el problema, la siguiente pregunta natural es ¿qué importancia tiene esto para la sociedad?. La importancia se ve principalmente en tres aspectos. El efecto más visible es el que se genera en la divulgación de ciencia para el público general (aunque la prensa comparte la culpa). Uno de los principales ejemplos recientes de la crisis de reproducibilidad es el trabajo del Dr. Brian Wansink, quien lideraba un laboratorio en la prestigiosa Universidad de Cornell en Estados Unidos, estudiando el comportamiento alimenticio de las personas. Lejos de ser un científico recluído en su laboratorio, Wansnik ha sido una importante figura en divulgar el conocimiento popular sobre la psicología de la alimentación: cuenta con varios exitosos libros de divulgación científica y apariciones en programas de televisión, documentales y medios de prensa. Su investigación ha generado recomendaciones populares tales como la de servir la comida en platos pequeños, o no comer mientras se mira televisión, entre muchas otras, que han llegado a millones de personas. Sin embargo, la carrera científica de Wansink llegó a un abrupto fin en 2018 cuando se encontró que sus publicaciones están plagadas de errores y negligencias que hacen que las conclusiones extraídas de estos trabajos (ampliamente divulgadas al público general) no cuenten en verdad con buen apoyo científico. Aunque el caso de Wansink es atípico por el extremo al que llevó las malas prácticas científicas, muchas de estas prácticas son, sin llegar a tales extremos, comunes en varias áreas de investigación científica.

El caso Wansink también es bueno en ilustrar otro efecto de los problemas de reproducibilidad sobre la sociedad: el desperdicio de recursos. A lo largo de su existencia, el laboratorio de Wansink utilizó muchos millones de dólares provenientes de impuestos, y el trabajo de muchas personas inteligentes para llevar a cabo sus experimentos (experimentos que de ser realizados correctamente podrían haber sido una buena inversión). Además estos efectos se amplifican: otros laboratorios invierten recursos intentando basar nuevos trabajos en los resultados de Wansink, que luego encuentran no son reproducibles, aumentando además la confusión en la literatura científica. También muchos jóvenes investigadores entrenados en este laboratorio perdieron la oportunidad de aprender a llevar a cabo buena investigación reproducible durante ese tiempo, extendiendo el problema a nuevas generaciones de investigadores. Finalmente, el trabajo de Wansink fue la base de programas gubernamentales de muchos millones de dólares que intentaron implementar sus hallazgos para mejorar los hábitos alimenticios en las escuelas de Estados Unidos. Es probable que estas intervenciones no funcionen, y que el esfuerzo y recursos invertidos hubieran generado un efecto positivo de estar basados en evidencia más contundente. Aunque pocos investigadores individuales llegan al nivel de impacto social de Wansink, los efectos descritos son minúsculos comparados con los que genera el acumulado de las pequeñas prácticas "grises" que son mucho más comunes y aceptadas en la comunidad científica.

El tercer efecto del problema de reproducibilidad es sobre el avance de la medicina y la tecnología. Por ejemplo, se ha reportado que un porcentaje importante de los resultados descritos en la literatura de la biología del cáncer no han podido ser replicados por otros científicos y por empresas que desarrollan drogas contra la enfermedad. Esto afecta negativamente el desarrollo de nuevos medicamentos, ya que se tiene una incertidumbre mucho mayor sobre la potencial utilidad de cada droga, y se debe utilizar más tiempo y recursos (billones de dólares) en ponerlos a prueba, en lugar de tener menos candidatos pero más confiables en los que concentrar los esfuerzos. También recientemente se ha comenzado a discutir sobre la existencia de un problema de reproducibilidad en el área del aprendizaje automático (una rama de la inteligencia artificial) que se encuentra en plena explosión de popularidad en el mundo académico y de la tecnología. Estos ejemplos llevan a preguntarnos sobre el costo humano y económico que implica la falta de robustez en la ciencia.

Pero entonces, si el problema de reproducibilidad es malo para la sociedad y la ciencia, ¿por qué ocurre? Las causas son muchas, y complejas, pero pueden resumirse en tres tipos principales; 1) Recolectar e interpretar datos  de sistemas complejos como los seres vivos es difícil, con muchas variables que pueden hacer que dos repeticiones de un mismo experimento den resultados distintos, ya sea por mal diseño experimental o por azar. Para solucionar esto existen muchas herramientas de diseño experimental y análisis estadístico, pero actualmente el diseño experimental y la estadística tienen un rol secundario o terciario en la formación de la mayoría de los científicos. 2) La forma en que se evalúa a los científicos para determinar financiación (agencias financiadoras estatales) y ascensos (universidades), en general no premia los esfuerzos por hacer ciencia reproducible, sino la cantidad de artículos publicados. Publicar un resultado que cumpla con las exigencias metodológicas mínimas que exigen las revistas científicas (exigencias que no son altas) es más fácil y rápido que publicar un resultado robusto y reproducible (que por ejemplo requiere usar muestras más grandes, o repetir experimentos). Entonces es una mejor decisión de carrera para un científico publicar muchos trabajos poco reproducibles que menos trabajos pero más confiables. 3) Otro factor importante en la carrera de un científico (evaluado por agencias financiadoras y universidades) es qué tan interesante es la historia que cuentan sus resultados (pensemos en lo lindas e intuitivas de las historias de Wansink). Naturalmente, esto hace que muchas veces se priorice la historia por sobre la base empírica, por ejemplo minimizando (o guardando en un cajón) la evidencia en contra y exagerando la evidencia a favor. El acumulado de estas acciones puede hacer que al leer la literatura científica una historia parezca muy sólida, cuando en verdad esto se debe a la selección de evidencia y a la exageración.

Afortunadamente el futuro es alentador. En la comunidad científica internacional crece el reconocimiento del problema y hay iniciativas recientes para combatir las tres causas mencionadas arriba. Aunque esta es una tarea difícil como cualquier cambio cultural, en muchas áreas científicas se han comenzado a ver importantes cambios en los últimos años. Algunas inciativas que están surgiendo en esta dirección incluyen la instauración en la comunidad científica de nuevos estándares de análisis estadístico y diseño experimental, cambios en los métodos de evaluación de los científicos, y una mayor transparencia que permita un mejor sistema de detección de errores, por ejemplo haciendo que los científicos hagan públicamente accesibles todos los datos que generan en su trabajo. Es responsabilidad de las universidades, agencias financiadoras, sociedades y revistas científicas respaldar estas iniciativas en contra de la inercia de la comunidad académica, para fomentar una mejora en el impacto social de la ciencia. Habrá que esperar para saber cuánto tardan estos esfuerzos en incorporarse a la cultura, y si resultan exitosos en mejorar la reproducibilidad de la literatura científica.

Finalmente, es bueno terminar con una nota sobre cómo funciona la ciencia. El proceso de llegar a una verdad científica es un proceso que suele funcionar de forma más o menos continua a lo largo de años. En cualquier momento determinado hay diferentes hipótesis compitiendo, y los trabajos científicos individuales dan evidencia a favor o en contra de las mismas, pero niguno suele ser por sí solo determinante. Con el acumulado de la evidencia, la comunidad científica  llega a consensos sobre aspectos del mundo y luego construye sobre los mismos. Esto es importante porque significa que la ciencia no depende de la infalibilidad de sus trabajos individuales, sino en ponderar a los mismos en función de su valor y robustez. El problema de la falta de reproducibilidad hace que sea más difícil utilizar los resultados de la literatura científica en avanzar el concimiento, pero no hace que la ciencia deje de funcionar como siempre lo ha hecho. ¿Qué significa esto para quienes quieren estar informados de la actualidad científica? Que ningún trabajo individual nos dirá si comer chocolate, o tomar una copa de vino es bueno o malo para la salud, si tal o cual método educativo es mejor para nuestros niños, o si la clave de la felicidad está en ponerse al sol una hora por día o esforzarnos en sonreír. Los compilados de trabajos científicos, como los libros de divulgación, son una mejor herramienta para tener información confiable, aunque como en el caso de los libros de Wansink, vimos que también pueden ser problemáticos. Simplemente debemos mantener un nivel sano de escepticismo sobre lo que leemos, distinguir los consensos científicos de los trabajos individuales que dicen haber encontrado respuestas definitivas, y elegir fuentes de información confiables que prioricen la robustez de la información por sobre el "contar una linda historia".

Daniel Herrera es Licenciado en Bioquímica de la Universidad de la República, está realizando sus estudios de doctorado en el área de la neurociencia cognitiva en PEDECIBA, UdelaR, en colaboración con el Albert Einstein College of Medicine de Nueva York. Docente de Neurociencias en Facultad de Ciencias, UdelaR.

dherrera1911@gmail.com

Por entregas anteriores de nuestra Columna de Ciencia y Tecnología, visite aquí.