Falta de confianza y de comunicación

La posibilidad de cometer errores en un estudio inintencionadamente es también causa de preocupación, sostiene Jensen.

“Incluso si se tiene cuidado eligiendo una buena muestra, existe la posibilidad de obtener resultados engañosos”, señala. “Un problema habitual es el data mining. Si alguien analiza una gran base de datos durante suficiente tiempo, posiblemente encuentre un efecto estadísticamente significativo o diferencia entre algunos grupos de variables”. Desafortunadamente, explica Jensen, los investigadores a menudo simplemente sólo informan sobre un único resultado significativo sin admitir “las numerosas pruebas no significativas realizadas antes de obtener dicho resultado”.

Según Jensen, “es necesaria una estricta supervisión de todo el proceso de pruebas para evaluar dichos resultados en perspectiva”. Pero al menos existen dos fuerzas que suelen influir negativamente sobre la efectividad de los análisis. “La primera es una desconfianza en los análisis estadísticos, y la segunda es una falta de diálogo entre los estadísticos teóricos y los prácticos”. De hecho, sostiene Jensen, “muchos estudios de medicina, economía y ciencias sociales podrían beneficiarse si entablasen conversación con los estadísticos sobre el análisis de los datos recogidos o sobre la propia recogida de los datos”.

Bradlow también muestra preocupación sobre la interpretación de los resultados estadísticos. “Siempre digo a mis alumnos que las soluciones condicionadas por los datos no siempre proporcionan la respuesta correcta. Es más, pueden indicarte qué respuestas se deben eliminar por no estar respaldadas por los datos”. El verdadero valor de los análisis estadísticos es que ayudan a sus usuarios a caracterizar adecuadamente la incertidumbre en lugar de hacer “suposiciones”; contribuyen a identificar qué resultados son estadísticamente significativos y a dar respuesta a hipótesis específicas.

“El tema clave es la representatividad”, explica Bradlow en referencia al informe Roger Clemens. “Los investigadores y usuarios deberían siempre estar preocupados por cómo se obtienen los datos y si representan una muestra aleatoria. En caso negativo se debe tener cuidado con las conclusiones que se extraigan”.

En opinión de Bradlow, incluso los investigadores sin agenda deben ser precavidos. “A finales de los 90, cuando recogíamos datos demográficos en un cementerio de doscientos años de antigüedad, nos dimos cuenta de que, en comparación con la gente enterrada hacía muchos años, aquellos que habían sido enterrados en fechas recientes habían fallecido por término medio a edades más tempranas”. Los resultados de este estudio fueron publicados en un artículo titulado “A Selection of Selection Anomalies” (“Una selección de la selección de anomalías”) publicado en la revista Chance.

“Es muy tentador llegar a la conclusión de que la mortalidad ha aumentado entre la gente más joven, pero sería una conclusión errónea”. Las muertes más tempranas dependen del hecho de que, a medida que nos aproximábamos a las fechas en que Bradlow elaboraba el estudio, la muestra de gente que había sido enterrada en ese cementerio tenía más probabilidad de incluir una cifra desproporcionada de personas que habían muerto jóvenes simplemente por haber nacido en fechas más cercanas.

Para Wolfers, una de las claves para minimizar un mal uso de las estadísticas conlleva una plausibilidad intuitiva, esto es, comprender el enfoque adoptado por el investigador y la interacción entre las fuerzas que intervienen. “Es importante saber cuáles son los factores existentes detrás de cada variable”, dice. “Una vez determinadas los observadores comprenderán todo mejor y establecerán las relaciones de causalidad”.

Jensen pone otro ejemplo: “Participo en un estudio que modeliza las habilidades en el campo de los jugadores exteriores -o outfielders- de la liga de béisbol profesional. Una hipótesis que se maneja en el estudio es que los outfielders tienen más dificultades para atrapar la pelota si ésta va a caer detrás de ellos –lo cual les obliga a correr de espaldas- que en caso de que la pelota botase delante de ellos, en cuyo caso corren hacia delante”.

Pero los resultados indican justamente lo contrario. Para cualquier distancia, los outfielders suelen coger más pelotas corriendo de espaldas. “En un principio esto parece ir en contra de toda intuición”, explica Jensen. “Pero empieza a tener sentido si tienes en cuenta el tiempo que la pelota permanece en el aire. Las pelotas que llegan más lejos permanecen en el aire durante más tiempo, de tal forma que los outfielders disponen de más tiempo para correr y atraparlas, incluso si la pelota va a caer detrás de ellos. Este fue un caso interesante en el que los datos sirvieron para arrojar luz sobre un fallo cometido en nuestros primeros razonamientos”.

vía|http://wharton.universia.net