Nissen et al. (2018): La ganancia de Hake favorece a pretest altos
Referencia (APA 7): Nissen, J. M., Talbot, R. M., Nasim Thompson, A., & Van Dusen, B. (2018). Comparison of normalized gain and Cohen’s d for analyzing gains on concept inventories. Physical Review Physics Education Research, 14(1), 010115. https://doi.org/10.1103/PhysRevPhysEducRes.14.010115
Capítulo: Cap. 3 – Método (referencia) · Subcategorías: 3.b Instrumentos, validación y medición del cambio · Mapa: MOC - Mapa de contenidos
Resumen
Nissen y Van Dusen (Universidad Estatal de California en Chico) y Talbot y Nasim Thompson (Universidad de Colorado en Denver) comparan las dos métricas más usadas para resumir el cambio entre pretest y postest: la ganancia normalizada de Hake (g), habitual en la investigación en enseñanza de la Física, y la d de Cohen, habitual en el resto de la investigación educativa. Usan la base LASSO, con 4551 estudiantes de 89 cursos universitarios de 17 instituciones de Estados Unidos que respondieron inventarios de conceptos de Física, Química, Biología y Matemáticas. Filtran datos poco fiables, imputan los faltantes con imputación múltiple y analizan correlaciones y regresiones entre g, d y los estadísticos del pretest.
Los tres modos de calcular g (con medias del grupo, promediando ganancias individuales o con el cambio normalizado de Marx y Cummings) dan valores casi idénticos. En cambio, g y d solo comparten el 56 % de su varianza, y la diferencia se explica casi entera por la media y la desviación del pretest: g está sesgada a favor de los grupos que empiezan con puntajes altos. Al comparar hombres y mujeres, g muestra ventaja masculina en 33 de 43 cursos y d en muchos menos, lo que lleva a sobrestimar inequidades.
Los autores recomiendan dejar de usar g, reportar d con todos los estadísticos descriptivos (medias, desviaciones, tamaños de muestra y correlación pre-post) y, cuando se estudia equidad, analizar el postest controlando el pretest. Los límites para la tesis son claros: los datos son de cursos universitarios y de inventarios conceptuales de opción múltiple, no de pruebas de competencias experimentales en secundaria.
Citas por color
Las citas son textuales del PDF (Zotero/PDF nucleo/Nissen_2018.pdf). El PDF aún no está subrayado en Zotero; estas citas guían ese subrayado. Las páginas son las del artículo (010115-1 a 010115-12 en el original).
Definiciones (azul)
Definición (p. 2)
“Hake then used this reasoning to define high g (g > 0.7), medium g (0.7 > g > 0.3), and low g courses (g < 0.3).” (p. 2)
Mi nota: Los cortes de Hake que la tesis usará para leer la ganancia de cada ciclo.
Definición (p. 2)
“In effect size metrics, a measure of the variance in the distribution of scores is the standardizing coefficient rather than the maximum possible gain, which g uses.” (p. 2)
Mi nota: La diferencia de fondo entre las dos métricas: g divide por lo que faltaba ganar; d divide por la dispersión de los puntajes.
Ideas principales (amarillo)
Idea principal (p. 1)
“The results showed that the two metrics lead to different inferences about student learning and equity due to the finding that g is biased in favor of high pretest populations.” (p. 1)
Mi nota: Hallazgo central. Para estudiantes rurales que probablemente empiecen con pretest bajo, g podría subestimar lo que aprenden.
Idea principal (p. 11)
“We recommend researchers use d rather than g for measuring student learning.” (p. 11)
Mi nota: Recomendación directa que la tesis no puede ignorar: si conserva g por tradición, debe reportar d al lado y justificarlo.
Metodología (morado)
Metodología (p. 1)
“Data for the analyses came from the Learning About STEM Student Outcomes (LASSO) database and included test scores from 4551 students on physics, chemistry, biology, and math concept inventories from 89 courses at 17 institutions from across the United States.” (p. 1)
Mi nota: Muestra grande y universitaria; hay que decirlo al trasladar la conclusión a grupos pequeños de secundaria.
Metodología (p. 6)
“We used MI because it has the same basic assumptions of listwise deletion but it reduces the rate of type I error by using all the available information to better account for missing data [33].” (p. 6)
Mi nota: En las instituciones rurales habrá ausencias el día del pretest o del postest; conviene decidir desde ya cómo tratar esos datos faltantes.
Evidencia (verde)
Evidencia (p. 8)
“These correlations between g and pretest statistics (0.43 and 0.44, respectively) indicated that approximately one-fifth of the variance in normalized gains was accounted for by the score distributions that students had prior to instruction.” (p. 8)
Mi nota: Una quinta parte de g depende de cómo llega el grupo. Al comparar ciclos con grupos distintos, esto puede confundir mejoras del diseño con diferencias de entrada.
Evidencia (p. 10)
“When comparing the learning of males and females in our data set, g identified males as learning more in 33 of 43 courses (77%) while d only identified males as learning more in 23 of 43 courses (53%), nearly cutting the rate by 1/3 (Fig. 3).” (p. 10)
Mi nota: Ejemplo concreto de cómo la métrica cambia la conclusión. Nota: en la p. 9 el mismo dato aparece como 22 de 43 para d.
Tensiones y vacíos (rojo)
Tensión o vacío (p. 2)
“For example, d exaggerates the size of effects when measuring changes in small samples [9].” (p. 2)
Mi nota: La d tampoco es inocente: con grupos pequeños como los de Lorica conviene aplicar la corrección para muestras pequeñas (g de Hedges) y dar intervalos de confianza.
Tensión o vacío (p. 10)
“The dependence of g on pretest privileges populations of students who come into a class with more disciplinary knowledge or who perform better on multiple choice exams.” (p. 10)
Mi nota: Tensión con el contexto de la tesis: la métrica elegida en la sesión 1 podría jugar en contra de los estudiantes rurales que se quieren favorecer.
Citas para usar (naranja)
Cita para usar (p. 10)
“We recommend that researchers avoid using all forms of normalized gain and instead report Cohen’s d and the descriptive statistics used to calculate it, including the correlation between pretest and post-test scores.” (p. 10)
Mi nota: Indica qué tabla mínima debe llevar el análisis de cada ciclo: medias, desviaciones, n, correlación pre-post y d.
Cita para usar (p. 10)
“All researchers should ensure that they report sufficient descriptive statistics for their work to be included in meta-analyses.” (p. 10)
Mi nota: Reportar bien los descriptivos hace que la tesis pueda entrar en futuros metaanálisis como Fadillah et al. (2026).
Conexión con la tesis
Este artículo toca directamente una decisión de la sesión 1: comparar los tres ciclos de la DBR con la ganancia normalizada de Hake y el tamaño del efecto. Nissen et al. muestran que g está sesgada a favor de los grupos con pretest alto, y los grupos de secundaria de Lorica probablemente empiecen con puntajes bajos en competencias experimentales, así que g podría hacer ver menos aprendizaje del que hubo. Además, como cada ciclo se hace con un grupo distinto, las diferencias de entrada pueden pesar en la comparación tanto como las mejoras del simulador y la secuencia. La salida razonable no es abandonar g, que sigue siendo la referencia en la literatura de Física y permite comparar con antecedentes, sino reportarla junto con la d de Cohen (con corrección para muestras pequeñas), los descriptivos completos y la correlación pre-post, y leer los cambios entre ciclos con prudencia. Hay que señalar que el estudio usa inventarios conceptuales universitarios, no pruebas de competencias experimentales, de modo que su conclusión se traslada por analogía.
Conectado a
- Hake (1998): el origen de la ganancia normalizada que Nissen et al. critican; conviene leerlos juntos.
- Cohen (1988): la fuente de la d y de los cortes de tamaño del efecto que proponen como alternativa.
- Fadillah et al. (2026): un metaanálisis que trabaja con d, y que muestra por qué hacen falta descriptivos completos para sintetizar estudios.
- MOC - Mapa de contenidos
Mi reflexión
Preguntas orientadoras
Escoge una o responde varias. Graba en tus propias palabras (1 a 3 minutos).
- Si tus estudiantes de Lorica empiezan con pretest bajo, ¿qué pasaría con la ganancia de Hake según Nissen et al., y cómo lo explicarías en el capítulo 3?
- Cada ciclo de tu DBR trabaja con un grupo diferente. ¿Cómo separarías el efecto de las mejoras del diseño del efecto de que un grupo llegue mejor o peor preparado?
- ¿Qué tabla de resultados mínima presentarías por ciclo para cumplir la recomendación de reportar d con todos los descriptivos?
Reflexión de voz
Graba tu reflexión sobre este texto usando el botón de abajo.
Colores Zettelkasten: azul = definición | amarillo = idea principal | morado = metodología | verde = evidencia | rojo = tensión o vacío | naranja = cita para usar