Kraft (2020): Interpretar tamaños del efecto con referentes realistas, no con Cohen
Referencia (APA 7): Kraft, M. A. (2020). Interpreting effect sizes of education interventions. Educational Researcher, 49(4), 241–253. https://doi.org/10.3102/0013189x20912798
Capítulo: Cap. 3 – Método (referencia) · Subcategorías: 3.b Instrumentos, validación y medición del cambio · Mapa: MOC - Mapa de contenidos
Resumen
Matthew Kraft, de la Universidad Brown, critica la costumbre de interpretar tamaños del efecto con los umbrales de Cohen (0,2 pequeño, 0,5 mediano, 0,8 grande). Esos umbrales salieron de unos pocos experimentos de laboratorio en psicología social de los años sesenta, y los ensayos de campo en educación rara vez los alcanzan. Propone cinco pautas generales: (1) un tamaño del efecto correlacional no es un efecto causal; (2) la magnitud depende de qué, cuándo y con qué fiabilidad se mide el resultado; (3) las decisiones del investigador sobre muestra, desviación estándar de referencia y contraste con el grupo control cambian el número; (4) el costo importa; y (5) la escalabilidad importa.
Después propone referentes empíricos para una clase concreta de estudios, los causales con intervenciones de preescolar a grado 12 y resultados en pruebas estandarizadas de logro: menos de 0,05 es pequeño, de 0,05 a menos de 0,20 es mediano y 0,20 o más es grande. Salen de 1.942 tamaños del efecto de 747 ensayos aleatorizados, con una mediana de 0,10. Los estudios con 100 estudiantes o menos tienen una mediana de 0,24, frente a 0,03 en los de más de 2.000, y las pruebas diseñadas por el investigador y alineadas con la intervención suelen dar efectos de dos a cuatro veces mayores que las estandarizadas amplias. Cierra con una matriz que cruza tamaño del efecto, costo por estudiante y facilidad de escalar.
Para tu tesis hay un límite claro: esos referentes valen para estudios causales con grupo control y pruebas estandarizadas. Tu diseño es pre-post, sin grupo control, con grupos intactos de unos 30 y con instrumentos propios alineados con la intervención, y todo eso, según el propio Kraft, infla el efecto. Úsalo para ajustar expectativas y para justificar que interpretas H2 como estimación con intervalo, no para clasificar tu d con su tabla. El PDF disponible es el working paper (EdWorkingPaper 19-10, agosto de 2019): las páginas de las citas son las del working paper, y antes de citarlas en la tesis conviene ubicarlas en la versión de Educational Researcher.
Citas por color
Las citas son textuales del PDF (Zotero/PDF actualizacion/Kraft-2020.pdf), que corresponde a la versión EdWorkingPaper 19-10. Las páginas son las impresas en el working paper (pp. del working paper), no las de la revista (241–253). El PDF aún no está subrayado en Zotero; estas citas guían ese subrayado.
Definiciones (azul)
Definición (p. 5 del working paper)
“Most basically, effect sizes are a measure of differences in means between two subgroups divided by the standard deviation of the measure of interest” (p. 5)
Mi nota: Definición base de la d. En tu caso no hay dos grupos sino dos momentos (pre y post), y luego dos ciclos; dilo explícitamente en el capítulo 3.
Definición (p. 9 del working paper)
“education researchers frequently use the term “effect size” to report changes in performance over time and estimates from regression models using observational data.” (p. 9)
Mi nota: Tu d pre-post es de este tipo: un cambio en el tiempo, no un efecto causal aislado. Nómbralo como “tamaño del cambio” o “efecto pre-post” para no prometer causalidad que el diseño sin control no da.
Ideas principales (amarillo)
Idea principal (p. 3 del working paper)
“However, Cohen’s standards are based on a handful of small, tightly controlled lab experiments in social psychology from the 1960s performed largely on undergraduates.” (p. 3)
Mi nota: Razón para no decir “efecto grande” solo porque tu d pase de 0,8. Esos umbrales no se hicieron para aulas de secundaria.
Idea principal (p. 10 del working paper)
“Studies are more likely to find larger effects on outcomes that are easier to change, proximal to the intervention, administered soon after the intervention is completed, and measured with more precision” (p. 10)
Mi nota: Tu rúbrica de competencias experimentales es próxima a la intervención y se aplica justo al terminar cada ciclo. Espera efectos altos y explica por qué en la discusión.
Idea principal (p. 26 del working paper)
“Effect sizes that are equal in magnitude are rarely equal in importance.” (p. 26)
Mi nota: Un mismo valor de d puede pesar distinto según el costo y el contexto. Unos simuladores propios de bajo costo que funcionan sin conexión en dos colegios rurales hacen más valioso un efecto moderado.
Metodología (morado)
Metodología (pp. 20–21 del working paper)
“These proposed benchmarks are based on the distribution of 1,942 effect sizes from 747 RCTs evaluating education interventions with standardized test outcomes” (pp. 20–21)
Mi nota: De dónde salen los referentes: solo ensayos aleatorizados con pruebas estandarizadas. Tu estudio no pertenece a esa clase, y debes decirlo cuando los menciones.
Metodología (p. 14 del working paper)
“When baseline outcome measures are not available, it is preferable to use the SD of the control group outcome rather than the pooled sample because the intervention may have affected the variation in outcomes among the treatment group.” (p. 14)
Mi nota: Sin grupo control, la decisión equivalente es qué desviación estándar usas: la del pretest es la opción más defendible, porque la intervención puede cambiar la dispersión del postest. Decláralo antes de recoger datos y usa la misma regla en el ciclo 1 y el ciclo 2.
Evidencia (verde)
Evidencia (p. 20 del working paper)
“I propose the following benchmarks for effect sizes from causal studies of pre-K–12 education interventions evaluating effects on student achievement: less than 0.05 is Small, 0.05 to less than 0.20 is Medium, and 0.20 or greater is Large.” (p. 20)
Mi nota: Los referentes nuevos. Sirven como horizonte de lo que logran las intervenciones educativas rigurosas, no como tabla para clasificar tu resultado pre-post.
Evidencia (p. 22 del working paper)
“Effect sizes from studies with samples greater than 2,000 students are several times smaller than studies with 100 students or fewer (medians of 0.03 vs. 0.24 SD).” (p. 22)
Mi nota: Los estudios pequeños como el tuyo tienden a efectos mayores. Úsalo en la discusión para no sobreinterpretar una ganancia alta con unos 30 estudiantes por grupo.
Evidencia (p. 10 del working paper)
“Even among measures of student achievement, effect sizes for researcher-designed and specialized topic tests aligned with the treatment are often two to four times larger than effects on broad standardized state tests” (p. 10)
Mi nota: Tus instrumentos son propios y alineados con la unidad de dinámica. Si puedes, añade algunos ítems de tipo Saber 11 para tener una medida menos alineada y comparar.
Tensiones y vacíos (rojo)
Tensión o vacío (p. 14 del working paper)
“However, scholars and consumers of research should expect these approaches to produce effect sizes that are approximately 1.5 to 3 times larger than effect sizes scaled relative to student-level scores” (p. 14)
Mi nota: Si estandarizas con la desviación estándar de las ganancias (la d de puntuaciones pareadas), tu efecto saldrá inflado frente a la literatura. Reporta las dos versiones o elige la del pretest y explícalo.
Tensión o vacío (p. 12 del working paper)
“They find that measurement error accounts for 17 percent of the variance in standardized test scores, but 84 percent of the variance in test score gains (changes in students’ scores across time).” (p. 12)
Mi nota: Las ganancias son mucho menos fiables que las puntuaciones. Comparar la ganancia del ciclo 2 con la del ciclo 1 (H2) acumula ese ruido, otra razón para trabajar con intervalos y no con un sí o no de significancia.
Citas para usar (naranja)
Cita para usar (p. 3 del working paper)
“Cohen (1988) himself advised that his benchmarks were “recommended for use only when no better basis for estimating the [effect size] index is available” (p. 25).” (p. 3)
Mi nota: Frase para el capítulo 3: el propio Cohen pidió usar sus umbrales solo a falta de algo mejor. Te sirve para justificar que comparas con referentes de estudios parecidos.
Cita para usar (p. 19 del working paper)
“Fixed benchmarks are easy to use and provide unambiguous answers, but fail to account for important contextual differences across studies or to reflect the degree of statistical uncertainty inherent in any estimate.” (p. 19)
Mi nota: Cita directa para H2: un umbral fijo no recoge la incertidumbre. Por eso estimas la diferencia de ganancias entre ciclos con su intervalo de confianza.
Conexión con la tesis
Kraft (2020) te ayuda a interpretar con prudencia los tamaños del efecto de los dos ciclos y a defender que H2 se trabaje como estimación y no como prueba de significancia. Su crítica a los umbrales de Cohen (p. 3) y la advertencia de que los referentes fijos no reflejan la incertidumbre (p. 19) justifican reportar la diferencia entre la ganancia del ciclo 2 y la del ciclo 1 con su intervalo. Sus pautas además te dicen qué esperar de tu diseño: los resultados próximos a la intervención (p. 10), los instrumentos propios alineados (p. 10), las muestras pequeñas (p. 22) y la estandarización con ganancias (p. 14) tienden a inflar el efecto, y las ganancias se miden con mucho error (p. 12). En la práctica, eso pide tres decisiones antes de recoger datos: qué desviación estándar usarás (la del pretest es la más defendible), cómo nombrarás el efecto pre-post sin grupo control (como cambio, no como efecto causal) y con qué referentes lo compararás, por ejemplo metaanálisis de simulaciones o de enseñanza del control de variables. Los referentes de Kraft (0,05 y 0,20) no aplican de forma directa a tu estudio, porque vienen de ensayos aleatorizados con pruebas estandarizadas (pp. 20–21); úsalos como horizonte realista de lo que logran las intervenciones educativas a escala. Recuerda que las páginas de esta nota son las del working paper.
Conectado a
- Cohen (1988): el origen de los umbrales 0,2, 0,5 y 0,8 que Kraft discute y que la tesis no debe usar de forma mecánica.
- Cheung y Slavin (2016): la evidencia sobre cómo el tamaño de la muestra y el tipo de prueba inflan los efectos, en la que Kraft se apoya.
- Hake (1998): la ganancia normalizada, la otra métrica de cambio pre-post que podrías reportar junto a la d.
- Nissen et al. (2018): la comparación entre ganancia de Hake y d de Cohen, útil para elegir y justificar la métrica de H2.
- MOC - Mapa de contenidos
Mi reflexión
Preguntas orientadoras
Escoge una o responde varias. Graba en tus propias palabras (1 a 3 minutos).
- Si tu rúbrica, propia y alineada con la unidad, da una d grande en el ciclo 1, ¿cómo la explicarías sabiendo que Kraft espera efectos mayores en instrumentos de ese tipo?
- ¿Con qué desviación estándar calcularás la ganancia de cada ciclo y cómo garantizas que usas la misma regla en el pilotaje, el ciclo 1 y el ciclo 2?
- ¿Cómo redactarías el resultado de H2 si el intervalo de la diferencia entre la ganancia del ciclo 2 y la del ciclo 1 incluye el cero?
Reflexión de voz
Graba tu reflexión sobre este texto usando el botón de abajo.
Colores Zettelkasten: azul = definición | amarillo = idea principal | morado = metodología | verde = evidencia | rojo = tensión o vacío | naranja = cita para usar