Cerda Etchepare et al. (2018): TOLT validado en español mide control de variables en secundaria
Referencia (APA 7): Cerda Etchepare, G., Pérez Wilson, C., Pabón Ponce, K., & León Ron, V. (2018). Análisis de los esquemas de razonamiento formal en estudiantes de Educación Secundaria chilenos mediante la validación del Test of Logical Thinking (TOLT). Journal of Educational, Cultural and Psychological Studies, (18), 55–74. https://doi.org/10.7358/ecps-2018-018-cerd
Capítulo: Cap. 3 – Método (referencia) · Subcategorías: 3.b Instrumentos, validación y medición del cambio · Mapa: MOC - Mapa de contenidos
Resumen
Cerda Etchepare y colegas (Universidad de Concepción, Universidad de O’Higgins y Universidad Técnica del Norte de Ecuador) validan en Chile la versión en español del Test of Logical Thinking (TOLT) de Tobin y Capie (1981), adaptada en España por Acevedo y Oliva (1995). Aplican el test a una muestra probabilística estratificada de 2348 estudiantes de secundaria de 14 a 18 años, de colegios particulares pagados, subvencionados y municipales. El TOLT tiene diez tareas de lápiz y papel, dos por cada esquema de razonamiento: proporcionalidad, control de variables, probabilidad, correlación y combinatoria. En las ocho primeras el estudiante elige respuesta y justificación, y solo se puntúa como correcta si ambas lo son. Se responde en 38 minutos.
Los resultados psicométricos son favorables: alfa de Cronbach de 0,95, un análisis factorial exploratorio y uno confirmatorio que sostienen la estructura de cinco factores con un factor de segundo orden, y correlaciones moderadas con el promedio general de notas (r = 0,435), con el promedio de matemáticas (r = 0,334) y con un test de inteligencia lógica (r = 0,465). El nivel de logro es bajo: media de 2,83 sobre 10 y mediana de 2. Las mejores tareas son las de proporcionalidad y correlación, y las peores las de probabilidad. Hay diferencias por curso (con tendencia creciente), por género y, sobre todo, por tipo de colegio: 4,69 en particulares pagados, 2,88 en subvencionados y 1,41 en municipales.
Para la tesis hay que leer sus límites. El estudio está orientado a matemáticas, no a ciencias. El control de variables, el esquema que más interesa, se mide con solo dos tareas, lo que da poca resolución para seguir cambios dentro de una unidad. Los autores advierten que el bajo logro deja un rango estrecho que dificulta discriminar, sobre todo en estudiantes de nivel socioeconómico bajo, y que la estructura factorial se limita a la población chilena. El alfa de 0,95 es llamativamente alto para diez ítems dicotómicos, y el artículo no detalla la fiabilidad por esquema.
Citas por color
Las citas son textuales del PDF (Zotero/PDF actualizacion/Cerda-2018.pdf). Las páginas son las impresas en la revista (pp. 55–74); el PDF incluye antes cuatro páginas del sumario del número. El PDF aún no está subrayado en Zotero; estas citas guían ese subrayado.
Definiciones (azul)
Definición (p. 57)
“examina distintos esquemas de razonamiento que están en la base de los programas curriculares, como lo son: proporcionalidad, control de variables, probabilidad, correlación y combinatoria.” (p. 57)
Mi nota: Dos de los cinco esquemas te tocan de lleno: control de variables, que es una de tus competencias experimentales, y proporcionalidad, que está detrás de la relación entre fuerza y aceleración.
Definición (p. 58)
“El pensamiento formal es una condición necesaria y suficiente para acceder al conocimiento científico (Molina & Rada, 2013)” (p. 58)
Mi nota: Es una afirmación fuerte y discutible, porque “necesaria y suficiente” es mucho decir. Úsala para mostrar la tradición piagetiana del instrumento, no como premisa de tu tesis.
Ideas principales (amarillo)
Idea principal (p. 58)
“Es necesario distinguir entre la respuesta que los estudiantes dan a un problema y los procedimientos o estrategias que emplean en dicho proceso” (p. 58)
Mi nota: Es la misma lógica de tu registro de interacción: no basta con saber si el estudiante llegó a la conclusión correcta, importa cómo manipuló las variables para llegar.
Idea principal (p. 57)
“especialmente el proporcional, con la capacidad para estimar distancias lineales, superficies y relaciones de volumen (Jones, Taylor, & Broadwell, 2009; Taylor & Jones, 2009), o con la mayor comprensión y aplicación de conceptos de la mecánica (Oliva, 2010)” (p. 57)
Mi nota: El vínculo con la mecánica es el puente hacia tu unidad de dinámica newtoniana: el razonamiento proporcional podría ser una variable de entrada que explique por qué algunos estudiantes avanzan más.
Metodología (morado)
Metodología (p. 60)
“El TOLT está constituido por diez tareas de lápiz y papel, que se distribuyen de a dos por cada uno de los cinco esquemas de razonamiento que evalúa” (p. 60)
Mi nota: Dos tareas de control de variables son pocas para medir cambio. Si lo usas, sería mejor como caracterización inicial del grupo y no como medida principal de tus ciclos.
Metodología (p. 60)
“La puntuación de cada tarea se considera correcta si y sólo si el individuo elige la alternativa correcta tanto para el resultado como para la explicación.” (p. 60)
Mi nota: La exigencia de respuesta más justificación es valiosa: evita aciertos al azar y se parece a lo que tú pides cuando el estudiante debe sostener una conclusión con sus datos.
Metodología (p. 60)
“se aplicó su versión en español, la cual fue validada en España por Acevedo y Oliva (1995)” (p. 60)
Mi nota: Ya hay versión en español, lo que te ahorra traducción. Aun así, en el pilotaje deberías revisar el vocabulario con estudiantes de Lorica.
Evidencia (verde)
Evidencia (p. 62)
“sólo en dos ítems los estudiantes alcanzan el poco más que el 40% de respuestas correctas y en seis de ellos, las respuestas correctas alcanzan menos del 30%.” (p. 62)
Mi nota: Si estudiantes chilenos de secundaria rinden así, es probable que tus grupos de 10.° también arranquen bajo. Eso es un buen punto de partida para ver mejora, pero también un riesgo de efecto suelo.
Evidencia (p. 65)
“presenta una media de 2.83 puntos y una desviación típica de 2.66 puntos, con una mediana de 2 puntos.” (p. 65)
Mi nota: Dato de referencia para comparar el puntaje inicial de tus grupos con una población latinoamericana grande.
Evidencia (p. 65)
“(M = 4.69, DT = 3.12; M = 2.88, DT = 2.50 y M = 1.41, DT = 1.59 respectivamente)” (p. 65)
Mi nota: La diferencia entre colegios privados y municipales es enorme. Para instituciones públicas rurales como las tuyas, el dato más cercano es el de los municipales (1,41), lo que anticipa un punto de partida muy bajo.
Tensiones y vacíos (rojo)
Tensión o vacío (p. 69)
“podría dificultar mecanismos de discriminación inicial en los estudiantes al tener un rango de logro estrecho.” (p. 69)
Mi nota: Advertencia de los propios autores: con puntajes tan bajos el test separa mal a los estudiantes. Es otra razón para no apoyar en el TOLT la medición del cambio entre ciclos.
Tensión o vacío (p. 66)
“este hallazgo queda, a priori, circunscrito a la población escolar chilena, que es donde se ha realizado el análisis de la estructura factorial del instrumento.” (p. 66)
Mi nota: La validez no se traslada automáticamente a Colombia. Si lo aplicas, tendrás que reportar al menos la fiabilidad en tu propia muestra.
Citas para usar (naranja)
Cita para usar (p. 66)
“el test TOLT puede ser un valioso aporte al sistema educativo chileno, en la medida en que se cuenta con un instrumento que permite medir de forma adecuada, cinco esquemas formales de razonamiento lógico matemático” (p. 66)
Mi nota: Frase para justificar en el capítulo 3 que el TOLT está validado en secundaria latinoamericana, como alternativa o complemento al test de Lawson.
Conexión con la tesis
Esta validación ofrece a la tesis un instrumento en español, aplicado en una muestra grande de secundaria latinoamericana, que mide el control de variables y el razonamiento proporcional, dos capacidades que están en la base de las competencias experimentales y de la relación F = m·a. Su mejor uso en el diseño de José Luis no es como medida central del cambio, porque tiene solo dos tareas de control de variables, muestra bajo logro y un rango estrecho (p. 69). Funciona mejor como caracterización inicial de los grupos de 10.° antes del pilotaje: permite describir con qué razonamiento formal llegan los estudiantes y analizar después si quienes parten más bajo aprovechan de forma distinta la guía mínima que se retira gradualmente (C1) y la planificación previa (C5). El dato de los colegios municipales chilenos (media de 1,41) anticipa un punto de partida bajo en instituciones públicas rurales. Si se usa, la tesis tendrá que reportar la fiabilidad en su propia muestra, porque los autores limitan la validez factorial a Chile (p. 66). La medición principal de competencias experimentales tendrá que venir de rúbricas de desempeño y del registro de interacción de los simuladores.
Conectado a
- Schwichow et al. (2016): el metaanálisis sobre enseñar control de variables, que es el esquema del TOLT más ligado a tus competencias experimentales.
- van Riesen et al. (2018): muestra que el andamiaje del diseño experimental ayuda más a quien sabe menos, lo que da sentido a medir el razonamiento de entrada.
- Etkina et al. (2006): las rúbricas de habilidades científicas son la alternativa de desempeño que complementa a una prueba de lápiz y papel como el TOLT.
- Nissen et al. (2018): advierte sobre cómo los puntajes iniciales afectan las medidas de ganancia, clave con un test de logro tan bajo.
- MOC - Mapa de contenidos
Mi reflexión
Preguntas orientadoras
Escoge una o responde varias. Graba en tus propias palabras (1 a 3 minutos).
- Si aplicas el TOLT al inicio y tus estudiantes de 10.° sacan en promedio 1 o 2 sobre 10, ¿cómo usarías ese dato para ajustar la guía del simulador entre el pilotaje y el primer ciclo?
- El TOLT tiene solo dos tareas de control de variables. ¿Qué otra evidencia, como rúbricas o el registro del simulador, usarías para seguir esa competencia a lo largo de los dos ciclos?
- El estudio muestra diferencias grandes por tipo de colegio. ¿Qué te dice eso sobre lo que puedes esperar en tus dos instituciones rurales y sobre cómo presentar tus resultados sin compararlos con colegios urbanos privados?
Reflexión de voz
Graba tu reflexión sobre este texto usando el botón de abajo.
Colores Zettelkasten: azul = definición | amarillo = idea principal | morado = metodología | verde = evidencia | rojo = tensión o vacío | naranja = cita para usar