Teig (2024): Logs de indagación revelan estrategias que el puntaje oculta
Referencia (APA 7): Teig, N. (2024). Uncovering student strategies for solving scientific inquiry tasks: Insights from student process data in PISA. Research in Science Education, 54(2), 205–224. https://doi.org/10.1007/s11165-023-10134-5
Capítulo: Cap. 3 – Método (referencia) · Subcategorías: 3.b Instrumentos, validación y medición del cambio · Mapa: MOC - Mapa de contenidos
Resumen
Nani Teig, de la Universidad de Oslo, usa los archivos de registro (logs) de las tareas interactivas de ciencias de PISA 2015 en Noruega para mostrar qué hacen los estudiantes mientras indagan, y no solo si aciertan. Se apoya en el marco de indagación de Rönnebeck et al. (2016) y se concentra en dos habilidades: coordinar los efectos de varias variables (incluida la estrategia VOTAT, variar una cosa a la vez) y coordinar una afirmación teórica con la evidencia. Del log extrae cuatro tipos de indicadores: conducta exploratoria (número de acciones y de ensayos), estrategia (secuencia de acciones con su marca de tiempo), tiempo de respuesta (tiempo antes de la primera acción y tiempo total) y precisión de la respuesta.
Presenta dos ejemplos. En el primero aplica minería de procesos (process mining, software Disco) a 81 estudiantes de 10.° grado del ensayo de campo con la tarea Running in Hot Weather: el 63,7 % siguió secuencias con VOTAT, pero solo el 40,7 % de quienes usaron VOTAT resolvió bien la tarea; quienes fallaron del todo hicieron menos ensayos y empezaron a manipular antes. En el segundo aplica análisis de perfiles latentes a 1.222 estudiantes de PISA 2015 en una tarea multivariable y encuentra tres perfiles (estratégico, emergente y desenganchado). El perfil emergente usa la estrategia y elige bien la afirmación, pero explica la relación afirmación-evidencia tan mal como el desenganchado. Los perfiles con mejor desempeño reportan más prácticas de indagación en clase, sobre todo debates sobre investigaciones.
Los límites pesan. Es un estudio ilustrativo, con dos tareas y un solo país, y la relación con las prácticas de aula es correlacional. Los logs de PISA no se diseñaron para estudiar el pensamiento, y la propia autora pide validar los indicadores. Además, la Tabla 1 del ejemplo 1 da una media de 1,78 s antes de la primera acción, mientras el texto reporta 16 a 19 s por grupo; conviene citar los porcentajes y los patrones, no esas cifras de tiempo.
Citas por color
Las citas son textuales del PDF (Zotero/PDF actualizacion/Teig-2024.pdf) y las páginas son las impresas de la revista (205–224). El PDF aún no está subrayado en Zotero; estas citas guían ese subrayado.
Definiciones (azul)
Definición (p. 206)
“Log files document the on-screen behavior of test-takers during the assessment, capturing activities like clicks and keystrokes, each accompanied by its respective timestamp.” (p. 206)
Mi nota: Es exactamente lo que harán tus simuladores propios: guardar cada acción con su hora. Define así el log en el capítulo 3 antes de describir qué indicadores sacas de él.
Definición (p. 207)
“To transform the raw data captured in log files into meaningful process data, researchers need to extract specific indicators that represent their construct of interest.” (p. 207)
Mi nota: El log crudo no es todavía un dato de proceso. Tienes que definir de antemano qué indicador representa cada competencia: control de variables, número de ensayos, predicción antes de manipular.
Definición (pp. 208–209)
“This strategy adheres to the principle of isolated variation by changing one variable of interest at a time while ensuring all other variables remain unchanged.” (pp. 208–209)
Mi nota: Definición operativa de VOTAT que puedes traducir a una regla sobre el log: entre dos ensayos consecutivos cambia una sola variable (masa o fuerza, por ejemplo) y las demás quedan iguales.
Ideas principales (amarillo)
Idea principal (p. 206)
“Even students who receive identical scores on the same task may interact with the computer-based environment differently.” (p. 206)
Mi nota: Este es el argumento para no quedarte solo con el pretest y el postest: dos estudiantes con la misma nota pueden haber indagado de formas muy distintas, y eso solo lo ves en el log.
Idea principal (p. 209)
“While the VOTAT strategy helps identify the effects of individual variables, it is not adequate for complex inquiry tasks involving several interacting variables” (p. 209)
Mi nota: En dinámica newtoniana la aceleración depende a la vez de la fuerza y de la masa. Dominar VOTAT es el primer paso; coordinar las dos variables es otra exigencia que tu secuencia debe enseñar de forma explícita.
Metodología (morado)
Metodología (p. 210)
“The preprocessed dataset includes several key indicators: (1) inquiry exploration behavior, represented by the number of actions and number of trials; (2) inquiry strategy, denoted by the sequence of action and timestamp; (3) response time, quantified by the amount of time that elapsed before students conducted the first action and the total amount of time students spent during the task or time-on-task; and (4) response accuracy, measured by the scores on multiple-choice and constructed response from the tasks.” (p. 210)
Mi nota: Lista de indicadores casi lista para tu tabla de operacionalización. El “tiempo antes de la primera acción” se acerca a tu indicador de predicción antes de manipular, aunque el tuyo será más directo si el simulador pide la predicción por escrito.
Metodología (p. 212)
“The following information is needed to capture process-based data in the log files and generate the process model: (1) case or a unique identifier of the individual who performed the process, such as student ID; (2) event or activity, a well-defined step as part of the process, such as AirTemp-1 that represents a student setting the air temperature to a specific value in the first simulation trial; and (3) timestamp from each activity to determine the order of events.” (p. 212)
Mi nota: Requisito técnico para tus simuladores: cada registro debe tener código del estudiante, evento con nombre claro (por ejemplo “Masa-1 = 2 kg”) y marca de tiempo. Si los diseñas así desde el pilotaje, podrás aplicar minería de procesos sin reprogramar nada.
Evidencia (verde)
Evidencia (p. 214)
“Nevertheless, only 40.7% of the students who demonstrated the VOTAT strategy solved the task correctly” (p. 214)
Mi nota: Aplicar bien el control de variables no garantiza llegar a la conclusión correcta. Por eso tu rúbrica debe puntuar por separado el diseño del ensayo y la conclusión.
Evidencia (p. 219)
“Interestingly, while students in the emergent profile were more likely to use the Interactive strategy and choose the right claim, their probabilities to explain the relationships between the claim and evidence appropriately were as low as those of the disengaged students.” (p. 219)
Mi nota: La competencia que más cuesta es explicar por qué los datos respaldan la afirmación. Es un buen candidato para el ajuste entre ciclos: si en el pilotaje tus estudiantes manipulan bien pero concluyen mal, el ciclo 1 debe reforzar la argumentación.
Evidencia (p. 221)
“Although most students who did not solve the tasks correctly were able to produce sufficient data through the simulation, they could not explain why these data serve as evidence or how the data may support their claims.” (p. 221)
Mi nota: Refuerza la anterior con otra tarea. Respalda que la mediación del docente se concentre en la interpretación de datos y las conclusiones, no solo en el manejo del simulador.
Tensiones y vacíos (rojo)
Tensión o vacío (p. 207)
“Currently, log files from large-scale assessments are not purposely designed to provide insight into how students think and solve the tasks; instead, they are byproducts of the assessment shift to the digital mode” (p. 207)
Mi nota: Aquí está la ventaja de tus simuladores propios: tus logs sí se diseñan a propósito para tus competencias. Puedes presentarlo como aporte metodológico frente a PISA.
Tensión o vacío (p. 207)
“The interpretation of indicators derived from log files needs to be theoretically and empirically validated to make log files valuable as sources of process data” (p. 207)
Mi nota: No basta con contar clics. Para cada indicador necesitas una justificación teórica y alguna validación empírica, por ejemplo cruzar el indicador de control de variables del log con la puntuación de la rúbrica en el pilotaje.
Citas para usar (naranja)
Cita para usar (p. 220)
“Teachers can take a proactive role by emphasizing the importance of changing one variable at a time to determine a fair and reliable investigation.” (p. 220)
Mi nota: Frase para el capítulo de diseño: el papel activo del docente en la mediación, no el simulador solo.
Cita para usar (p. 222)
“PM was helpful in visualizing the sequence of students’ steps and actions during the simulation, whereas LPA proved to be an effective method for uncovering unique patterns in students’ interactions with the technology-based environment, leading to the identification of distinct profiles of their inquiry performance.” (p. 222)
Mi nota: Justifica las dos vías de análisis que puedes aplicar a tus logs. Con grupos de unos 30 estudiantes, la minería de procesos y una tipología descriptiva de estrategias son viables; un análisis de perfiles latentes formal necesita muestras mucho mayores.
Conexión con la tesis
Teig (2024) es el referente más directo para el uso de los logs de tus simuladores propios. Aporta tres cosas: una definición de datos de proceso y la advertencia de que los indicadores deben construirse y validarse (p. 207); una lista concreta de indicadores (acciones, ensayos, secuencia, tiempo antes de la primera acción) que puedes ajustar a control de variables, número de ensayos y predicción antes de manipular (p. 210); y un procedimiento, la minería de procesos, con los campos mínimos que debe guardar el log (p. 212). Sus resultados también orientan el diseño de la mediación: muchos estudiantes de 10.° grado controlan variables pero no logran justificar la conclusión con la evidencia (pp. 214, 219, 221), un patrón que puedes vigilar en el pilotaje y atender en el ciclo 1 y el ciclo 2. El contraste entre los logs de PISA, subproducto de la evaluación digital, y los tuyos, diseñados a propósito, es un argumento para defender que los simuladores sean de diseño propio. Ten presente el límite de tamaño: con grupos intactos de unos 30 estudiantes, el análisis de perfiles latentes queda fuera de alcance y lo razonable es la minería de procesos descriptiva y una tipología de estrategias.
Conectado a
- Gobert et al. (2015): la minería de datos educativos sobre logs para evaluar el diseño y la conducción de experimentos, el antecedente metodológico más cercano a este estudio.
- Schwichow et al. (2016): el metaanálisis sobre la enseñanza del control de variables, que da sustento a enseñar VOTAT de forma explícita.
- Zacharia et al. (2015): los tipos de guía en laboratorios virtuales que Teig recomienda para andamiar el control de variables.
- MOC - Mapa de contenidos
Mi reflexión
Preguntas orientadoras
Escoge una o responde varias. Graba en tus propias palabras (1 a 3 minutos).
- ¿Qué eventos exactos debe registrar tu simulador de dinámica para que en el pilotaje puedas comprobar que el indicador de control de variables mide lo que dice medir?
- Si en el pilotaje tus estudiantes manipulan bien las variables pero no justifican sus conclusiones, ¿qué cambiarías en la mediación del ciclo 1 y cómo lo verías en los logs del ciclo 2?
- Con grupos de unos 30 estudiantes, ¿qué análisis de los logs harías en cada uno de los dos ciclos para comparar estrategias sin forzar técnicas que piden muestras grandes?
Reflexión de voz
Graba tu reflexión sobre este texto usando el botón de abajo.
Colores Zettelkasten: azul = definición | amarillo = idea principal | morado = metodología | verde = evidencia | rojo = tensión o vacío | naranja = cita para usar