Evaluación asistida por LLM: Validación cruzada entre ChatGPT y profesorado universitario

Resumen

La incorporación de herramientas de Inteligencia Artificial Generativa (IAGen) en educación superior plantea nuevos desafíos y oportunidades, especialmente en el ámbito de la evaluación. Si bien varias investigaciones han señalado su potencial como complemento a la práctica docente, también se ha advertido su tendencia a sobrevalorar el desempeño del alumnado, lo que evidencia la necesidad de explorar su fiabilidad en contextos reales. Esta investigación analiza la correspondencia entre las observaciones y puntuaciones otorgadas por una herramienta de IA (ChatGPT o3) y una docente, a partir de una práctica desarrollada por estudiantes de una asignatura obligatoria del Grado en Pedagogía, Grupo 1 (obtuvieron mayor puntuación y Grupo 2 (menor). La comparación se ha realizado en una tarea centrada en la identificación y el análisis de las fases de un proceso de evaluación presentadas en un Informe de Evaluación concreto. Se ha empleado un único instrumento de evaluación mixto (lista de control y una escala de valoración). Se advierten diferencias significativas en la puntuación global obtenida en ambos grupos, siendo significativamente superiores en las otorgadas por ChatGPT o3 (+1,4 puntos y +2, en el Grupo 1 y Grupo 2, respectivamente). Estas divergencias permiten reflexionar sobre los criterios implícitos en los sistemas de IAGen y su alineación con los criterios de evaluación académicos. El estudio aporta evidencias iniciales sobre las posibilidades y limitaciones del uso de IA en la evaluación universitaria, subrayando la necesidad de investigaciones adicionales que profundicen en su adecuación según el área de conocimiento y el tipo de competencia evaluada

Presentadores

Susana Olmos MiguelÁÑez
Catedrática de Universidad, Instituto Universitario de Ciencias de la Educación., UNIVERSIDAD DE SALAMANCA, Spain

Marina García-Herrero
Doctoral Student, University of Salamanca, Spain

Alberto Ortiz López
Profesor Ayudante Doctor, Universidad de Salamanca, Spain

Maria Soledad Ibarra Sáiz
Directora de la Cátedra UNESCO en Evaluación, Innovación y Excelencia en Educación, Grupo de Investigación EVALfor - Evaluación en contextos formativos, Universidad de Cádiz, Cádiz, Spain

Gregorio Rodríguez Gómez
Professor of Educational Research Methods, EVALfor Research Group - Assessment and Evaluation in Training Contexts, Universidad de Cádiz, Cádiz, Spain

Details

Presentation Type

Ponencia temática de un trabajo

Theme

Currículum, Evaluación y Tecnologías en Educación

KEYWORDS

Inteligencia Artificial, Evaluación Educativa, Educación Superior, Análisis Comparado