Evaluación asistida por LLM: Validación cruzada entre ChatGPT y profesorado universitario

Resumen

La incorporación de herramientas de Inteligencia Artificial Generativa (IAGen) en educación superior plantea nuevos desafíos y oportunidades, especialmente en el ámbito de la evaluación. Si bien varias investigaciones han señalado su potencial como complemento a la práctica docente, también se ha advertido su tendencia a sobrevalorar el desempeño del alumnado, lo que evidencia la necesidad de explorar su fiabilidad en contextos reales. Esta investigación analiza la correspondencia entre las observaciones y puntuaciones otorgadas por una herramienta de IA (ChatGPT o3) y una docente, a partir de una práctica desarrollada por estudiantes de una asignatura obligatoria del Grado en Pedagogía, Grupo 1 (obtuvieron mayor puntuación y Grupo 2 (menor). La comparación se ha realizado en una tarea centrada en la identificación y el análisis de las fases de un proceso de evaluación presentadas en un Informe de Evaluación concreto. Se ha empleado un único instrumento de evaluación mixto (lista de control y una escala de valoración). Se advierten diferencias significativas en la puntuación global obtenida en ambos grupos, siendo significativamente superiores en las otorgadas por ChatGPT o3 (+1,4 puntos y +2, en el Grupo 1 y Grupo 2, respectivamente). Estas divergencias permiten reflexionar sobre los criterios implícitos en los sistemas de IAGen y su alineación con los criterios de evaluación académicos. El estudio aporta evidencias iniciales sobre las posibilidades y limitaciones del uso de IA en la evaluación universitaria, subrayando la necesidad de investigaciones adicionales que profundicen en su adecuación según el área de conocimiento y el tipo de competencia evaluada

Presentadores

Susana Olmos MiguelÁÑez
Catedrática de Universidad, Research Institute on Educational Sciences (IUCE)., UNIVERSIDAD DE SALAMANCA, Salamanca, Spain

Marina García-Herrero
Doctoral Student, Research Institute on Educational Sciences (IUCE), University of Salamanca, Salamanca, Spain

Alberto Ortiz López
Profesor Ayudante Doctor, Universidad de Salamanca, Spain

Maria Soledad Ibarra Sáiz
Directora de la Cátedra UNESCO en Evaluación, Innovación y Excelencia en Educación, Grupo de Investigación EVALfor - Evaluación en contextos formativos, Universidad de Cádiz, Cádiz, Spain

Gregorio Rodríguez Gómez
Professor of Educational Research Methods, EVALfor Research Group - Assessment and Evaluation in Training Contexts, Universidad de Cádiz, Cádiz, Spain

Details

Presentation Type

Ponencia temática de un trabajo

Theme

Currículum, Evaluación y Tecnologías en Educación

KEYWORDS

Inteligencia Artificial, Evaluación Educativa, Educación Superior, Análisis Comparado