Análisis del desempeño de ChatGPT en exámenes de Ingeniería Informática
Date
2024Abstract
La aparición de ChatGPT a finales del 2022 supuso
un hito en el campo de las Inteligencias Artificiales Generativas,
pero también causó un gran revuelo en el mundo académico. Por
primera vez, una interfaz sencilla permitía a cualquier persona
acceder a un modelo de lenguaje de gran tamaño y utilizarlo para
generar texto. Estas capacidades pueden tener, sin duda, un impacto
relevante en las metodologías de enseñanza-aprendizaje y
también en los métodos de evaluación. Con el objetivo de obtener
una medida real del posible desempeño de ChatGPT en la resolución
de exámenes, se le ha puesto a prueba con los exámenes de
15 asignaturas de Ingeniería del Software de un grado de Ingeniería
Informática. A la luz de los resultados, ChatGPT es capaz
de lograr un desempeño relevante en estos exámenes; ya que, es
capaz de superar una cantidad significativa de preguntas y problemas
de diferente naturaleza en múltiples asignaturas. Como
contribución fundamental, se proporciona un estudio detallado
de los resultados por tipología de preguntas y problemas, que
permite establecer unas recomendaciones a tener en cuenta en el
diseño de los métodos de evaluación. Además, se presenta un
análisis del impacto del aspecto no determinista de ChatGPT en
las respuestas de las preguntas de test.