Evaluación de la calidad de modelos de IA generativa como aplicaciones de orientación universitaria
Autores
Estela Mayor-AlonsoSalto de línea
https://orcid.org/0000-0001-8226-3880
Salto de línea
Universidad de León
Javier VidalSalto de línea
https://orcid.org/0000-0003-1060-6957Salto de línea
Universidad de León
Agustín Rodríguez-EstebanSalto de línea
https://orcid.org/0000-0002-7409-5976Salto de línea
Universidad de León
DOI
https://doi.org/10.4438/1988-592X-RE-2025-411-729
Resumen
Los recientes avances tecnológicos están creando nuevos desafíos educativos. El auge de la Inteligencia Artificial está posibilitando la implementación de nuevas herramientas útiles para la educación. En el caso de los servicios de orientación universitaria se destacan aplicaciones como Copilot o ChatGPT, basadas en modelos de lenguaje multimodal. El objetivo de este estudio es analizar la calidad y la fiabilidad de las respuestas que proporcionan Copilot y ChatGPT a preguntas planteadas por estudiantado en redes informales. El método se basó en un enfoque cualitativo y de validación analítica que evaluase la precisión de las respuestas. Se aplicó en Copilot y ChatGPT4 una herramienta de observación conformada por 48 ítems, divididos en cuatro bloques temáticos: acceso, gestión, dificultad de estudios y empleabilidad, para quince universidades públicas. Se determinó un grado de ajuste suficiente del 100% para todos los bloques temáticos, excepto en gestión. En él, se encontraron dos ítems con un grado de ajuste insuficiente. Ambos fueron implementados en el nuevo modelo de lenguaje multimodal ChatGPT4o y se detectó una mejora en el grado de ajuste. Posteriormente, se describieron las respuestas proporcionadas por ChatGPT4o y la información encontrada en las páginas web, destacando la confusión respecto a la información del precio del crédito en las páginas web y la dificultad para encontrar el límite máximo de créditos a cursar simultaneando estudios. Se concluye que Copilot y ChatGPT tienen potencial como servicios de orientación universitaria. . La eficacia de estos asistentes de IA dependerá de la calidad y accesibilidad de la información en las páginas web universitarias. Es fundamental que las universidades organicen y actualicen la información de sus páginas para mejorar la efectividad de aplicaciones basadas en IA.
Palabras clave
inteligencia artificial, orientación, reconocimiento de estudios, tecnología de la educación, universidad.
Abstract
Recent technological advances are creating new educational challenges. The rise of Artificial Intelligence allows new useful tools for education to be implemented. For university guidance services, this includes applications such as Copilot and ChatGPT, based on multimodal language models. The aim of this study is to analyse the quality and reliability of the answers that Copilot and ChatGPT gave to questions posed by students in informal networks. The method was based on a qualitative, analytical validation approach to assess the accuracy of the answers. An observation tool was applied in Copilot and ChatGPT-4 for fifteen public universities. It consisted of 48 items, divided into four thematic blocks: access, management, difficulty of courses, and employability. The responses in three of the thematic blocs, the exception being management, were deemed 100% suitable. Two items in the management block were found to be insufficiently suitable. Both were presented to the new multimodal language model, ChatGPT-4o, which gave improved answers. Subsequently, the answers provided by ChatGPT-4o and the information found on the websites were described. This highlighted confusion regarding information about the price of transferring credit on the websites and the difficulty finding academic credit limits when studying more than one course at the same time. The study concludes that Copilot and ChatGPT have potential as university guidance services. Their effectiveness will depend on the quality and accessibility of information on university websites. Universities must organise and update the information on their websites to improve the effectiveness of AI-based applications.
Keywords
artificial intelligence, guidance, recognition of studies, education technology, university.
Cómo citar
Mayor-Alonso, E., Vidal, J, Rodríguez-Esteban, A. (2026) Evaluación de la calidad de modelos de IA generativa como aplicaciones de orientación universitaria. Revista De Educación, 411, 229-254 . https://doi.org/10.4438/1988-592X-RE-2025-411-729