Carga cognitiva y esfuerzo mental durante el cambio de contexto en entornos de realidad aumentada con fines de aprendizaje procedimental

 

 

Cognitive load and mental effort during context switching in augmented reality environments for procedural learning purposes

 

 

 Dra. Fernanda Maradei-García. Profesora de planta. Universidad Industrial de Santander, Colombia

 Dr. Luis Eduardo Bautista-Rojas. Profesor de planta. Universidad Industrial de Santander, Colombia

 Dr. Gabriel Pedraza. Profesor de planta. Universidad Industrial de Santander, Colombia

 

 

 

 

 

 

 

Recibido: 2022/12/27 Revisado 2023/01/10 Aceptado: : 2023/06/15 Preprint: 2023/07/18 Publicado: 2023/09/01

 

 

Cómo citar este artículo:

Maradei-García, F., Bautista-Rojas, L.E., & Pedraza, G. (2023). Carga cognitiva y esfuerzo mental durante el cambio de contexto en entornos de realidad aumentada con fines de aprendizaje procedimental [Cognitive load and mental effort during context switching in augmented reality environments for procedural learning purposes]. Pixel-Bit. Revista de Medios y Educación, 68, 305-340. https://doi.org/10.12795/pixelbit.67479

 

 

 

 

RESUMEN

La Realidad Aumentada es usada en el aprendizaje procedimental por su capacidad de mostrar información registrada en el espacio. Sin embargo, algunos autores argumentan que podría incrementar el esfuerzo mental de los usuarios, al requerir cambios continuos en el enfoque de atención entre el contenido real y el contenido virtual. El objetivo es conocer la presencia de carga cognitiva y esfuerzo mental, cuando se presentan cambios de contexto en el uso de realidad aumentada en tareas de aprendizaje procedimental. Se ejecutó un estudio descriptivo-inferencial para evaluar la carga cognitiva subjetiva y el esfuerzo mental, durante actividades de aprendizaje procedimental de anatomía de superficie de la rodilla humana. Se combinaron medidas subjetivas basadas en auto reportes, y medidas objetivas, basadas en pupilometría y rastreo ocular. Se evaluó la actividad de aprendizaje en treinta y cuatro participantes sin experiencia en la actividad. Los resultados generales mostraron que la medida de Carga Cognitiva Subjetiva y las medidas de rastreo ocular, evidencian diferencias significativas entre los tratamientos. Sin embargo, la medida de pupilometría no mostró diferencias.

 

 

ABSTRACT

Augmented Reality is used in procedural learning for its ability to display spatially registered information. However, some authors argue that it could increase users' mental effort by requiring continuous shifts of attention between real and virtual content. The aim is to investigate the presence of cognitive load and mental effort when context changes occur in the use of augmented reality in procedural learning tasks. A descriptive-inferential study was conducted to assess subjective cognitive load and mental effort during procedural learning activities related to human knee surface anatomy. Subjective measures based on self-reports and objective measures based on pupillometry and eye tracking were combined. Learning activity was evaluated in thirty-four participants with no prior experience in the activity. The overall results indicated that the Subjective Cognitive Load measure and eye tracking measures showed significant differences between the treatments. However, the pupillometry measure did not show differences.

 

 

PALABRAS CLAVES· KEYWORDS

Realidad aumentada, aprendizaje virtual, esfuerzo mental, tecnología educativa, entorno de aprendizaje

Augmented reality, virtual learning, mental effort, educational technology, learning environment

 

 

 

1. Introducción

La Realidad Aumentada (RA) es una tecnología que facilita la integración en tiempo real de información digital con el entorno físico a través de diversos dispositivos tecnológicos (Li et al., 2021). Geetha (Geetha & Mala, 2022) sostiene que la realidad aumentada proporciona experiencias innovadoras destinadas a enriquecer el proceso de aprendizaje, y Gómez menciona que esto es posible debido a las mejoras en la percepción del usuario y la interacción con su entorno (Marrahi Gomez & Belda-Medina, 2023). Además, autores como Naidu argumentan que la integración de la Realidad Aumentada (RA) en la educación puede mejorar notablemente la eficiencia y el compromiso de los estudiantes al ofrecer una experiencia de aprendizaje tridimensional (3D) en lugar de los medios bidimensionales (2D) tradicionales (Naidu et al., 2023). Este impacto ha sido especialmente evidente en el aprendizaje procedimental, como en el campo de la formación médica (Bailey et al., 2023), así como en la industria del mantenimiento y ensamblaje (Saidi et al., 2022) El aprendizaje procedimental se refiere a la adquisición y el desarrollo de habilidades y conocimientos relacionados con la realización de tareas o procedimientos específicos (Rossi et al., 2023).

De otro lado, la Teoría de la Carga Cognitiva (CLT por su sigla en inglés) propuesta por Sweller (2018), se fundamenta en la capacidad limitada de procesamiento de la memoria de trabajo. Baddeley (2003), define la memoria de trabajo como un sistema dedicado que mantiene y almacena información a corto plazo. La sobrecarga en la memoria de trabajo es identificada en los aprendices, por altos niveles de carga cognitiva, esfuerzo mental y bajo desempeño. Con base en la limitada capacidad de procesamiento, Mayer propone la Teoría Cognitiva del Aprendizaje Multimedia (Luis Alejandro Andrade-Lotero, 2012). Estas teorías plantean premisas relacionadas con el uso de recursos cognitivos limitados y la capacidad limitada de un aprendiz al enfrentarse con nueva información, especialmente durante el aprendizaje procedimental. La Carga Cognitiva tiene tres tipos: Intrínseca, Extrínseca y Germánica, y el propósito en el aprendizaje es mantener esta carga dentro del límite para favorecer el aprendizaje. Según (Henderson, 2011), la Interfaz Gráfica de usuario se encarga de visualizar información procedimental como: Instrucciones, etiquetas, advertencias, entre otras. Por tanto, la tecnología usada para visualizar la información, deberá enfocarse en mantener una carga baja en la memoria de trabajo (Dankelman et al., 2005; Lim et al., 2009; Maggio et al., 2015; Melo, 2018; Melo & Miranda, 2016; Vandewaetere et al., 2015), para evitar alta carga cognitiva y esfuerzo mental. Esto permite crear condiciones favorables para el desempeño y aprendizaje, por tanto se debe centrar en cómo diseñar la tecnología multimedia para facilitar el procesamiento cognitivo (Krüger & Bodemer, 2022).

De otro lado, autores como Arefin (Arefin et al., 2022) y Eiberger Eiberger et al. (2019), consideran que en la Realidad Aumentada que usa dispositivos de visión óptica (Optical see-through - OST) a menudo a través de una pantalla montada en la cabeza (Head-Mounted Display HMD), es frecuente que el usuario deba realizar continuos Cambios de Contexto. Es decir, el cambio de la atención visual y cognitiva entre la información real y la virtual con el propósito de integrar la información (Arefin et al., 2022). Según Bang, estos cambios de contexto introducen carga cognitiva y esfuerzo mental en el usuario y podría afectar la capacidad de integrar la información percibida por el participante (Bang et al., 2020). Otros autores, como Drouot (Drouot et al., 2021), Arefin (Arefin et al., 2020), Condino et al. (2019) y Rashid et al. (2011), consideran que estos cambios de contexto afectan el desempeño visual de los usuarios. Así mismo, algunos investigadores consideran que el uso de esta tecnología puede causar esfuerzo mental y carga cognitiva en los usuarios (Buchner et al., 2021), lo que podría afectar el aprendizaje. Por ejemplo, (Huckauf et al., 2010) identificó la influencia del cambio de contexto evaluado entre dos dispositivos: una pantalla y un HMD (Head-Mounted Display), al observar imágenes en el laboratorio. Se identificó que la capacidad perceptiva de integrar información virtual y real se ve afectada por los cambios en el enfoque, aumentando en promedio el tiempo de la tarea en un 10%. Otros autores, han estudiado el estudio del cambio de contexto, Rashid (Rashid et al., 2012), evaluó empíricamente los cambios de contexto en pantallas. Los resultados mostraron que, para tareas de alta complejidad, los participantes fueron más rápidos y reportaron menor esfuerzo, aunque para tareas simples, el esfuerzo reportado fue mayor. Sin embargo, Eiberger obtuvo resultados opuestos. En este estudio evaluó los cambios de contexto en dispositivos vestibles y visualizadas con HMD (Head-Mounted Display). Se observó un impacto significativo que degrada el tiempo de la tarea y aumento cantidad de errores. Estos cambios afectaron la capacidad de integrar la información, debido a la alta carga percibida por el participante en el Test Nasa-TXL (Task Load Index en inglés) (Eiberger et al., 2019). De la misma forma, (Condino et al., 2019), evaluó los cambios de contexto en Realidad Aumentada con HMD y usadas para guiar la ejecución de una tarea procedimental. Los resultados no mostraron diferencias significativas en la carga cognitiva. Sin embargo, como lo evidencia los resultados contradictorios de los estudios de Dunleavy (Dunleavy et al., 2009), Bujak (Bujak et al., 2013) y Lai (Lai et al., 2019), no existe consenso sobre el costo cognitivo del cambio de contexto cuando se usa RA y dispositivos HMD en el aprendizaje (Buchner et al., 2021). Estos resultados pudrían presentarse dado que no se distingue entre el tipo de carga cognitiva, ya que son pocos los estudios que han analizado de forma separada los tipos de carga cognitiva en aplicaciones de RA (Buchner et al., 2021). En este sentido, Peeters (Peeters et al., 2023) realizó el primer estudio de la RA en aplicaciones educativas y evaluó la carga cognitiva de forma separada, encontrando mayor carga cognitiva Intrínseca y Extrínseca en RA, pero en comparación con medios físicos no digitales. En conclusión, los estudios encontrados, sugieren un impacto de cambio de contexto en los resultados de carga cognitiva y esfuerzo mental, pero aún no existe consenso con respecto. De igual forma, pocos de los estudios realizados, se ejecutaron con propósitos de educativos o usando métodos cuantitativos como el rastreo ocular (Buchner et al., 2021) o distinguiendo entre los tipos de carga cognitiva.

Por lo anterior, el objetivo de este estudio es conocer el posible impacto del cambio de contexto, con el uso de dispositivos HMD en tareas de aprendizaje procedimental; y responder a la pregunta: ¿El cambio de contexto que se presente en el uso de realidad aumentada en el aprendizaje procedimental afecta la carga cognitiva y el esfuerzo mental de las personas? Para responder a esta pregunta, se tienen dos hipótesis: H1: La Carga cognitiva subjetiva es diferente cuando hay cambio de contexto que cuando no hay cambio de contexto; y H2: El Esfuerzo Mental es diferente cuando hay cambio de contexto que cuando no hay cambio de contexto. Para comprobar o descartar estas hipótesis, se diseñó y ejecutó un estudio descriptivo-inferencial con treinta y cuatro participantes, quienes desarrollaron tareas de aprendizaje procedimental con dos tratamientos (Con cambio y Sin cambio de contexto). A los participantes se les evaluó la carga cognitiva descrita en sus tres tipos: Carga Cognitiva Intrínseca, Extrínseca y Germánica, mediante el test de Klepsh (Klepsch & Seufert, 2020). De igual forma, fue valuado el esfuerzo mental mediante pupilometría y rastreo ocular, usando el Delta de dilatación pupilar, y la duración y Cantidad de fijaciones en el área de Interés (AOI por su sigla en inglés). Los resultados de este estudio aportan al conocimiento de la Realidad Aumentada y HMD como herramienta de aprendizaje, especialmente al conocimiento de la carga cognitiva que la tecnología podría introducir en el proceso. Esta información ayudará a los expertos en educación a seleccionar tecnologías de aprendizaje conociendo las ventajas y limitaciones existentes en dicha tecnología.

           

2. Metodología

Se diseñó y ejecutó un estudio experimental con 34 usuarios. Así mismo, se implementó un prototipo funcional para el aprendizaje de anatomía de superficie de rodilla usando RA.

 

2.1. Consideraciones éticas

El proyecto fue aprobado por el Comité de Ética e Investigación Científica de la Universidad Industrial de Santander (CEINCI). El experimento requirió la instrumentación de los participantes con dispositivos de medición. Sin embargo, no fue invasivo y por lo tanto clasificado como: Sin Riesgo. Se leyó y firmó el consentimiento informado con cada participante. Además, la información de los participantes fue codificada para garantizar el manejo confidencial de los datos.

 

2.2. Descripción de los participantes

El grupo de participantes está compuesto por estudiantes universitarios y profesionales recién egresados de diversas áreas de conocimiento, sin conocimiento de anatomía de superficie de rodilla y sin experiencia en el uso de gafas de Realidad Aumentada. Los participantes de la prueba experimental fueron hombres y mujeres en proporciones similares. El rango de edad estuvo entre 18 y 28 años, con un promedio de 22,4 años. Del total de participantes el 23,5 % (n=8) usan gafas para corregir su visión y el 76,4% (n=26) manifestó no usar gafas. En la Tabla 1, se resumen los datos generales del grupo.

 

Tabla 1

Descripción de los Participantes

Edad Uso de Gafas

Frecuencia          Porcentaje            Promedio (años)  SI            NO

(n)       (%)                  (n)            %            (n)            %

Sexo          Masculino            18            52,9            23,28   4            22,2            14            77,78

Femenino            16            47,1            21,50   4            25,00            12            75,00

TOTAL 34 100% 22,44 8 23,53 26 76,47

 

2.3. Diseño de estudio

2.3.1. Hipótesis

            Se propuso las siguientes hipótesis:

H1: La Carga cognitiva es diferente cuando hay cambio de contexto que cuando no hay cambio de contexto.

H2: El Esfuerzo Mental es diferente cuando hay cambio de contexto que cuando no hay cambio de contexto.

 

2.3.2. Definición de variables

            Con base en la hipótesis, se utilizó un diseño factorial univariado. El factor de cambio de contexto (A) influye en la carga cognitiva subjetiva (Y1) y en el esfuerzo mental (Y2). Las variables dependientes e independientes y la herramienta utilizada para la recopilación de datos se describen a continuación.

 

·         Variable independiente – factor A: cambio de context

El factor A, definido como el cambio de contexto tiene dos categorías:

 

1.    Con cambio de contexto: Modelo de Rodilla real e interfaz gráfica de usuario virtual.

2.    Sin cambio de contexto: Modelo de Rodilla Virtual e interfaz gráfica de usuario virtual.

Para el tratamiento “Con cambio de contexto” se usó el modelo físico de rodilla mostrado en la Figura 1 junto al material de instrucción que mostró el procedimiento para identificar puntos anatómicos y para localizar la estructura, proyectada en las gafas de realidad aumentada Hololens2.

Un cuarto con una ventana

Descripción generada automáticamente con confianza media      

Para el tratamiento b) Sin cambio de contexto, se usó el modelo virtual de rodilla mostrado en la Figura 2 junto al material de instrucción muestra el procedimiento.

 

Un cuarto con una ventana

Descripción generada automáticamente con confianza baja

Figura 2. Tratamiento sin cambio de contexto.

 

Variables dependientes – carga cognitiva y esfuerzo mental

            La respuesta (Y1), definida como carga cognitiva. Es definida por Paas (Paas et al., 2010) como una construcción multidimensional que representa la carga que impone la realización de una tarea particular en el sistema cognitivo del estudiante. A su vez, está compuesta por la Carga Cognitiva Intrínseca, es aquella carga inherente a la complejidad de la tarea y al nivel de experiencia del aprendiz; la Carga Cognitiva Extrínseca, es aquella carga innecesaria que satura, contamina y afecta la memoria de trabajo; la Carga Cognitiva Germánica (o relevante), es la directamente responsable de contribuir al aprendizaje (Luis Alejandro Andrade-Lotero, 2012). Estos tipos de carga son aditivos y se busca ampliar la capacidad libre, haciendo una reducción de alguno de los tipos de carga y evitar que la carga instantánea supere el límite de capacidad cognitiva del estudiante (Luis Alejandro Andrade-Lotero, 2012).

 

Figura 3

Carga Cognitiva y sus tipos. Adaptado de (Paas et al., 2010)

 

Diagrama, Escala de tiempo

Descripción generada automáticamente con confianza media

 

Esta variable se estudió en función del auto-reporte realizado por el participante. Se espera que la carga cognitiva sea mayor en presencia del estímulo “Con cambio de contexto”, especialmente en la dimensión Extrínseca, dado que los cambios de contexto introducen esfuerzo mental en el participante, específicamente originados por la interfaz de usuario y que se evidencian en valores de ECL mayores.

El Esfuerzo mental (Y2), se analizó con base en medidas de rastreo ocular: 1) tiempo de fijación en el área de interés (AOI), 2) cantidad de fijaciones en el área de interés (AOI) y 3) Delta de Dilatación pupilar. Se esperan Duración de fijación en AOI, menores en presencia del estímulo “Con cambio de contexto”. Ya que la disminución del tiempo de fijación en AOI, es un indicador de mayor esfuerzo mental, además según Zu (Zu et al., 2018), es la medida de rastreo ocular más sensible a la Carga cognitiva extrínseca. Así mismo, para la Cantidad de fijaciones en el AOI, se espera un valor mayor para el estímulo “Con cambio de contexto”, dado que esta medida junto al tiempo evidencia esfuerzo mental, tal como lo menciona Zagerman (Zagermann et al., 2016), quien afirma que a mayor cantidad de fijaciones en un AIO, se eleva el esfuerzo mental, al evidenciar que posiblemente el aprendiz tiene dificultad para comprender el contenido. Finalmente, para el Delta de dilatación pupilar se espera que en presencia del estímulo “Con cambio de contexto” esta medida sea mayor, es decir como lo menciona Jarodzka (Jarodzka et al., 2015) el aumento de la dilatación pupilar indica mayor esfuerzo mental.

 

Duración de fijación en AOI

     La Duración de fijación en AOI  es la cantidad total de tiempo dedicado a mirar dentro de un Área de Interés (AOI) y se definió usando la ecuación 1. Donde  es el número de todas las fijaciones en el AOI durante el tratamiento y (Tf) es el tiempo de cada fijación.

Cantidad de fijaciones en AOI

     La cantidad de fijaciones ( es el número de veces que el participante miró el área de interés AOI y se definió empleando la ecuación (2). Donde  es una fijación en el Área de Interés (AOI) durante el tratamiento y  el tiempo de duración del tratamiento.

 

 

Delta de dilatación pupilar

     Integral de la dilatación de la pupila: la integración de la dilatación de la pupila demuestra el porcentaje de aumento de la dilatación de la pupila por tratamiento para el participante, como lo muestra (Majooni et al, 2016). Donde, PD (3) es la Integral normalizada de la diferencia del diámetro pupilar de cada participante durante el tratamiento. P es el diámetro pupilar del participante, T el tiempo.

 

(3)

 

2.3.3. Herramientas

            A continuación, se describen los equipos y herramientas para la captura los datos.

Cuestionario de Carga Cognitiva de Klepsch: La carga cognitiva subjetiva reportada fue establecida usando el test de Klepsch (Klepsch & Seufert, 2020). Este herramienta tiene un valor alfa de Cronbach: α +  = 0.776 para ICL, α +  = 0.798 para ECL y α +  = 0.734 para GCL (Krieglstein et al., 2022). Esto indica alta fiabilidad, una sólida consistencia interna y confiabilidad para medir la carga cognitiva. Klepsh usa un auto-reporte de ocho preguntas puntuadas a partir de una escala de Likert de 7 puntos, se establece la carga cognitiva diferenciada en tres tipos: carga cognitiva intrínseca (ICL), carga cognitiva germánica (GCL) y Carga Cognitiva Extrínseca (ECL) de manera separada. Estos tipos de carga son aditivos. La dimensión ICL, se relaciona con la percepción de dificultad originada en el desarrollo de la tarea. La Dimensión GCL, describe la carga positiva que permite el desarrollo del aprendizaje. La dimensión ECL de la Carca Cognitiva, está directamente relacionada con el diseño visual del material, por lo que es una medida sensible al diseño y codificación visual del mismo y permite cuantificar el impacto en la carga percibida por el participante. Por tanto, es una medida de interés en este experimento al estar relacionada con la interfaz de usuario.

     Gafas SMI: Gafas de seguimiento ocular (ETG) móvil, producidas por la empresa SensoMotoric Instruments. Con una tasa de rastreo de 60 Hz y 0, 5º de Precisión. Realiza el rastreo binocular con compensación Parallax en un campo de visualización de 60º horizontal y 46º vertical y compensación a cambios de iluminación. Los datos capturados por las gafas fueron procesados en el software BeGaze 3.7.

     Microsoft Hololens 2: Dispositivo Holográfico autónomo que implementa Realidad Mixta/Aumentada de la Corporación Microsoft. El dispositivo proyectó imágenes con lentes holográficas transparentes para reducir la fatiga. Igualmente, con el software Unity se desarrolló los prototipos que sirvieron para ejecutar los tratamientos..

 

2.4. Procedimiento

            La prueba se inició leyendo el consentimiento informado al participante, para luego solicitar su participación voluntaria y firma mecánica. Se procedió a solicitar información demográfica: sexo, edad, nivel educativo, uso de gafas, entre otros, y el diligenciamiento de la prueba de conocimiento previo. Después de la evaluación, el participante realizó el tutorial First-Steps de Hololens para familiarizarse con la tecnología, con una duración de tres minutos. Después de cinco minutos de descanso, se instrumentó con las gafas SMI, y se ejecutó la calibración del rastreo ocular con 3 puntos. Una vez obtenido un nivel de calibración satisfactorio, se procedió a iniciar la captura de datos. Terminada esta etapa, se procedió a colocar las gafas Hololens2 al participante. Cuando todo estuvo calibrado, se le solicitó iniciar con el prototipo, cabe resaltar que primero debía mirar fijamente un punto en la pared, con el objetivo de establecer el basal de tamaño pupilar antes de iniciar con el tratamiento. Las tareas ejecutadas por el participante se repitieron para diez estructuras anatómicas superficiales de la rodilla. Según el tratamiento asignado, las tareas fueron las siguientes:

 

            Tratamiento con cambio de contexto:

·         Leer las indicaciones de la estructura anatómica mostradas en la interfaz de usuario.

·         Localizar la estructura anatómica sobre el modelo físico.

·         Marcar con un rotulador la estructura anatómica sobre el modelo físico.

·         Presionar el botón “siguiente” para pasar a la próxima estructura anatómica.

 

            Tratamiento sin cambio de contexto:

·         Se realizaron las mismas tareas del estímulo anterior, salvo que se usó un modelo virtual y el marcado se realizó con un control manual que emuló el rotulador.

·         Al terminar, se le solicitó diligenciar el Cuestionario de Klepsch.

 

2.5. Análisis estadístico

     El análisis estadístico se realizó a partir de un modelo lineal general univariado, con medida repetidas como se presenta en (4).

(4)

     Donde Y es la variable dependiente, X es el factor aleatorio del participante, b el efecto de la variable independiente y e el error residual. El modelo se corrió para cada variable dependiente de interés, para identificar las diferencias significativas de carga cognitiva y esfuerzo mental entre los tratamientos.  Se realizaron análisis descriptivos para conocer el comportamiento interno de los datos. Finalmente, se verificó el comportamiento paramétrico mediante la prueba Shapiro-Wilk con un nivel de significancia del 5% y la homogeneidad de los datos mediante el estadístico de Levene con un nivel de significancia de 5%. Se realizó una comparación de medias mediante la prueba T-student, donde el nivel de significancia se estableció en 5%, por lo que los valores de p<0,05 se consideraron estadísticamente significativos. Los análisis fueron realizados en el software SPSS V26.

 

3. Análisis y resultados

3.1. Carga Cognitiva 

        La carga cognitiva es obtenida mediante auto-reporte usando la escala de Klepsch, en ella se obtiene el nivel de carga según el tipo, que el participante percibe durante la ejecución de la actividad. En la Tabla 2, se muestran los estadísticos descriptivos relacionados con los tipos de carga cognitiva ICL, GCL, y ECL. La escala tiene un valor para ICL el mínimo es de 2 y el máximo de 14, para la GCL y ECL el mínimo es de 5 el máximo de 21.

 

Figura 4

Carga Cognitiva por tipos ICL, GCL, y ECL. Por tratamiento

 

Gráfico, Gráfico de cajas y bigotes

Descripción generada automáticamente

 

3.1.1. Carga cognitiva intrínseca (ICL)

            Al analizar descriptivamente la variable en sus tres tipos, se encuentra que la ICL muestra un promedio superior para el factor sin cambio con 9,67 con SD (±2,41) en comparación con el factor con cambio con 8,79 y SD (±2,32). Asimismo, el factor sin cambio presentó una mayor varianza (ver Tabla 2).

 

Tabla 2

Estadísticos descriptivos – Carga Cognitiva por tipos

 

            El test de normalidad a partir de la prueba Shapiro-Wilk con un nivel de significancia de 5% presenta un p-valor= 0,417 que permite establecer el comportamiento paramétrico de la variable. La prueba de T-student para muestras independientes tiene un p-valor de 0,290 y un tamaño de efecto D-cohen= 0,372. Es decir, que el cambio de contexto no influye en la ICL.

 

3.1.2. Carga cognitiva germánica (GCL)

Al analizar la carga cognitiva Germánica, se observa un promedio similar para los dos niveles del factor. El promedio para con cambio es de 15,89 con SD (±2,8) y sin cambio de 15,93 con SD (±2,49) (ver Tabla 2).

El test de normalidad aplicado fue la prueba Shapiro-Wilk, que obtuvo un p-valor igual a 0,506, es decir la variable tiene comportamiento paramétrico. Asimismo, la muestra es homogénea con una prueba de homogeneidad de varianzas de Levene con un p-valor de 0,596. En esa medida, se aplicó la prueba de T-student para muestras independientes obteniendo un p-valor de 0,967 y tamaño de efecto D-Cohen= 0,015. Es decir, la carga cognitiva germánica no es afectada por el factor de cambio de contexto.

 

3.1.3. Carga cognitiva extrínseca (ECL)

Por último, se analizó la Carga Cognitiva Extrínseca, observándose un promedio mayor para el nivel sin cambio de contexto con un promedio de 11,73 con SD (±3,4) en comparación con el nivel con cambio con 8,37 y SD (±3,6) (ver Tabla 2).

La prueba Shapiro-Wilk mostró un p-valor de 0,225, estableciendo la normalidad de los datos. Asimismo, la prueba de homogeneidad de varianzas de Levene obtuvo un p-valor de 0,746, por lo tanto, se establece la homogeneidad de la variable. Por tanto, al aplicar la prueba T-student para muestras independientes, se obtuvo un p-valor de 0,011. Por tanto, el cambio de contexto mostró diferencias estadísticamente significativas en la carga cognitiva extrínseca. Es decir que el factor influye en la Carga Cognitiva Extrínseca.  

Con base en lo anterior, se calculó el tamaño del efecto mediante del Delta de Cohen, encontrando que, el efecto es grande con un valor de 0,938. Lo anterior, reafirma que es la Carga Cognitiva Extrínseca la que afecta la carga cognitiva subjetiva total.

 

3.2. Esfuerzo mental

            Esta variable se analizó a partir de tres datos de carga cognitiva objetiva: Delta de Diámetro pupilar, Duración de fijación en el AOI y cantidad de fijaciones en el AOI.

 

3.2.1. Delta de diámetro pupilar

Se analizaron los datos del delta de variación pupilar para el ojo derecho de los participantes. Se observa un promedio mayor para el nivel sin cambio con un valor de 0,789 con SD (±0,90) en comparación con el nivel con cambio que presentó un valor promedio de 0,550 con SD (±0,94). De igual forma, la varianza fue mayor para el nivel con cambio de contexto tal como se observa en la Tabla 3.

La prueba Shapiro-Wilk para establecer la normalidad para los datos del delta de variación pupilar, mostró un p-valor de 0,134 por lo que se establece que los datos tienen un comportamiento paramétrico. Para la homogeneidad mediante la prueba de Levene, el p-valor fue de 0,800, por lo tanto, se establece la homogeneidad de la variable. Por último, la prueba T-student para muestras independientes, indica un p-valor de 0,461, es decir que, el cambio de contexto no mostró diferencias estadísticamente significativas en el Delta de diámetro pupilar.

Tabla 3

Estadísticos descriptivos – Esfuerzo Mental

Tabla

Descripción generada automáticamente

 

3.2.2. Duración de fijaciones de AIO

            El área de interés se centró en el espacio de información donde se proyectó las indicaciones del procedimiento. Se examinó el tiempo total de duración en el área de interés. Se observó que la duración promedio de la fijación en al área de interés fue mayor para el nivel con cambio de contexto, con un promedio de 4734,33 ms con SD (±625,51). Así mismo, la varianza también mayor para el mismo nivel de tratamiento, tal como se observa en la Tabla 3.

            Se estableció el comportamiento paramétrico de la variable mediante el test de Shapiro-wilk (p-valor de 0,673). El test de homogeneidad de Levene tiene un p-valor de 0,495 por lo que se establece la homogeneidad de la varianza. Al aplicar la prueba T-student para muestras independientes, el p-valor es igual a 0,031. Por tanto, el cambio de contexto mostró diferencias estadísticamente significativas en la duración de las fijaciones en el AOI. Es decir que el cambio de contexto influye en la duración de las fijaciones. El cálculo del tamaño del efecto mediante el Delta de Cohen indica que el efecto es mediano con un valor de 0,781.

 

3.2.3. Cantidad de fijaciones de AIO

            Se analizaron los datos de cantidad total de fijaciones en el AOI correspondiente al espacio de información. En la Tabla 3, Se observa que la media de las fijaciones es mayor para el tratamiento “sin cambio de contexto”, con un valor de 1782,15 con DS (±423,10) en comparación con el tratamiento “con cambio de contexto”, donde se encontró una media de 1427 con DS (±389,75).

            Se realizó un análisis para establecer la existencia de diferencias significativas entre la cantidad de fijaciones y el cambio de contexto. Se inició aplicando la prueba de Shapiro-wilk para establecer la normalidad para los datos de Cantidad de fijaciones en AOI. Se obtuvo un p-valor de 0,117, por lo que se establece el comportamiento normal de los datos. El test de homogeneidad de Levene muestra un p-valor de 0,805 por lo que se establece la homogeneidad de la varianza. Al aplicar la prueba T-student para muestras independientes, se obtiene un p-valor de 0,017. Por tanto, el cambio de contexto afecta la cantidad de las fijaciones en el AOI. El tamaño del efecto mediante el Delta de Cohen es de 0,869 estableciendo un efecto grande.

 

4. Discusión

El cambio de contexto se presenta cuando un usuario, en este caso un aprendiz, varia continuamente su atención entre los objetos reales y los objetos virtuales, lo que supone un incremento de la carga cognitiva y el esfuerzo mental. Esta investigación buscó evidencia sobre la existencia de diferencias significativas en las variables analizadas, en presencia o no del cambio de contexto, específicamente en actividades de aprendizaje procedimental. Para esto, evaluó la carga cognitiva y el esfuerzo mental con treinta y cuatro participantes.

Con respecto a la carga cognitiva, se analizaron los tipos de forma individual (Intrínseca, Extrínseca y Germánica). Los resultados de la Carga Intrínseca, relacionada con la dificultad de la tarea y al nivel de experiencia del aprendiz, muestran que para el tratamiento con cambio de contexto (media=8,79) fue menor en comparación con el tratamiento sin cambio de contexto (media=9,67). Sin embargo, no se evidencia una diferencia estadísticamente significativa en este tipo de carga. Estos resultados son coherentes, dado que solo se puede esperar un cambio en el ICL, modificando la complejidad de la tarea o mejorando el conocimiento previo específico del dominio del alumno (Krieglstein et al., 2022), sin embargo para este estudio el nivel de dificultad de la tarea fue el mismo para los dos tratamientos y se verificó el bajo nivel de conocimiento previo de los participantes. En contraste, Peeters evidenció diferencias en la ICL(Peeters et al., 2023). Sin embargo, el estudio evaluó dos grupos de estudio: sin RA y con RA. Por tanto, no es posible comparar con el presente estudio, dado que no se presenta el cambio de contexto. Para la Carga Germánica, relacionada con diseño pedagógico y el contenido, los datos muestran valores similares. En el tratamiento sin cambio de contexto (media=15,93) y el e tratamiento con cambio de contexto (15,89), no se evidenciaron diferencias significativas en la Pruebas T-student (p-valor 0,976). Estos resultados son coherentes con las teorías de la Carga cognitiva. Tal como lo menciona (Krieglstein et al., 2022) ya que en ambos tratamientos representan una carga similar, representando el mismo nivel productivo, es decir, para ambos tratamientos los participantes están invirtiendo los mismos recursos de la memoria de trabajo. Para la Carga Extrínseca, que es la carga que satura, contamina y afecta la memoria de trabajo, y viene determinada por la forma en que se presentan y organizan los materiales de aprendizaje (Krieglstein et al., 2022). En este estudio se obtuvo, que para el tratamiento con cambio de contexto (media=8,37) la carga fue menor en comparación con el tratamiento sin cambio de contexto (media=11,73). Adicionalmente, se presentaron diferencias significativas (p-valor = 0,011) en la ECL, con un efecto grande (D-Cohen=0,938). Lo anterior indica, que se presenta niveles mayores de Carga Cognitiva Extrínseca para el tratamiento sin cambio de contexto, ya que al no requerir cambios de contexto todo el contenido fue presentado de forma aumentada, es decir virtual, lo que incrementó la cantidad de elementos visualizados por el participante. Esto pudo haber aumentado la saturación de objetos en el Display e indirectamente influir en la carga percibida, tal como mencionan (Acampora et al., 2013; Evans et al., 2017). De igual forma, según la teoría de la carga cognitiva, el mismo material de aprendizaje puede inducir diferentes cantidades de carga en la memoria de trabajo (Brunken et al., 2016), ocasionadas por las variaciones en la visualización o presentación. A la fecha, se han identificado dos estudios que evaluaron la carga cognitiva multidimensionalmente, de la RA en el área educativa. El primero conducido por Lai (Lai et al., 2019), donde se evidenció una reducción de la ECL en comparación con herramientas multimedia, con resultados que respaldan el presente estudio. El segundo, fue conducido por Peeters (Peeters et al., 2023). En tres experimentos se evaluó la ECL en RA, en uno de ellos se evidenció un alto nivel de ECL, pero en los otros no se mostró altos niveles de ECL. Por tanto, el autor considera que no se demostró la presencia de carga Extrínseca en el estudio. Estos estudios, a pesar de haber sido ejecutados en dispositivos móviles, son las fuentes mas cercanas de comparación.

Considerando que los tipos de carga cognitiva son sumativos, y que en la ICL y GCL los valores fueron similares para los dos tratamientos, los datos sugieren una reducción de la ECL cuando existe cambio de contexto. Lo anterior, podría evidenciar la reducción de los recursos de carga instantánea, aumentando la capacidad libre de recursos cognitivos durante el desarrollo de la tarea. Lo que podría implicar que el uso de RA y HMD en la tarea procedimental propuesta cuando se presentan cambios de contexto, requerirá menos recursos cognitivos, presentado posibles reducciones a la carga cognitiva debido a la disponibilidad de memoria de trabajo. Esto, soporta la Hipótesis 1, mostrando que la carga cognitiva es diferente para los dos tratamiento y posiblemente menor cuando hay cambio de contexto.

En estudios similares, donde se evaluó la carga cognitiva unidimensionalmente, como el de Eiberger (Eiberger et al., 2019) se encontró un alto nivel de carga cognitiva evaluado con el Cuestionario Nasa TLX. De igual forma en Dunleavy (Dunleavy et al., 2009) se evidencio un incremento en la carga cognitiva. Igualmente, Mark (2008), afirma que hubo un efecto mayor en la carga cognitiva bajo condiciones de cambio de contexto (p>0,03) en comparación con la condición sin cambio de contexto. Posiblemente, porque el cambio de contexto evaluado por Mark, fue de origen involuntario y sorpresivo, a diferencia del estímulo presentado en esta investigación, donde el cambio es accionado por el usuario de forma voluntaria. Esto podría introducir condiciones favorables para el desarrollo de la actividad de aprendizaje, tal como lo menciona Ogueta (1991), quien afirma que preparar al usuario para el estímulo, es decir aplicar la predictibilidad del estímulo, disminuye el costo cognitivo reduciendo el tiempo y facilitando la ejecución. De igual forma, Huckauf (2010), reporta un costo cognitivo superior para los cambios de contexto. Sin embargo, según el autor, los cambios de contexto se ven influenciados por la percepción de profundidad y la ubicación del estímulo con respecto al usuario. Especialmente por la diferencia en profundidad entre el objeto y el estímulo, lo que introduce la necesidad de un ajuste permanente de la acomodación y vergencia del ojo del participante cuando se usan dispositivos HMD como el Hololens 2. En esta investigación se presentaron estímulos cuya diferencia en profundidad y percepción entre objeto y estimulo fue mínima, evitando el efecto acomodación y vergencia reportado por Huckauf, esto pudo haber influido en la reducción del costo cognitivo.

En contraste, estudios como Bujak (Bujak et al., 2013) se evidencia que el uso de RA en educación reduce la carga cognitiva y en Lai (Lai et al., 2019) se evidencia una reducción de la ECL en comparación con herramientas multimedia. Sin embargo, todos estos estudios han evaluado RA en dispositivos móviles como smartphones y tablets. También, Condino (2019) estudió con mayor profundidad las condiciones asociadas al dispositivo y que influyen en el cambio de contexto. Identificó que para dispositivos HMD como el Hololens1, la rivalidad focal derivada del cambio de contexto no afecta significativamente la carga cognitiva del usuario al realizar tareas. Por tanto, según Condino, el cambio de contexto no influye en la carga cognitiva cuando se usan dispositivos HMD- Optical see-through (OST).

En conclusión, Los resultados de los estudios más recientes Peeters (Peeters et al., 2023), (Lai et al., 2019), (Condino et al., 2019) aún no muestran resultados concluyentes, por lo que se considera necesario ampliar la investigación dado que solo se evaluó el cambio de contexto y pueden ser múltiples los factores que afecten la carga cognitiva del usuario.

Por otro lado, con respecto al esfuerzo mental medido en función del Delta de diámetro pupilar, según Jarodzka el aumento de la dilatación pupilar indica mayor esfuerzo mental (Jarodzka, 2015). El estudio mostró que, para el tratamiento sin cambio de contexto, el Delta de diámetro pupilar fue mayor, lo que podría evidenciar un mayor esfuerzo mental. A pesar de esto, las diferencias no fueron significativas (p-valor 0,461). Estos resultados, pudieron haber sido influenciados por los numerosos cambios de iluminación que introducen ruido en el diámetro pupilar, afectando los datos finales, especialmente cuando se evalúan factores cognitivos, tal como lo menciona (Kret, 2019). Hennessy (1976), también afirma, que los cambios de iluminación podrían afectar potencialmente la acomodación espacialmente en un entorno de RA, es decir, el cambio del cristalino del ojo humano cambia para enfocar los objetos. Por esto, es posible que, al introducir cambios de contexto, necesariamente se requiere un proceso de acomodación que afecta la medida. En adición, según Plass (2010), la emocionalidad es otro elemento que puede influir en el diámetro pupilar como medida de esfuerzo mental. Finalmente, como lo menciona Reid (2018), una situación a ser considerada cuando se usa diámetro pupilar como media del esfuerzo mental, es la duración del periodo de medición. Al parecer, los estímulos de corta duración no son lo suficientemente duraderos para generar dilataciones pupilares que evidencien la presencia de esfuerzo mental. 

Con respecto, al esfuerzo mental en función de la Duración de las fijaciones en el AOI, tal como lo afirma Jarodzka (2015), la disminución de la duración de la fijación es un indicador de mayor esfuerzo mental. Los resultados de este estudio muestran que el tratamiento sin cambio de contexto obtuvo una menor duración de las fijaciones en el AOI (Media=4274,79) con respecto al tratamiento con cambio de contexto (Media=4734,33), mostrando que los participantes percibieron mayor esfuerzo en el tratamiento sin cambio de contexto. Además, se evidenció una diferencia significativa (p-valor 0,031) con un efecto grande (D-Cohen=0,78) lo que podría indicar la presencia de esfuerzo mental para cuando no hay cambios de contexto en Realidad Aumentada usando HMD. Estudios recientes han tratado de despejar las dudas sobre la falta de consenso de esta medida. En una reciente revisión de medidas de rastreo ocular, Tao et al. (2019) afirma que a duración de la fijación disminuyó a medida que aumentó la demanda mental de la tarea en tareas de vuelo y conducción simulado. De igual forma, Liu et al. (2022) encontró que, en tareas de carga perceptiva alta, las fijaciones fueron menores. Resultados que son coherentes con la teoría de la carga cognitiva, ya que como lo menciona Zu, la duración de la fijación puede ser analizada como una medida de esfuerzo mental que afecta la memoria de trabajo, dado que el participante debe al almacenar en memoria de trabajo las indicaciones, reduciendo la capacidad de la misma e incrementando el esfuerzo mental (Zu et al., 2018). Ahora bien, los estudios de (Zagerman, 2016), sobre el esfuerzo mental en función de la cantidad de Fijaciones en el AOI, afirman que, a mayor cantidad de fijaciones en un AIO, se eleva la carga cognitiva, al evidenciar que posiblemente el aprendiz tiene dificultad para comprender el contenido. Los resultados mostraron una mayor cantidad de fijaciones para el tratamiento sin cambio de contexto (Media=0,789) en comparación con el tratamiento Con cambio de contexto (Media=0,55), adicionalmente se identificaron diferencias significativas (p-valor=0,017) con un efecto grande (D-Cohen=0,869). Lo anterior, sugiere que el esfuerzo mental en el participante es mayor cuando no se presentan cambios de contexto, tal como lo indica Zagerman. Finalmente, este estudio muestra que existen diferencias significativas en las medidas de Duración de Fijaciones en AOI y Cantidad de Fijaciones en AOI, pero no en el Delta de Diámetro pupilar, soportando parcialmente la Hipótesis 2.

 

5. Conclusión

En este estudio, se analizó el cambio de contexto presente en actividades de aprendizaje cuando se usa realidad aumentada. Se evaluó la presencia de carga cognitiva ECL, ICL y GCL y esfuerzo mental, en material de instrucción para aprendizaje procedimental anatómico de rodilla usando realidad aumentada y objetos físicos. Se evidenció que cuando se presenta cambio de contexto, la carga cognitiva extrínseca ECL es menor, lo que sugiere el aumento de los recursos cognitivos necesarios para ejecutar la tarea. Los resultados sugieren, que el cambio de contexto entre los objetos reales y la información virtualizada, podría no generar un consumo mayor de recursos cognitivos. Se identificó parcialmente esfuerzo mental en las medidas de Eye Tracking pero no el Delta de Diámetro Pupilar, en las actividades de aprendizaje procedimental evaluadas en el espacio peri-personal del participante. Estos hallazgos respaldan parcialmente la hipótesis de que la presencia o ausencia de cambios de contexto influye en el esfuerzo mental percibido por los participantes. Sin embargo, es importante considerar la complejidad de las medidas y las posibles influencias de otros factores en la percepción del esfuerzo mental. Estudios futuros pueden profundizar en estas relaciones y explorar aún más la interacción entre la Realidad Aumentada y la carga cognitiva

 

6. Limitaciones del estudio

Los resultados del estudio pueden tener algunas limitaciones debidas a la muestra y población de participantes. Si bien, fueron universitario y profesionales recién egresados, no son expertos en las áreas médicas. Este factor puede afectar los resultados de cargas cognitivas intrínsecas, dado que se sabe que este tipo de carga pude verse influenciada no solo por la complejidad de la tarea, sino también por la experiencia del aprendiz. Para un novato puede resultar difícil una tarea que es fácil para un experto (Luis Alejandro Andrade-Lotero, 2012). En ese sentido, los resultados obtenidos del estudio muestran diferencias entre las medias, pero al compararlas por medio del estadístico de prueba t-student, se consideran iguales. El uso de gafas en el 23,53% de los participantes, es otra de las limitaciones del estudio, dado que se ha encontrado que pueden afectar la correcta calibración de los equipos de medida eye tracking (Goldberg & Wichansky, 2003). Así mismo, se analizó el delta de dilatación para el estímulo, pero no se realizó un análisis continuo del diámetro pupilar durante el estímulo. Esto podría arrojar información de picos de dilatación instantánea que no pueden ser percibidos por el delta de dilatación (Majooni et al., 2016).

 

5. Financiación

Los investigadores expresan su agradecimiento a la Universidad Industrial de Santander y a los grupos de investigación GEPS e INTERFAZ adscritos a la misma universidad, por el apoyo en la ejecución de este estudio.


 

 

 

 

 

 

 

 

Cognitive load and mental effort during context switching in augmented reality environments for procedural learning purposes

 

1. Introduction

Augmented reality (AR) enables the real-time integration of digital information into the physical environment through various technological devices (Li et al., 2021). Geetha (Geetha & Mala, 2022) argues that augmented reality provides innovative experiences aimed at enriching the learning process, and Gomez mentions that this is possible due to improvements in user perception and interaction with their environment (Marrahi Gomez & Belda-Medina, 2023). Authors such as Naidu contend that the integration of AR into education can significantly enhance students' efficiency and engagement by offering a three-dimensional (3D) learning experience to replace traditional two-dimensional (2D) media (Naidu et al., 2023). This has been particularly evident in procedural learning, such as in the field of medical training (Bailey et al., 2023), and in the maintenance and assembly industry (Saidi et al., 2022). Procedural learning is the acquisition and development of skills and knowledge related to the execution of specific tasks or procedures (Rossi et al., 2023).

Cognitive load theory (CLT), on the other hand, as proposed by Sweller (2018), is based on the limited processing capacity of working memory. Baddeley (2003), defines working memory as a dedicated system that maintains and stores information in the short term. The overload in working memory is identified in learners by high levels of cognitive load, mental effort, and low performance. Based on the limited processing capacity, Mayer proposes the cognitive theory of multimedia learning (Luis Alejandro Andrade-Lotero, 2012). These theories put forth premises related to the use of limited cognitive resources and the learner’s limited capacity when confronted with new information, especially during procedural learning. Cognitive load consists of three types: intrinsic, extraneous, and germane, and the goal in learning is to keep this load within certain limits that promote learning. According to (Henderson, 2011), the user interface is responsible for displaying procedural information such as instructions, labels, and warnings, among others. Thus, the technology used to display information should focus on maintaining a low load on working memory (Dankelman et al., 2005; Lim et al., 2009; Maggio et al., 2015; Melo, 2018; Melo & Miranda, 2016; Vandewaetere et al., 2015), to avoid high cognitive load and mental effort. This fosters conditions that are conducive for both performance and learning, highlighting the need to focus on designing multimedia technology that aids cognitive processing (Krüger & Bodemer, 2022).

Authors such as Arefin (Arefin et al., 2022) and Eiberger (Eiberger et al. (2019), consider that in Augmented Reality using optical see-through (OST) devices, often through a head-mounted display (HMD), it is common for the user to make continuous Context Switches. That is, shifting visual and cognitive attention between real and virtual information with the purpose of integrating such information (Arefin et al., 2022). According to Bang, context switching introduces cognitive load and mental effort for the user and could impact their ability to integrate the perceived information (Bang et al., 2020). Other authors, such as Drouot (Drouot et al., 2021), Arefin (Arefin et al., 2020), Condino et al. (2019) and Rashid et al. (2011), argue that context switching affects users' visual performance, while other  researchers believe that the use of this technology can lead to mental effort and cognitive load in users (Buchner et al., 2021). This would, in turn, impact learning. For instance, (Huckauf et al., 2010) identified the influence of context switching between two devices —a screen and a an HMD— while observing images in a laboratory setting. They found that the perceptual ability to integrate virtual and real information is affected by a shift in focus, increasing the task time, on average, by 10%. Other authors that have explored context switching, such as Rashid (Rashid et al., 2012) for example, have empirically evaluated context switching on screens. The results indicated that participants were quicker and reported less effort while completing highly complex tasks than they were for simple tasks. However, Eiberger obtained contrasting results. In a study in which he evaluated context switching on wearable devices, visualizing them using an HMD, there appeared to be a significant impact, leading to degraded task completion times and an increased number of errors. These shifts affected the participants’ ability to integrate information due to the high perceived load measured by the NASA-TXL (Task Load Index) (Eiberger et al., 2019). Condino et al. (2019), assessed context switching in augmented reality with HMDs used to guide the execution of a procedural task. The results did not show significant differences in cognitive load. However, as evinced by the contradictory findings in studies by Dunleavy (Dunleavy et al., 2009), Bujak (Bujak et al., 2013), and Lai (Lai et al., 2019), there is no consensus regarding the cognitive cost of context switching when using AR and HMD devices in learning (Buchner et al., 2021). These results could be attributed to the lack of differentiation between types of cognitive load, as there are few studies that have separately analyzed the types of cognitive load in AR applications (Buchner et al., 2021). In this regard, Peeters (Peeters et al., 2023) conducted the first study on AR in educational applications and assessed cognitive load separately, finding higher intrinsic and extraneous cognitive load in AR compared to non-digital physical media. In conclusion, the studies reviewed suggest an impact of context switching on cognitive load and mental effort outcomes, but there is still no consensus on this matter. Moreover, only a few of the studies conducted were for educational purposes, employed quantitative methods such as eye tracking (Buchner et al., 2021), or distinguished between types of cognitive load.

Based on the foregoing, the objective of this study is to investigate the potential impact of context switching when using HMD devices in procedural learning tasks and to address the question: Does context switching in the use of AR in procedural learning affect people's cognitive load and mental effort? To answer this question, two hypotheses have been formulated: H1: Cognitive load differs when context switching is present compared to when there is no context switching, and H2: Mental effort differs when context switching is present compared to when there is no context switching. To test or reject these hypotheses, a descriptive-inferential study involving 34 participants was designed and implemented. These participants engaged in procedural learning tasks under two conditions (with context switching and without context switching). Cognitive load was evaluated in all three of its types: intrinsic, extraneous, and germane, using the Klepsh Questionnaire (Klepsch & Seufert, 2020) while mental effort was assessed using pupillometry and eye tracking, using pupil dilation, fixation duration and the fixation count within the area of interest (AOI). The results of this study contribute to the understanding of AR and HMD as a learning tool, particularly in terms of the cognitive load that technology may introduce into the learning process. This information will assist education experts in selecting learning technologies while being aware of the advantages and limitations inherent in such technology.

 

2. Methodology

An experimental study involving 34 users was designed and implemented as well as a functional prototype for learning about the surface anatomy of the knee using Augmented Reality (AR).

 

2.1. Ethical considerations

The project was approved by the Ethics and Scientific Research Committee at Universidad Industrial de Santander (CEINCI). The experiment involved fitting participants with measurement devices. However, this was non-invasive and therefore categorized as "No Risk." Informed consent was read and signed by each participant and participant information was coded to ensure the confidential handling of data.

 

2.2. Participant description

The participant group consisted of university students and recently graduated professionals from various fields of knowledge, with no prior knowledge relating to the surface anatomy of the knee and no experience in using AR headsets. The participants in the experimental test included both men and women in roughly equal proportions. The age range was between 18 and 28 years, with an average age of 22.4 years. Out of all participants, 23.5% (n=8) wore glasses for vision correction, while 76.4% (n=26) reported not wearing glasses. Table 1 provides a summary of the general group data.

 

Table 1

Participant description

 

 

2.3. Study design

2.3.1. Hypothesis

The following hypotheses are proposed:

·         H1: Cognitive load differs when context switching is present compared to when there is no context switching.

·         H2: Mental effort differs when context switching is present compared to when there is no context switching.

2.3.2. Definition of variables

Based on the hypothesis, a univariate factorial design was employed. The context switching factor (A) influences cognitive load (Y1) and mental effort (Y2). The dependent and independent variables, and the data collection tool are described below.

 

Independent variable – factor A: context switching

 

Factor A, defined as context switching, involves two categories:

·         Switching: Real knee model and virtual user interface.

·         No-Switching: Virtual knee model and virtual user interface.

 

For the "switching" treatment, the physical knee model shown in Figure 1 was used alongside instructional materials that guided the procedure for identifying anatomical points and locating the structure, which was projected onto the Hololens2 augmented reality headset.

 

Figure 1

With context-switching treatment

Un cuarto con una ventana

Descripción generada automáticamente con confianza baja

For treatment b) “no-switching,” the virtual knee model shown in Figure 2 was used alongside instructional materials that demonstrated the procedure.

 

Figure 2

Without context-switching treatment

Un cuarto con una ventana

Descripción generada automáticamente con confianza media

 

Dependent variables – cognitive load and mental effort

The response (Y1), defined as cognitive load, is described by Paas (Paas et al., 2010) as a multidimensional construct representing the load imposed by the performance of a particular task on the students’ cognitive system. It is composed of intrinsic cognitive load, which is the load inherent to the complexity of the task and the learner's level of expertise; extraneous cognitive load, which is unnecessary load that saturates, contaminates, and affects working memory; and germane (or relevant) cognitive load, which is directly responsible for contributing to learning (Luis Alejandro Andrade-Lotero, 2012). These types of loads are additive, and the aim is to increase the available capacity by reducing one of the load types, preventing the instantaneous load from exceeding the student's cognitive capacity limit (Luis Alejandro Andrade-Lotero, 2012).

 

Figure 3

Cognitive load and its types. Adapted from (Paas et al., 2010)

Diagrama, Escala de tiempo

Descripción generada automáticamente

 

This variable was studied based on the participant's self-reporting. Cognitive load is expected to be higher in the presence of the stimulus "switching", especially in the extraneous dimension, since context switching introduces mental effort in the participant, specifically originated by the user interface and evinced by higher ECL values.

Mental effort (Y2) was analyzed based on pupillometry and eye-tracking measures: 1) fixation duration in the area of interest (AOI), 2) fixation count in the area of interest (AOI) and 3) pupil dilation. AOI fixation durations are expected to be shorter in the presence of the switching stimulus. Since the decrease in fixation duration in AOI is an indicator of higher mental effort, as stated by Zu (Zu et al., 2018), it is also the most sensitive eye-tracking measure to extraneous cognitive load. Similarly, for the quantity of fixations in the AOI, a higher value is expected for the with switching stimulus. This is because, along with duration time, this measure indicates mental effort, as mentioned by Zagerman (Zagermann et al., 2016), who suggests that a higher count of fixations in an AOI increases mental effort, possibly indicating that the learner is struggling to comprehend the content. Finally, the pupil dilation measure is expected to be greater in the presence of the switching stimulus. In other words, as Jarodzka (Jarodzka et al., 2015) mentioned, an increase in pupil dilation indicates greater mental effort.

 

Fixation duration in AOI

Fixation duration (FD) in AOI is the total amount of time spent looking within an area of interest (AOI) and was defined using Equation 1. Where n is the fixation duration in the AOI during the treatment and (Tf) is the fixation time.

 

 

(1)

 

Fixation count in AOI

The fixation count ( is the number of times the participant looked at the area of interest AOI and was defined using equation (2). Where  is a fixation in the Area of Interest (AOI) during the treatment and  the treatment duration time.

Pupil Dilation

Pupil dilation (PD) demonstrates the percentage increase in pupil dilation per treatment for the participant, as shown by (Majooni et al, 2016). Where, PD (3) is the normalized integer of the pupil diameter difference for each participant during treatment. P is the participant's pupil diameter, T is the time.

 

 

(3)

 

 

2.3.3. Tools

The following is a description of the equipment and tools used to capture the data.

           

Klepsch Cognitive Load Questionnaire: Cognitive load reported was assessed using the Klepsch Questionnaire (Klepsch & Seufert, 2020). This tool has a Cronbach's alpha value of α +  = 0.776 for ICL, α +  = 0.798 for ECL, and α +  = 0.734 for GCL (Krieglstein et al., 2022), indicating high reliability, strong internal consistency, and reliability in measuring cognitive load. Klepsch uses a self-report questionnaire with eight questions scored on a 7-point Likert scale, and it differentiates cognitive load into three types: intrinsic cognitive load (ICL), germane cognitive load (GCL), and extraneous cognitive load (ECL) separately. These types of loads are additive. The ICL dimension is related to the perception of difficulty arising from the development of the task. The GCL dimension describes the positive load that allows learning development. The ECL dimension of cognitive load is directly linked to the visual design of the material, making it a valuable measure in this experiment as it assesses the impact of the user interface on the participant's perceived load. This makes it particularly relevant in the context of this study.

SMI Glasses: Mobile eye-tracking glasses (ETG) produced by SensoMotoric Instruments. These glasses have a tracking rate of 60 Hz and a precision of 0.5º. They perform binocular tracking with Parallax compensation in a field of view of 60º horizontally and 46º vertically, with compensation for changes in lighting. The data captured by the glasses were processed using BeGaze 3.7 software.

Microsoft Hololens2: Standalone holographic headset device implementing mixed/augmented reality by the Microsoft Corporation. The device projects images with transparent holographic lenses to reduce fatigue. Unity® software was used to develop prototypes that were used to execute the treatments.

 

2.4. Procedure

The test began by reading the informed consent to participants, and requesting their voluntary participation and obtaining their signature. Demographic information such as gender, age, education level, and eyeglass usage, among others, was collected, and participants completed the pre-knowledge test. After the start with the treatment, participants completed a three-minute first-steps tutorial for Hololens2 to familiarize themselves with the technology. Following a five-minute break, the participants were equipped with the SMI glasses, and eye-tracking calibration was performed using three points until a satisfactory calibration level was achieved. Once a satisfactory level of calibration was obtained, the data capture phase began. After completing this stage, the Hololens2 headset were placed on the participant. When everything was calibrated, participants were asked to start with the prototype. It is worth noting that they were first required to stare at a point on the wall to establish the baseline pupil size before starting the treatment. The tasks performed by the participants were repeated for ten surface anatomical structures of the knee. Depending on the assigned treatment, the tasks were as follows:

 

Switching treatment:

·         Read the anatomical structure indications displayed on the user interface.

·         Locate the anatomical structure on the physical model.

·         Mark the anatomical structure on the physical model with a marker pen.

·         Press the "next" button to move to the next anatomical structure.

 

No-Switching treatment:

·         The same tasks as the previous stimulus were performed, except that a virtual model was used and the marking was performed with a manual control that emulated the marker pen.

·         Once they finished, the participants were asked to fill out the Klepsch Questionnaire.

 

2.5. Statistical analysis

The statistical analysis was performed using a univariate general linear model, with repeated measures as presented in (4).

(4)

     Where Y is the dependent variable, X is the participant random factor, b the effect of the independent variable and e the residual error. The model was run for each dependent variable of interest to identify significant differences in cognitive load and mental effort between treatments.  Descriptive analyses were performed to ascertain the internal behavior of the data. Finally, parametric behavior was verified using the Shapiro-Wilk test at a 5% significance level and the homogeneity of the data using Levene's statistic at a 5% significance level. A comparison of means was performed using the T-student test, where the significance level was set at 5%, so that values of p<0.05 were considered statistically significant. The analyses were performed using SPSS V26 software.

 

3. Analysis and results

3.1. Cognitive Load

Cognitive load is obtained through self-report using the Klepsch Questionnaire, which assesses the level of load perceived by the participant during the activity, broken down by type. Table 2 displays descriptive statistics related to the types of cognitive load: ICL, GCL, and ECL. The scale ranges from a minimum of 2 to a maximum of 14 for ICL and from a minimum of 5 to a maximum of 21 for both GCL and ECL.

 

Figure 4

Cognitive Load by ICL, GCL, and ECL types. By treatment

Gráfico, Gráfico de cajas y bigotes

Descripción generada automáticamente

 

3.1.1. Intrinsic cognitive load (ICL)

When analyzing the variable descriptively across its three types, we found that ICL shows a higher average for the "no-switching" factor at 9.67 with an SD (±2.41) compared to the "switching" factor at 8.79 with an SD (±2.32). The "no-switching" factor exhibited greater variance (see Table 2).

 

Table 2

Descriptive Statistics - Cognitive Load by Type

 

The normality test based on the Shapiro-Wilk test with a significance level of 5% yields a p-value of 0.417, indicating the parametric nature of the variable. The independent samples T-test has a p-value of 0.290 and an effect size (Cohen's d) of 0.372. This suggests that switching does not affect ICL.

 

3.1.2. Germane cognitive load (GCL)

When analyzing the germane cognitive load, a similar average is observed for both levels of the factor. The average for with switching is 15.89 with an SD (±2.8) and for no-switching, it is 15.93 with an SD (±2.49) (see Table 2).

The normality test applied was the Shapiro-Wilk test, which yielded a p-value of 0.506, indicating that the variable follows a parametric distribution. Furthermore, the sample is homogeneous, as evidenced by Levene's test for homogeneity of variances with a p-value of 0.596. Thus, when applying the independent samples T-test, a p-value of 0.967 was obtained with a Cohen's D effect size of 0.015. This means that the germane cognitive load is not affected by the context switching factor.

 

3.1.3. Extraneous cognitive load (ECL)

Finally, the extraneous cognitive load was analyzed, showing a higher average for the level no-switching with an average of 11.73 with SD (±3.4) compared to the level with switching with 8.37 and SD (±3.6) (see Table 2).

The Shapiro-Wilk test yielded a p-value of 0.225, indicating data normality. The Levene's test for homogeneity of variances resulted in a p-value of 0.746, establishing the homogeneity of the variable. Therefore, when applying the independent samples T-test, a p-value of 0.011 was obtained. Consequently, the context switch treatment showed statistically significant differences in extraneous cognitive load. In other words, the factor influences extraneous cognitive load. 

Based on the above, the effect size was calculated using Cohen's Delta, revealing that the effect is large with a value of 0.938. This further confirms that it is extraneous cognitive load that affects the overall subjective cognitive load.

 

3.2. Mental effort

This variable was analyzed based on three objective cognitive load data: Pupil dilation, fixation duration in the AOI, and the fixation count in the AOI.

 

3.2.1. Pupil Dilation

The data for pupil dilation for the right eye of the participants were analyzed. A higher average was observed for the no-switching level with a value of 0.789 with SD (±0,90) compared to the level with switching, which presented an average value of 0.550 with SD (±0,94). Similarly, the variance was higher for the context switching level, as observed in Table 3.

The Shapiro-Wilk test for assessing normality in the pupil dilation data yielded a p-value of 0.134, indicating that the data conforms to a parametric distribution. To test homogeneity, the Levene's test yielded a p-value of 0.800, indicating the uniformity of the variable. Finally, the T-student test for independent samples indicated a p-value of 0.461, meaning that context switching did not present statistically significant differences in the pupil dilation data.

 

 

Table 3

Descriptive statistics – Mental effort

 

 

3.2.2. Fixation duration in AOI

The area of interest focused on the information space where the procedure instructions were projected. The fixation duration time within the area of interest was examined. It was observed that the average fixation duration in the area of interest was higher for the level with context switching, with an average of 4734.33 ms with a (SD) of (±625,51). The variance was also higher for the same treatment level, as seen in Table 3.

The parametric behavior of the variable was assessed using the Shapiro-Wilk test (p-value of 0.673). The Levene's homogeneity test yielded a p-value of 0.495, confirming the homogeneity of variance. When applying the independent samples T-student test, the p-value was found to be 0.031. Therefore, context switching showed statistically significant differences in the duration of fixations in the AOI. In other words, context switching influences fixation duration. The calculation of effect size using Cohen's Delta indicates a medium-sized effect with a value of 0.781.

 

3.2.3. Fixation count in AOI

The data on the total fixation count in the AOI corresponding to the information space were analyzed.  Table 3 illustrates that the mean fixation count is higher for the no-switching treatment, with a value of 1782.15 with an SD of (±423,10) in comparison to the switching treatment, where a mean of 1427 with an SD of (±389,75) were found.

An analysis was conducted to determine the presence of significant differences between the fixation count and context switching. It began by applying the Shapiro-Wilk test to assess the normality of the data regarding the fixation count in the AOI. A p-value of 0.117 was obtained, indicating that the data follows a normal distribution. The Levene's homogeneity test showed a p-value of 0.805, confirming variance homogeneity. When the independent samples T-student test was applied, a p-value of 0.017 was obtained. Therefore, it can be concluded that context switching does indeed impact the number of fixations in the AOI. Furthermore, the calculation of effect size using Cohen's Delta revealed a large effect, with a value of 0.869.

 

4. Discussion

Context switching occurs when a user, in this case, a learner, continuously shifts their attention between real and virtual objects, resulting in an increased cognitive load and mental effort. This research was intended to find evidence of significant differences in the analyzed variables, in the presence or absence of context switching, specifically in procedural learning activities. To achieve this, cognitive load and mental effort were assessed with thirty-four participants.

The three types of cognitive load (intrinsic, extraneous, and germane) were analyzed individually. The results show that intrinsic load, related to task difficulty and learner experience level, was lower for the with switching treatment (mean=8.79) than for the no-switching treatment (mean=9.67). However, there is no statistically significant difference for this type of load. These results are consistent because a change in ICL can only be expected by modifying the task complexity or improving the learner's specific prior knowledge in the domain