Análisis de redes sociales para la inclusión entre
iguales en discusiones en línea con estudiantes de universidad
Social network analysis for peer inclusion in undergraduate
online discussions
Dr. Fran J.
Garcia-Garcia. Profesor ayudante Doctor. Universidad de Valencia. España
Dra.
Inmaculada López-Francés. Profesora Contratada Doctora. Universidad de Valencia. España
Dr. Cristian
Molla-Esparza. Profesor ayudante doctor. Universidad de Valencia. España
Recibido: 2022/07/13
Revisado: 2022/07/15 Aceptado: 2022/10/21 Preprint: 2022/12/01 Publicado: 2023/01/07
Cómo citar este artículo:
Garcia-García. F., López-Francés,
I., & Molla-Esparza, C. (2023). Análisis de redes sociales para la
inclusión entre iguales en discusiones en línea con estudiantes de universidad
[Social network analysis for peer inclusion in undergraduate online discussions].
Pixel-Bit. Revista de Medios y Educación, 66,
7-29. https://doi.org/10.12795/pixelbit.95555
RESUMEN
Las discusiones asíncronas
en línea (DAL) sirven para aprender en la universidad, pero pierden eficacia
conforme disminuye la participación de los estudiantes. Este estudio aporta un
método basado en el Análisis de Redes Sociales (ARS) que aborda este problema,
identificando estudiantes con un alto potencial de inclusión entre iguales
durante los debates asíncronos. Para probar el método, configuramos foros de
discusión en Moodle y examinamos las interacciones de 93 estudiantes de grado
en el área de Ciencias de la Educación. Analizamos las redes sociales que
surgieron de los debates, incluyendo 1818 conexiones. Los resultados mostraron
que algunos estudiantes tenían más centralidad de cercanía y eran más accesibles
que el resto. Una vez identificados, el profesorado pudo animar a estos
estudiantes a incluir a quienes participaban menos en los debates. La inclusión
de los compañeros tenía sentido cuando participaban en el debate sin obtener
una respuesta de sus comentarios fácilmente. Este estudio abre la puerta a más
investigación sobre la eficacia de las estrategias docentes basadas en el ARS,
concretamente sobre la eliminación de las barreras al aprendizaje y la
participación en una DAL con estudiantes universitarios.
ABSTRACT
Asynchronous Online Discussion
(AOD) is useful for learning at university, but it loses effectiveness as student
participation decreases. This study provides a method based on Social Network
Analysis (SNA) that addresses this issue, by identifying students with a high
potential for peer-to-peer inclusion during asynchronous debates. To test this
method, we created discussion forums in Moodle and examined the interactions of
93 undergraduate students in the field of Educational Sciences. We analysed the social networks that emerged from the
discussions, including 1818 connections. The results showed that some students
had more closeness centrality and were more accessible than the others. Once
this group was identified, the teacher was then able to encourage those
students to include others with less active participation in the discussions.
Peer-to-peer inclusion made sense when there were participants who engaged in
the debate but did not easily get a response from their classmates. This study
leads the way for more research on the effectiveness of teaching strategies
based on SNA, specifically on removing barriers to learning and participation
in AOD with university students.
PALABRAS CLAVES · KEYWORDS
Discusión (método pedagógico); Método de aprendizaje;
Informática educativa; Tecnología educacional; Análisis de redes; Enseñanza
superior
Discussions (teaching method); Learning methods;
Computer uses in education; Educational technology; Network analysis; Higher
Education
1. Introducción
Las universidades están incorporando
cada vez más la tecnología educativa para mejorar las experiencias de
aprendizaje (Bond et al., 2020; Müller & Wulf, 2020). En este contexto la
Discusión Asíncrona en Línea (DAL) es una de las técnicas más exploradas de las
últimas décadas (Andresen, 2009; Fehrman & Watson, 2020; Gao et al., 2013;
Thomas, 2013), junto con las clases invertidas y los cursos masivos. En este
estudio aportamos un método nuevo para solucionar un problema de la DAL
identificado en estudios anteriores.
Hacer preguntas y compartir
ideas sobre un mismo tema estimula la interacción entre los estudiantes en
entornos virtuales. El debate favorece la sensación de pertenencia a una
comunidad en línea y eso acaba mejorando el aprendizaje (Waltonen-Moore et al.,
2006; Yang et al., 2010). Cuando la discusión es asíncrona, permite a los
estudiantes interactuar y debatir en línea a su propio ritmo y en el momento y
lugar que prefieran. Los hilos de discusión quedan registrados para revisarlos
tanto como sea necesario y reflexionar sobre los comentarios antes de
incluirlos en el debate.
La DAL promueve el aprendizaje
en la universidad (Fehrman & Watson, 2020), sobre todo cuando se trata de
desarrollar el pensamiento crítico o las habilidades de razonamiento de orden
superior (Jeong & Chiu, 2020; Thomas, 2013). También aumenta la interacción
entre estudiantes (Almatrafi & Johri, 2019; An et al., 2009) y ayuda a
generar un clima óptimo para la construcción social del conocimiento
(Al-Dheleai et al., 2020). Los últimos estudios sobre DAL en la universidad han
incorporado el Análisis de Redes Sociales (ARS) para entender la complejidad de
las interacciones durante el debate (Jan & Vlachopoulos, 2019; Saqr et al.,
2020), abriendo la puerta a nuevos diseños de enseñanza y evaluación.
1.1 Por qué es tan importante
la inclusión en el debate
Aunque la DAL favorece el
aprendizaje colaborativo, sólo tiene éxito si los estudiantes se involucran en
el debate (Hew & Cheung, 2008). Eso ha despertado el interés de la
comunidad académica por examinar la interacción entre estudiantes a través del
ARS. En un estudio encontraron que la interacción era mayor en el primer
semestre e iba disminuyendo conforme pasaba el tiempo (da Silva et al., 2019).
En otro se analizó la relación entre la manera de interactuar y el prestigio
que se adquiría en la red (Zou et al., 2021).
Las últimas investigaciones
con ARS todavía no han explorado si las barreras de participación explican en cierto
modo una actividad menor en la discusión y, sin embargo, esta es una
posibilidad real (Amor et al., 2019; Booth & Ainscow, 2011). Es importante
incluir a los individuos situados en la periferia de la red, ya que estos son
los que menos interactúan con sus compañeros de clase y los beneficios de la
DAL no tienen tanto efecto para ellos. Además, su aparente apatía podría
contagiar a los demás, haciéndoles sentir que reducir la participación en el
debate no supone ningún problema.
Hasta ahora no hay evidencias
sobre cómo el ARS ayuda a incluir a los estudiantes más desconectados en la
DAL. Algunos estudios han analizado la estructura de las redes (Garcia-Garcia
et al., 2021; Lee et al., 2021), donde parece evidente que ciertos estudiantes
tenían posiciones más accesibles que otros y podían interpelar con más
facilidad a quienes menos interactuaban. En este sentido, medir la cercanía
ayudaría al profesor a detectar individuos con facilidad para conectar a
quienes están situados en la periferia de la red con las personas cuyos
comentarios son más centrales en la discusión.
1.2 Cómo medir el potencial de
inclusión entre iguales
El ARS permite medir la
centralidad o la importancia de un estudiante en una determinada red. Una forma
de entender la centralidad es la cercanía, que se expresa como la distancia
desde cada individuo de la red hacia todas las demás personas (Freeman, 1978).
En el caso de la DAL, unos estudiantes comentan acerca de lo que dijeron otros
anteriormente, construyendo un hilo de discusión. Unos citan las ideas de otros
y, de esta forma, interactúan y establecen conexiones. Los estudiantes con más
centralidad como cercanía son aquellos que se conectan directamente a más
compañeros de lo habitual.
Cuanta más cercanía tienen los
estudiantes, más accesibles son para sus compañeros, y su situación en la red
les permite desempeñar un rol estratégico para lograr una DAL más inclusiva. Si
el profesor pide a uno de ellos que pregunte a los que aportan las ideas más
citadas qué les parece lo que dijo uno de los compañeros más desconectados,
este último accedería directamente al centro del debate. Cuando la clase
empezase a razonar sobre sus ideas, tendría la oportunidad de responderles y
entablar una conversación.
Este tipo de estrategias
podrían contribuir a mejorar la implicación de los estudiantes más rezagados,
ayudando a cohesionar la red social, lo cual beneficiaría a todo el grupo. Una
red más cohesionada refleja que los miembros de la clase se implican en el
debate y que la DAL puede ser efectiva para aprender. Sin embargo, antes de
diseñar estrategias basadas en la cercanía, es necesario saber qué sentido
tiene hacerlo en un debate asíncrono. Por tanto, en este estudio abordamos la
evaluación de la cercanía y las condiciones en las que tiene sentido diseñar
estrategias docentes basadas en ARS para la inclusión entre iguales.
1.3 Preguntas de
investigación (PI)
El propósito de este estudio
fue demostrar que el ARS permite detectar qué estudiantes se encuentran en una
situación más favorable para incluir a los compañeros menos implicados en la
DAL. Respondimos a las siguientes preguntas para mostrar qué condiciones
permiten diseñar estrategias basadas en la cercanía para lograr una DAL más
inclusiva.
·
PI1. ¿Hay diferentes niveles
de cercanía cuando concluye el tiempo de formación?
·
PI2. ¿Hay modificaciones en la
cercanía de los estudiantes a lo largo del debate?
Si no logramos una respuesta
positiva a ninguna de las dos preguntas, seguramente no tendrá tanto sentido
diseñar estrategias basadas en la cercanía para la inclusión entre iguales en
una DAL con estudiantes universitarios.
2. Método
Se llevó a cabo un estudio
cuasiexperimental con dos grupos de estudiantes de grado seleccionados de
manera no probabilística. El estudio fue exploratorio, ya que el propósito era
demostrar cómo el ARS permite detectar situaciones estratégicas para la
inclusión entre iguales durante una DAL.
Las redes sociales son
sistemas complejos y su análisis dificulta la generalización de resultados, ya
que un sólo elemento del sistema podría modificar la estructura de toda la red
en cualquier momento (Mason, 2008; Morin, 1992). En la DAL un sólo post
controvertido podría aumentar la frecuencia con la que se publican comentarios
a lo largo del debate. Con esta idea en mente, seleccionamos dos grupos para
comparar los cambios en la cercanía durante el tiempo de formación y comprender
mejor las estrategias de inclusión entre iguales.
El Grupo A estuvo compuesto
por 48 estudiantes del Grado en Educación Social con edades entre los 18 y 31
años (Media = 19.48, DT = 2.22), donde el 79.17% eran mujeres y el 20.83% eran
hombres. Participaron en una DAL durante 10 semanas. En el Grupo B hubo 45
estudiantes del Grado en Pedagogía con edades entre los 18 y 25 años (Media = 20.14,
DT = 2.08). El 86.7% eran mujeres y el 13.3% eran hombres, y participaron en
una DAL durante 14 semanas.
En la universidad donde se
llevó a cabo el estudio más del 85% de las personas matriculadas en cualquiera
de estas dos titulaciones fueron mujeres durante los últimos tres cursos
académicos. Por tanto, la desproporción en el género de los participantes no
fue motivo para repetir el muestreo. Cada grupo generó una red social a partir
de la interacción en la DAL. Se analizaron 542 conexiones en el Grupo A y 1276
conexiones en el Grupo B.
El profesor moderó las
discusiones comunicándose con los estudiantes a través del correo electrónico y
sólo participó publicando un post para establecer los temas de debate.
2.2 Entorno de aprendizaje
Configuramos un foro de
discusión con formato semiestructurado (Dommett, 2019) para cada grupo
utilizando la plataforma Moodle. Incorporamos más directrices de las que suele
haber en este tipo de foros (Hammond, 2019) con el fin de favorecer la
participación durante la DAL.
Los foros con avisos o
recomendaciones ayudan a los estudiantes a encontrar y seleccionar mejor los
comentarios de los demás, y eso aumenta la frecuencia con la que leen y
contestan a sus compañeros (Wang & Yang, 2012). Sin embargo, prescindimos
de los avisos en el foro porque los estudiantes acaban confiando demasiado en
ellos y pierden atención, lo cual afecta a la carga cognitiva que deben
mantener para realizar la tarea (Sachdeva & Gilbert, 2020). En su lugar,
les pedimos utilizar el motor de búsqueda de Moodle.
El objetivo de la DAL no fue
establecer preguntas frecuentes (FAQ), pero nos inspiramos en el modelo
question answering forum (Sindhgatta et al., 2017) porque las preguntas
favorecen la interacción entre los estudiantes y la construcción social del
conocimiento (G. Chen et al., 2020; Gargallo López, 2017). Por tanto, les
pedimos que formulasen sus comentarios como preguntas o respuestas dirigidas a
los contenidos que habían aportado sus compañeros en otros comentarios
anteriores.
Prohibimos la modificación de
los comentarios publicados en el foro para evaluar el desarrollo de cada
estudiante de acuerdo con el momento en que envió sus aportaciones para el
debate. También usamos el sistema de reconocimiento de texto Urkund para la detección
del plagio en cada post, de manera que los comentarios fueran originales. Sólo
aceptamos un plagio inferior al 15% en cada caso.
2.3 Recogida de datos
Los datos se descargaron
directamente desde Moodle. Dos investigadores de nuestro equipo se encargaron
de organizarlos en categorías para reducir la probabilidad de cometer errores
sistemáticos, evitando comprometer la validez de los resultados (Rabinovich,
2006). Los investigadores recibieron una formación previa para el trabajo por
parejas, teniendo en cuanta que contribuye a optimizar el procedimiento de
organización de los datos (Escalante Ferrer et al., 2020). Registramos las
interacciones entre estudiantes, identificando quién inició la conexión, a
través de qué comentario y con quién interactuó.
2.4 Análisis de datos
Primero se examinaron las
conexiones entre estudiantes, analizando las redes sociales que emergieron
desde las DAL. Después estudiamos la evolución de la cercanía en el debate
durante el tiempo de formación por medio de un análisis no paramétrico.
2.4.1 Análisis de Redes
Sociales
Analizamos las estructuras de
las redes para confirmar que eran similares y que podíamos compararlas sin
necesidad de realizar ajustes adicionales. La modularidad se calculó utilizando
el algoritmo aleatorio de Blondel et al. (2008) con una resolución de 1.0
(Lambiotte et al., 2014). Obtuvimos el diámetro, la longitud media de camino
normalizada en el rango 0-1, y la densidad con base en las conexiones
potenciales n (n–1) para redes dirigidas.
Una vez analizadas las
estructuras de cada red, hallamos la cercanía de los estudiantes a través del
promedio de las distancias desde un determinado individuo hasta todas las demás
personas de la red (Freeman, 1978). También normalizamos la cercanía en el
rango 0-1. Dibujamos los mapas de ambas redes después de la última semana de
formación, pintando de un azul cada vez más intenso a los estudiantes con mayor
nivel de cercanía.
2.4.2 Análisis no paramétrico
Se calculó la prueba de
Shapiro-Wilk para contrastar el supuesto de normalidad en los puntajes de
cercanía y encontramos que las distribuciones no siempre eran normales. Por
tanto, llevamos a cabo un análisis no paramétrico. La Tabla 1 muestra el
resultado de los contrastes de normalidad, junto con el promedio de la cercanía
y su dispersión en cada semana.
La prueba de Friedman sirvió
como alternativa a un ANOVA de medidas repetidas para descartar que la cercanía
era un factor estable. Tomamos el coeficiente de concordancia W de Kendall para
medir el tamaño del efecto en la prueba de Friedman, como se recomienda en los
últimos libros de texto sobre metodología (King et al., 2018). Después,
calculamos la prueba W de Wilcoxon para analizar las diferencias en los
puntajes de cercanía entre pares de semanas, incluyendo métricas para el tamaño
del efecto (dz) (Cohen, 1988) y para el poder estadístico (1-β) (Faul et
al., 2009).
El poder estadístico sólo se
analizó para la prueba W de Wilcoxon, teniendo en cuenta que utilizamos la
prueba de Friedman inicialmente para rechazar que la cercanía fuese estable. En
esta línea, estuvimos interesados en descartar falsos negativos al negar
modificaciones en la cercanía conforme transcurrían las semanas de formación.
3. Resultados
Las dos redes sociales
adquirieron estructuras similares, facilitando así la comparación. El Grupo A
logró una densidad del 22.8% y la longitud media de camino fue 2.015 (diámetro
= 5). Aunque se detectaron 5 comunidades en la red, la modularidad fue .136, de
manera que los estudiantes no sólo estuvieron fuertemente conectados con los
miembros de su propia comunidad, sino también con otros compañeros de la clase.
La red del Grupo B alcanzó una densidad del 27.7% y la longitud media de camino
fue 1.839 (diámetro = 4). También hubo 5 comunidades y la modularidad fue .068,
reflejando conexiones entre estudiantes de diferentes comunidades de la red.
Al final del semestre hubo
estudiantes que desarrollaron más cercanía que el resto de sus compañeros en
los dos grupos (PI1), pero la diferencia fue incluso mayor durante las primeras
semanas (Tabla 1). La Figura 1 muestra las redes sociales que emergieron
después del debate completo. La prueba de Friedman reveló que los puntajes de
cercanía cambiaron a lo largo del periodo de formación (PI2), como muestra la
Tabla 2. El paso del tiempo tuvo un gran impacto en las modificaciones de los
puntajes, de forma que los estudiantes se encontraron en distintas situaciones
con respecto a la cercanía durante la discusión.
Tabla 1
Estadísticos descriptivos y pruebas de normalidad
|
|
Grupo A |
Grupo B |
||||||
|
Semanas |
Media |
ST |
Shapiro-Wilk |
p |
Media |
DT |
Shapiro-Wilk |
p |
|
Semana 1 |
.728 |
.285 |
.821 |
< .001 |
.482 |
.443 |
.767 |
< .001 |
|
Semana 2 |
.369 |
.186 |
.667 |
< .001 |
.446 |
.368 |
.851 |
< .001 |
|
Semana 3 |
.399 |
.139 |
.598 |
< .001 |
.383 |
.112 |
.644 |
< .001 |
|
Semana 4 |
.423 |
.061 |
.967 |
.201 |
.425 |
.081 |
.715 |
< .001 |
|
Semana 5 |
.432 |
.055 |
.960 |
.097 |
.468 |
.056 |
.981 |
.646 |
|
Semana 6 |
.439 |
.050 |
.967 |
.185 |
.491 |
.056 |
.975 |
.435 |
|
Semana 7 |
.459 |
.043 |
.981 |
.626 |
.506 |
.057 |
.964 |
.176 |
|
Semana 8 |
.493 |
.040 |
.971 |
.279 |
.521 |
.056 |
.974 |
.417 |
|
Semana 9 |
.493 |
.033 |
.989 |
.935 |
.537 |
.059 |
.980 |
.637 |
|
Semana 10 |
.498 |
.031 |
.990 |
.953 |
.540 |
.063 |
.987 |
.903 |
|
Semana 11 |
|
|
|
|
.547 |
.062 |
.991 |
.975 |
|
Semana 12 |
|
|
|
|
.556 |
.068 |
.990 |
.964 |
|
Semana 13 |
|
|
|
|
.563 |
.073 |
.993 |
.994 |
|
Semana 14 |
|
|
|
|
.567 |
.075 |
.992 |
.987 |
Redes sociales de los grupos A y B
Tabla 2
Desarrollo de la cercanía
|
Muestra |
Chi-cuadrado |
gl |
p |
W de
Kendall |
|
Grupo A |
318.693 |
9 |
< .001 |
0.738 |
|
Grupo B |
361.928 |
13 |
< .001 |
0.619 |
Cuando analizamos los momentos
en que se habían producido los cambios significativos, descubrimos que en cada
grupo hubo un patrón de comportamiento diferente. Mientras que las
fluctuaciones en los puntajes de cercanía fueron intermitentes en el Grupo A, en
el Grupo B se produjeron cambios importantes y casi constantes a partir de la
cuarta semana. En algunos pares de semanas se detectó un desarrollo
significativo en la cercanía, pero no siempre lo asumimos como tal porque en
ocasiones no se obtuvo un tamaño del efecto medio o grande, o no había
suficiente poder estadístico como para descartar un error en los hallazgos. Los
resultados de la prueba W de Wilcoxon están disponibles en la Tabla 3.
Tabla 3
Diferencias en la cercanía entre pares de semanas
|
|
Grupo A |
Grupo
B |
||||||
|
Semanas (S) |
W |
p |
dz de Cohen |
1-β |
W |
p |
dz de Cohen |
1-β |
|
S1-2 |
913000 |
< .001 |
1.300 |
1.0 |
223000 |
.421 |
.091 |
.090 |
|
S2-3 |
113500 |
< .001 |
.239 |
.354 |
501000 |
.540 |
.177 |
.206 |
|
S3-4 |
95000 |
< .001 |
.152 |
.172 |
43000 |
< .001 |
.521 |
.916 |
|
S4-5 |
264500 |
.003 |
.458 |
.859 |
.000 |
< .001 |
.814 |
.999 |
|
S5-6 |
356500 |
.018 |
.371 |
.691 |
.000 |
< .001 |
1.157 |
1.0 |
|
S6-7 |
131000 |
< .001 |
1.056 |
.999 |
49000 |
< .001 |
.973 |
.999 |
|
S7-8 |
.000 |
< .001 |
2.122 |
1.0 |
.000 |
< .001 |
.987 |
.999 |
|
S8-9 |
620000 |
.388 |
.000 |
.050 |
.000 |
< .001 |
1.287 |
1.0 |
|
S9-10 |
213000 |
< .001 |
.444 |
.836 |
369500 |
.308 |
.223 |
.299 |
|
S10-11 |
|
|
|
|
161000 |
< .001 |
.605 |
.972 |
|
S11-12 |
|
|
|
|
.000 |
< .001 |
.850 |
.999 |
|
S12-13 |
|
|
|
|
.000 |
< .001 |
.761 |
.998 |
|
S13-14 |
|
|
|
|
.000 |
.001 |
.479 |
.866 |
El efecto del tiempo de formación
fue mayor en el Grupo A, debido a la gran diferencia que detectamos entre la
primera y la segunda semana de formación. Sin embargo, no se halló un gran
tamaño del efecto hasta la séptima semana
4. Discusión
Hasta ahora sabíamos que la
DAL sólo tiene éxito cuando los estudiantes se involucran en el debate (Hew
& Cheung, 2008). Este estudio aporta un método basado en ARS para detectar
estudiantes con alto potencial de inclusión entre iguales en una DAL en la
universidad. A partir de este método se podrán explorar nuevas técnicas
docentes para resolver las barreras de participación que hagan difícil
implicarse en la DAL. Los resultados mostraron que dos grupos de estudiantes
llegan a experimentar cambios en la cercanía a ritmos distintos y es necesario
que el profesor evalúe continuamente cuándo alguien está en una posición
favorable para incluir a un compañero.
La relevancia de este estudio consiste
en ofrecer un método innovador, que permite diseñar estrategias docentes para
resolver problemas identificados en estudios anteriores sobre la efectividad de
la DAL en educación superior (Gao et al., 2013; Thomas, 2013). En términos
generales, modelar las formas de interacción (Choi & Johnson, 2005; Smet et
al., 2010) y adoptar estrategias para moderar el debate (N.-S. Chen et al.,
2011) sirve para incrementar la participación de los estudiantes. La enseñanza
directiva con instrucciones y expectativas claras (Darabi et al., 2013) y la
analítica del aprendizaje (Goh, 2020) también funcionan. Sin embargo, el método
que proponemos aquí está más bien orientado a resolver las situaciones
particulares en que un estudiante se involucra en el debate, pero no obtiene
fácilmente una respuesta de sus compañeros y, por tanto, acaba desconectándose.
Estas situaciones ya han sido estudiadas y se ha demostrado que es efectivo que
los estudiantes formulen preguntas, de modo que los compañeros se sientan
interpelados y comenten las ideas por las que está preguntando (Bradley et al.,
2008; G. Chen et al., 2020). En este estudio damos un paso más y proponemos un
método para que las preguntas de unos estudiantes favorezcan la inclusión de
sus compañeros más desconectados.
4.1 Participar en el debate es
algo complejo
Aunque algunos autores han
afirmado que no hay un método preciso para valorar la participación en la DAL
(Andresen, 2009), existen marcos, como las Communities of Inquiry (CoI)
(Castellanos-Reyes, 2020; Garrison et al., 1999), que han establecido su propio
concepto de participación como presencia social, cognitiva y de enseñanza.
Otras investigaciones han valorado la participación sencillamente como la
interacción entre estudiantes (Fehrman & Watson, 2020). En este estudio la
entendimos desde el paradigma de la complejidad y el ARS (Jacobson et al.,
2019; Morin, 1992). Consideramos que la participación era un factor estructural
en una red de estudiantes que debatían de manera asíncrona, estableciendo
conexiones unos con otros y organizándose de manera autónoma para hacerlo
(Holland, 2006). En esta línea, entendimos su implicación en el debate como
algo más que la interacción. La entendimos como la situación que adquiría el
estudiante en la red social a partir de las interacciones con sus compañeros
durante el debate.
4.2 Cuándo ayuda el Análisis
de Redes Sociales
Encontramos una respuesta
positiva a las dos preguntas de investigación, de forma que el método basado en
ARS para la inclusión entre iguales tuvo sentido en las DAL que llevamos a cabo
con estudiantes universitarios. Para que este método sea útil, es necesario que
unos estudiantes sean más cercanos y accesibles que otros en un determinado
momento del debate. De lo contrario, todos o ninguno de ellos estarán en una
situación especialmente favorable para incluir a los compañeros desde la
perspectiva del análisis de redes. Entonces, el profesor podría seleccionar a
cualquier estudiante y orientarlo para que incluya a otros sin necesidad de
aplicar ningún método.
Aunque haya individuos más
cercanos que otros, también es necesario que su cercanía se modifique
significativamente durante el debate. Si la cercanía no cambia, sería razonable
pensar que, o bien el debate se ha agotado y no hay motivos para continuarlo, o
bien sólo están debatiendo algunos estudiantes, mientras otros permanecen
inactivos todo el tiempo. En el segundo caso no tendría sentido aplicar el
método que proponemos porque el problema sería la voluntad de participar y no
las barreras de participación. En este escenario el profesor tendría que buscar
una forma de motivar a los estudiantes inactivos, en vez de resolver sus
dificultades para interactuar con los compañeros de forma que éstos consideren
sus comentarios en el debate.
4.3 Implicaciones para la
práctica docente
Durante las primeras semanas
tuvimos facilidad para distinguir a los estudiantes más cercanos porque la
dispersión en los puntajes de cercanía fue mayor. En este estudio el momento de
más dispersión coincidió con el inicio del debate, pero eso no excluye que
otras DAL se desarrollen de manera diferente, dado que no hay evidencias
empíricas para afirmar lo contrario. Además, el estudio muestra que la cercanía
puede modificarse de manera significativa en cualquier momento de la discusión.
Por tanto, el profesor debe revisar cada semana la diferencia entre unos
estudiantes y otros en la red para decidir quiénes están en la mejor situación
para incluir a sus compañeros.
Una vez el profesor detecte a
los estudiantes con más cercanía, podrá diseñar con ellos una estrategia basada
en ARS para la inclusión. La estrategia consiste en identificar a los
compañeros que están más desconectados del debate y a los que están siendo más
influyentes y participativos. El profesor pide a los estudiantes que ha
seleccionado que pregunten a los compañeros influyentes su opinión sobre lo que
dijeron aquellos que están inactivos, mientras anima a estos últimos a comentar
algo más en el foro. De esta forma, los estudiantes influyentes difundirán las
ideas que aportaron los estudiantes desconectados y éstas se comentarán más a
menudo. Si los estudiantes debatían menos porque estaban encontrando barreras
de participación derivadas de la interacción, entonces deberían empezar a
participar activamente en el debate después de poner en marcha la estrategia.
4.4 Limitaciones e
investigación emergente
En este estudio evitamos
explicar la detección de estudiantes que se implican en el debate y, al no
recibir respuesta de sus compañeros, acaban desconectándose. Lo hicimos con el
fin de economizar el contenido del artículo y centrarnos en la detección de
estudiantes con alto potencial para la inclusión entre iguales. En resumen, un
estudiante tiene barreras de participación cuando comenta con una frecuencia
regular en el foro, su centralidad en la red es escasa desde hace tiempo, y en
las últimas semanas ha reducido su actividad. Tampoco se mostró cómo detectar
estudiantes con influencia en la discusión porque hay estudios recientes
dedicados a este tema (p. ej., Garcia-Garcia et al., 2021).
El método que proponemos para
la inclusión entre iguales está pensado específicamente para incluir a los
estudiantes con barreras de participación derivadas de las interacciones
durante el debate. Si el método se utiliza para resolver otros problemas de
participación, quizás no funcione. Con todo, el método permite la detección de
estudiantes con alto potencial para incluir a sus compañeros y el estudio
muestra que es útil para ello, pero las estrategias docentes que se diseñen a
partir de la detección deben ser probadas en futuros estudios para obtener
evidencias empíricas sobre su efectividad.
La muestra fue seleccionada de
forma no probabilística y sería interesante realizar estudios con muestreo
aleatorio para confirmar los resultados. Aun así, las redes sociales son
sistemas complejos (Thurner et al., 2018) y su análisis sirve para comprender
fenómenos estructurales y no tanto para predecir variables. Por lo demás, la
DAL es efectiva para aprender en la universidad, pero todavía está en fase de
exploración (Fehrman & Watson, 2020; Thomas, 2013), de modo que este
estudio da paso a resolver problemas de una forma alternativa, encontrar
soluciones nuevas y buscar la confirmación de su efectividad.
5. Financiación
Ministerio
de Ciencia e Innovación (Código PID2021-123523NB-I00); Universidad de Valencia
(UV-SFPIE_PID- 2074926).
Social network
analysis for peer inclusion in undergraduate online discussions
1.
Introduction
Universities are increasingly incorporating
educational technology to enhance the learning experience for the students
(Bond et al., 2020; Müller & Wulf, 2020). In line with this initiative,
Asynchronous Online Discussion (AOD) is one of the techniques that has most
attracted attention in the last decades (Andresen, 2009; Fehrman & Watson,
2020; Gao et al., 2013; Thomas, 2013), along with other pieces of research such
as flipped classrooms or Massive Open Online Courses This study offers a novel
method to solve an AOD problem that has been identified in previous studies.
Asking questions and sharing arguments on specific
topics stimulates interaction among students in virtual environments.
Discussions foster a sense of belonging to an online community, which in turn
enhances learning (Waltonen-Moore et al., 2006; Yang et al., 2010).
Asynchronous discussions allow learners to interact and discuss issues online
at their own pace and at the time and place of their choice. Threads relating
to these discussions are recorded and available for students whenever they have
time to read them –and as many times they need to review them– to be able to
form their own arguments. In this way, they can reach deeper thinking before
they submit their comments in the discussion.
AOD promotes learning at the university level (Fehrman
& Watson, 2020), especially when it is geared toward promoting critical
thinking or higher-order reasoning skills (Jeong & Chiu, 2020; Thomas,
2013). It also increases interaction among students (Almatrafi & Johri,
2019; An et al., 2009) and helps generate an optimal climate for the social
construction of knowledge (Al-Dheleai et al., 2020). Recent studies on
undergraduate AODs that have incorporated Social Network Analysis (SNA) were
directed at understanding the complexity of interactions during discussions
(Jan & Vlachopoulos, 2019; Saqr et al., 2020), thus opening the door to new
teaching and assessment designs.
1.1 Why is inclusion so important in a debate?
Although AOD encourages collaborative learning, it is
only successful if students participate (Hew & Cheung, 2008). This
qualification has sparked the academic community’s interest in examining
student interaction through SNA. One study focusing on interactions concluded
that discussions were highest in the first semester and decreased as time went
on (da Silva et al., 2019). In another study, the relationship between the way
of interacting and the attention these interactions generated in the network,
were analysed and conclusions were drawn (Zou et al., 2021).
The latest research with SNA has not yet explored
whether barriers to participation is because of other lower-level activities
outside of these discussions, but this is a real possibility (Amor et al.,
2019; Booth & Ainscow, 2011). It is important to include those students who
seem to be marginalised, or who intentionally isolate themselves. They are the
ones who interact the least with their classmates, and so the benefits of AOD
do not have as much effect on them. Moreover, their apparent apathy could rub
off on others, making more of the group feel that reducing participation in the
discussion is not a serious issue.
So far, there is no evidence on how SNA helps to
include the most disengaged students in AOD. Some studies have analysed the
structure of networks (Garcia-Garcia et al., 2021; Lee et al., 2021), where it
seems evident that certain students had more access than others and could more
easily challenge the comments of those who interacted less often. In this
sense, being able to measure the influence of accessibility would help the
teacher to identify the differences between the comments of students who have
more or less ease in connecting to the discussions.
1.2 How to measure the potential for peer-to-peer
inclusion?
SNA makes it possible to measure the centrality or
importance of a student in a given network. One way of understanding centrality
is closeness, which is expressed as the distance from each individual in the
network to all others (Freeman, 1978). In the case of AOD, some students
comment on what others said earlier, building discussion threads. Some cite the
arguments of others and, in this way, establish more intricate connections.
Students with lesser closeness centrality are those who connect directly to
more classmates than others.
The closer the students are to each other, the more
accessible they are to their peers, and their status in the network allows them
to play a strategic role in making AOD more inclusive. If the teacher asks one
of the closer students to ask those who contribute the most quoted ideas what
they think of what one of the more disconnected peers said, the latter will
have direct access to the centre of the discussion. When the class begins
reasoning about their ideas, the disconnected classmates will have the
opportunity to give an answer and engage in conversation.
Strategies such as these could help improve the
engagement of students who are less active, helping to make the social network
more unified, thus benefiting the whole group. A more cohesive network reflects
a group that is engaged in discussion and so AOD becomes a more effective
learning technique. However, before designing strategies based on closeness
centrality, it is necessary to know what sense it makes to do so in an
asynchronous discussion. Therefore, we addressed the assessment of closeness
centrality and the conditions under which it makes sense to design SNA-based
teaching strategies for peer inclusion.
1.3 Research questions (RQ)
The purpose of this study was to reveal how SNA makes
it possible to detect which students are in a more favourable situation to
include the peers less involved in an AOD. The following questions were asked
to show which conditions make it possible to design strategies based on
closeness centrality to achieve a more inclusive discussion.
·
RQ1. Are there different levels of closeness when the
training period is over?
·
RQ2. Are there changes in the students' closeness
throughout the debate before it ends?
If the answers were not positive to either question,
the thinking was that it would not make as much sense to design strategies
based on closeness centrality for peer inclusion in a AOD with undergraduates.
2. Methods
We carried out a quasi-experimental study with two
groups of undergraduate students who were selected in a non-probabilistic
manner. The study was exploratory, since the purpose was to demonstrate how SNA
allows detecting strategic situations for peer inclusion during an AOD.
2.1 Participants
Social networks are complex systems, and their
analysis makes it difficult to generalize results since a single element of the
system could modify the pattern of the entire structure at any time (Mason,
2008; Morin, 1992). In AODs a single controversial post could increase the
frequency with which comments are posted throughout the discussion. With this
idea in mind, two groups were selected to compare changes in closeness
centrality during their training and in this way, better understand peer
inclusion strategies.
Group A was composed of 48 undergraduate students in
Social Education between the ages of 18 and 31 (Mean = 19.48, SD = 2.22), in
which 79.17% were female and 20.83% were male. They participated in an AOD for
10 weeks. Group B consisted of 45 students in Pedagogy between the ages of 18
and 25 years (Mean = 20.14, SD = 2.08). Eighty-six percent were female and
13.3% were male and all participated in an AOD for 14 weeks.
At the university where we conducted the study, more
than 85% of the students enrolled in either of these two degrees during the
last three academic years were female. Therefore, it was like the original
population. Each group generated a social network from interaction in the AOD.
A total of 542 comments were analysed in Group A and 1276 in Group B.
The teacher moderated the discussions by communicating
with the students via email and only participated in the posts to establish
discussion topics.
2.2 Learning environment
A semi-structured format discussion forum was created
for the study (Dommett, 2019) for each group, using the Moodle platform. We
used more guidelines than are usually present in such forums (Hammond, 2019) to
encourage participation during the debate.
In normal circumstances, forums with prompts or
recommendations help students to find and select each other’s comments more
easily, and this increases the frequency with which they read and reply to
their peers (Wang & Yang, 2012). However, the researchers of this study
made a decision not to use forum prompts because students end up relying too
much on them and this takes attention away from the main threads and in the
end, this affects the cognitive load needed to perform the main task (Sachdeva
& Gilbert, 2020). Instead, they were asked to use the Moodle search engine.
The goal of the AOD was not to focus on frequently
asked questions (FAQ), but rather the question answering forum model
(Sindhgatta et al., 2017) in which questions encourage interaction among
students and the social construction of knowledge (G. Chen et al., 2020;
Gargallo López, 2017). Therefore, they were directed to formulate their posts
as questions, or answers related to content that had been contributed by their
peers in other previous comments.
The configuration of the forum was such that
modifications to posts were not allowed to be able to evaluate the development
of each student from the beginning to the end of their participation in the
discussion. We also utilised the Urkund text recognition system for plagiarism
detection, to ensure, as much as possible, that the posts were original. The
authors used a standard of less than 15% detection of plagiarism in each post.
2.3 Data collection
The data were downloaded directly from Moodle. Two
researchers from the team were in charge of organising them into categories to
reduce the probability of making systematic errors, thus avoiding compromising
the validity of the results (Rabinovich, 2006). The researchers had received
training in working in teams –specifically in pairs– as that has been proven to
optimize the data organization procedure (Escalante Ferrer et al., 2020). These
teams recorded the interactions between students, identifying the authors of
the posts and with whom they interacted.
2.4 Data analysis
The connections between students were analysed by
studying the social networks that emerged from the AODs. During the training
period, we analysed the evolution of closeness centrality by means of a
nonparametric analysis.
2.4.1 Social Network Analysis
We also analysed the network structures to confirm
that they were similar, and they could be compared without additional
adjustments. Modularity was calculated using the randomized algorithm of
Blondel et al. (2008) with a resolution of 1.0 (Lambiotte et al., 2014). We
obtained the diameter, the average path length normalized in the range 0-1, and
the density based on n (n-1) potential connections for directed networks.
Once the structures of each network were analysed, we
found the closeness centrality of students through the average of the distances
from a given individual to all other individuals in the network (Freeman,
1978). We normalized closeness centrality to the range 0-1, and maps were
plotted of both networks after the last week of training, highlighting in
deeper shades of blue those students with lesser closeness score.
2.4.2 Nonparametric analysis
The Shapiro-Wilk test was calculated to assess the
assumption of normality for the closeness scores, which showed that the
distributions were not always normal. Therefore, we conducted a nonparametric
analysis. Table 1 shows the result of the normality contrasts, along with the
average closeness and its dispersion for each week.
The Friedman test served as an alternative to a
repeated-measures ANOVA to rule out that closeness centrality was a stable
factor. Kendall’s W coefficient of concordance was taken to measure effect size
in the Friedman test, as recommended in recent methodology textbooks (King et
al., 2018). Next, Wilcoxon’s W test was calculated to analyse differences in
closeness scores between pairs of weeks, including metrics for effect size (dz)
(Cohen, 1988) and for statistical power (1-β) (Faul et al., 2009).
Statistical power was only analysed for the Wilcoxon W
test, keeping in mind that the Friedman test was initially used to reject that
closeness centrality was stable. Along these lines, we were interested in
ruling out false negatives by rejecting changes in closeness scores as training
weeks elapsed.
3. Results
The two social networks acquired similar structures,
thus facilitating comparison. Group A achieved a density of 22.80% and the
average path length was 2.015 (diameter = 5). Although five communities were
identified in the network, the modularity was .136, so that students were not only
strongly connected with members of their own community, but also with other
classmates. The Group B network reached a density of 27.70% and the average
path length was 1.839 (diameter = 4). There were also five communities, and the
modularity was .068, reflecting connections between students from different
communities in the network.
At the end of the semester there were students who
developed less closeness centrality than the rest of their peers in the two
groups (RQ1), but the difference was even greater during the first few weeks,
as shown in Table 1. Figure 1 shows the social networks that emerged after the
entire discussion. Friedman’s test revealed that closeness scores changed
throughout the training period (RQ2), as shown in Table 2. The passage of time
had a great impact on the modifications of the scores, such that students found
themselves in different situations with respect to closeness centrality during
the discussion.
Descriptive statistics and
normality tests
|
|
Group
A |
Group
B |
||||||
|
Weeks |
Mean |
SD |
Shapiro-Wilk |
p |
Mean |
SD |
Shapiro-Wilk |
p |
|
Week 1 |
.728 |
.285 |
.821 |
< .001 |
.482 |
.443 |
.767 |
< .001 |
|
Week 2 |
.369 |
.186 |
.667 |
< .001 |
.446 |
.368 |
.851 |
< .001 |
|
Week 3 |
.399 |
.139 |
.598 |
< .001 |
.383 |
.112 |
.644 |
< .001 |
|
Week 4 |
.423 |
.061 |
.967 |
.201 |
.425 |
.081 |
.715 |
< .001 |
|
Week 5 |
.432 |
.055 |
.960 |
.097 |
.468 |
.056 |
.981 |
.646 |
|
Week 6 |
.439 |
.050 |
.967 |
.185 |
.491 |
.056 |
.975 |
.435 |
|
Week 7 |
.459 |
.043 |
.981 |
.626 |
.506 |
.057 |
.964 |
.176 |
|
Week 8 |
.493 |
.040 |
.971 |
.279 |
.521 |
.056 |
.974 |
.417 |
|
Week 9 |
.493 |
.033 |
.989 |
.935 |
.537 |
.059 |
.980 |
.637 |
|
Week 10 |
.498 |
.031 |
.990 |
.953 |
.540 |
.063 |
.987 |
.903 |
|
Week 11 |
|
|
|
|
.547 |
.062 |
.991 |
.975 |
|
Week 12 |
|
|
|
|
.556 |
.068 |
.990 |
.964 |
|
Week 13 |
|
|
|
|
.563 |
.073 |
.993 |
.994 |
|
Week 14 |
|
|
|
|
.567 |
.075 |
.992 |
.987 |
Social networks of
groups A and B
Table 2
Development of closeness centrality
|
Sample |
Chi-squared |
df |
p |
Kendall’s
W |
|
Group A |
318.693 |
9 |
< .001 |
0.738 |
|
Group B |
361.928 |
13 |
< .001 |
0.619 |
When significant changes were analysed, there was a
different pattern of behaviour found in each group. While fluctuations in
closeness scores were intermittent in Group A, in Group B there were
significant and almost constant changes from the fourth week onwards. In some
pairs of weeks, a significant development in closeness was detected, but it was
not always assumed as such because sometimes a medium or large effect size was
not obtained, or there was not enough statistical power to rule out an error in
the findings. The results of the Wilcoxon W test are available in Table 3.
Table 3
Differences in proximity between pairs of weeks
|
|
Group
A |
Group
B |
||||||
|
Weeks (W) |
Wilcoxon W |
p |
Cohen’s dz |
1-β |
Wilcoxon W |
p |
Cohen’s dz |
1-β |
|
W1-2 |
913000 |
< .001 |
1.300 |
1.0 |
223000 |
.421 |
.091 |
.090 |
|
W2-3 |
113500 |
< .001 |
.239 |
.354 |
501000 |
.540 |
.177 |
.206 |
|
W3-4 |
95000 |
< .001 |
.152 |
.172 |
43000 |
< .001 |
.521 |
.916 |
|
W4-5 |
264500 |
.003 |
.458 |
.859 |
.000 |
< .001 |
.814 |
.999 |
|
W5-6 |
356500 |
.018 |
.371 |
.691 |
.000 |
< .001 |
1.157 |
1.0 |
|
W6-7 |
131000 |
< .001 |
1.056 |
.999 |
49000 |
< .001 |
.973 |
.999 |
|
W7-8 |
.000 |
< .001 |
2.122 |
1.0 |
.000 |
< .001 |
.987 |
.999 |
|
W8-9 |
620000 |
.388 |
.000 |
.050 |
.000 |
< .001 |
1.287 |
1.0 |
|
W9-10 |
213000 |
< .001 |
.444 |
.836 |
369500 |
.308 |
.223 |
.299 |
|
W10-11 |
|
|
|
|
161000 |
< .001 |
.605 |
.972 |
|
W11-12 |
|
|
|
|
.000 |
< .001 |
.850 |
.999 |
|
W12-13 |
|
|
|
|
.000 |
< .001 |
.761 |
.998 |
|
W13-14 |
|
|
|
|
.000 |
.001 |
.479 |
.866 |
The effect of the training period was larger in Group A,
due to the large difference detected between the first and second week of
training. However, a large effect size was not found until the seventh week.
Until now research showed that AOD is only successful
when students are engaged in discussion (Hew & Cheung, 2008). This study
provides an SNA-based method to detect students with high potential for peer
inclusion in an AOD at university. From this method, new teaching techniques
can be explored to address participation barriers that make it difficult to
engage in AODs. The results showed that two groups of students come to
experience changes in closeness centrality at different rates and it is
necessary for the teacher to continuously assess when a student is in a
leverageable position and can include a classmate.
The relevance of this study is that it offers an
innovative method that allows teachers to designing strategies to solve
problems identified in previous studies on the effectiveness of AOD in Higher
Education (Gao et al., 2013; Thomas, 2013). Generally speaking, modelling forms
of interaction (Choi & Johnson, 2005; Smet et al., 2010) and adopting
strategies to moderate discussion (N.-S. Chen et al., 2011) serve to increase
student engagement. Directive teaching with clear instructions and expectations
(Darabi et al., 2013) and learning analytics (Goh, 2020) are also valid.
However, the method proposed in this study is oriented to solve the situations
in which a student engages in the discussion but does not easily get a response
from peers and thus ends up disengaging. These situations have already been
studied and it has been shown that it is effective for students to formulate
questions so that their peers feel engaged and so comment on the questions
(Bradley et al., 2008; G. Chen et al., 2020). In this study, we have gone a
step further and proposed a method for students’ questions as the impetus to
include more disengaged participants.
4.1 Participation in a debate presents challenges
Although some authors have claimed that there is no
precise method for valuing participation in AOD (Andresen, 2009), there are
frameworks, such as Communities of Inquiry (Castellanos-Reyes, 2020; Garrison
et al., 1999), that have established their own concept of participation as
social, cognitive, and teaching presence. Other research has valued
participation simply as interaction among students (Fehrman & Watson,
2020). In this study, we understood participation from the complexity paradigm
and SNA (Jacobson et al., 2019; Morin, 1992). Participation was considered to
be a structural factor in a network of students debating asynchronously, making
connections with each other and organizing themselves autonomously (Holland,
2006). The students’ involvement in the debate is clearly more than just
interaction. They also acquire status in the social network from their
interactions with peers during these debates.
4.2 When does Social Network Analysis help?
Both research questions received positive answers, so
the SNA-based method for peer inclusion made sense in the AODs conducted with
university students. For this method to be useful, it is necessary for some
students to be more approachable and accessible than others at a certain point
in the discussion. Otherwise, from a network analysis perspective, all or none
of them will be in a particularly favourable situation to include peers. The
teacher could then select any student and guide him or her to include others
without the need to apply any method.
Even if there are individuals who have lesser
closeness centrality than others, it is necessary that the closeness scores
change significantly during the discussion. If it does not change, it would be
reasonable to think that either the discussion topic has been exhausted and
there is no reason to continue, or that only some students are debating, while
others remain inactive throughout. In the second case it would not make sense
to apply the method proposed in this study because the problem would be the
willingness to participate and not the barriers to participation. In this
scenario the teacher would have to find a way to motivate the inactive
students, rather than solve their difficulties in interacting with peers so
that they would consider their comments in the discussion.
4.3 Implications for teaching practice
During the first weeks, students with more closeness
centrality were easy to identify, because of the indications of the dispersion
scores. In this case, the time of greatest dispersion coincided with the
beginning of the discussion, but this does not exclude that other AODs develop
differently, since there is no empirical evidence to claim otherwise. In
addition, the study shows that the closeness can change significantly at any
time during the discussion. Therefore, each week, the teacher should review the
difference between the activity the students show in the network to be able to
decide effectively who is in the best position to include their peers.
Once teachers identify the students with highest
closeness scores, they can design an SNA-based strategy for inclusion. The
strategy is to identify the students who are most disconnected from the
discussion and those who most influential and participatory. Teachers ask the
closer students to ask the influential peers their opinion on what those who
are more inactive have said, while encouraging the latter to comment further in
the forum. In this way, the influential students will spread the ideas that the
disengaged students contribute, and these will be commented on more often. If
students were debating less because they were encountering barriers to
participation arising from the interaction, then they should begin to actively
participate in the discussion after implementing this strategy.
4.4 Limitations and emerging research
The purpose of this study was not to detect students
who engaged in discussion and, having not received a response from their peers,
disengage. Instead, we wanted to economize the content of the article and focus
on detecting students with a high potential for peer inclusion. In summary,
students have barriers to participation when they comment regularly in the
forum, their centrality in the network was low for some time, and in recent
weeks they reduced their activity. The purpose was also not to identify
students with influence in the discussion because there are recent studies
dedicated to this topic (e.g., Garcia-Garcia et al., 2021).
The method proposed in this study is related to peer
inclusion, specifically intended to include students with participation
barriers arising from interactions during discussion. If the method is used to
solve other participation problems, it may not work. All in all, the method
allows the detection of students with high potential for peer inclusion and the
study shows that it is useful for this purpose, but the teaching strategies
designed from the detection should be tested in future studies to obtain
empirical evidence on their effectiveness.
We selected the sample non-probabilistically, and it
would be interesting to conduct studies with random sampling to confirm the
results. Still, social networks are complex systems (Thurner et al., 2018) and
their analysis serves to understand structural phenomena and not so much to
predict variables. Otherwise, AOD is effective for learning at university, but
it is in the exploration phase yet, so this study offers ways to solve problems
in an alternative way to find new solutions and seek confirmation of its
usefulness.
5. Funding details
Ministry of Science and Innovation, Spain (Código
PID2021-123523NB-I00); University of Valencia, Spain (UV-SFPIE_PID- 2074926).
References
Al-Dheleai, Y. M., Tasir,
Z., & Jumaat, N. F. (2020). Depicting
Students’ Social Presence on Social Networking Site in Course-Related
Interaction. SAGE Open, 10(1), 1–8. https://doi.org/10.1177/2158244019899094
Almatrafi, O., & Johri, A. (2019).
Systematic Review of Discussion Forums in Massive Open Online Courses (MOOCs). IEEE
Transactions on Learning Technologies, 12(3), 413–428. https://doi.org/10.1109/TLT.2018.2859304
Amor, A. M., Hagiwara, M., Shogren, K. A., Thompson,
J. R., Verdugo, M. Á., Burke, K. M., & Aguayo, V.
(2019). International perspectives and trends in research on inclusive
education: a systematic review. International Journal of Inclusive Education,
23(12), 1277–1295. https://doi.org/10.1080/13603116.2018.1445304
An, H., Shin, S., & Lim, K. (2009). The effects of
different instructor facilitation approaches on students’ interactions during
asynchronous online discussions. Computers & Education, 53(3),
749–760. https://doi.org/10.1016/j.compedu.2009.04.015
Andresen, M. A. (2009). Asynchronous discussion
forums: success factors, outcomes, assessments, and limitations. Journal of
Educational Technology & Society, 12(1), 249–257. https://www.jstor.org/stable/jeductechsoci.12.1.249
Blondel, V. D., Guillaume, J.
L., Lambiotte, R., & Lefebvre, E. (2008). Fast
unfolding of communities in large networks. Journal of Statistical
Mechanics: Theory and Experiment, 2008(10), 1–12. https://doi.org/10.1088/1742-5468/2008/10/P10008
Bond, M., Buntins, K., Bedenlier,
S., Zawacki-Richter, O., & Kerres, M. (2020).
Mapping research in student engagement and educational technology in higher
education: a systematic evidence map. International Journal of Educational
Technology in Higher Education, 17, 1–30. https://doi.org/10.1186/s41239-019-0176-8
Booth, T., & Ainscow, M. (2011). Index for
Inclusion. Developing Learning and Participation in Schools (3rd ed.).
CSIE.
Bradley, M. E., Thom, L. R., Hayes, J., & Hay, C.
(2008). Ask and you will receive: how question type
influences quantity and quality of online discussions. British Journal of
Educational Technology, 39(5), 888–900. https://doi.org/10.1111/j.1467-8535.2007.00804.x
Castellanos-Reyes, D. (2020). 20 Years of the
Community of Inquiry Framework. TechTrends, 64(4),
557–560. https://doi.org/10.1007/s11528-020-00491-7
Chen, G., Lo, C. K., & Hu, L. (2020). Sustaining
online academic discussions: Identifying the characteristics of messages that
receive responses. Computers and Education, 156, 1–14. https://doi.org/10.1016/j.compedu.2020.103938
Chen, N.-S., Kinshuk, Wei, C.-W., & Liu, C.-C.
(2011). Effects of matching teaching strategy to thinking style on learner’s
quality of reflection in an online learning environment. Computers &
Education, 56(1), 53–64. https://doi.org/10.1016/j.compedu.2010.08.021
Choi, H. J., & Johnson, S. D. (2005). The Effect
of Context-Based Video Instruction on Learning and Motivation in Online
Courses. American Journal of Distance Education, 19(4), 215–227. https://doi.org/10.1207/s15389286ajde1904_3
Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences. In Statistical Power Analysis for
the Behavioral Sciences. Lawrence Erlbaum
Associates, Publishers. https://doi.org/10.4324/9780203771587
da
Silva, L. F. C., Barbosa, M. W., & Gomes, R. R. (2019). Measuring
Participation in Distance Education Online Discussion Forums Using Social
Network Analysis. Journal of the Association for Information Science and
Technology, 70(2), 140–150. https://doi.org/10.1002/asi.24080
Darabi, A., Liang, X., Suryavanshi, R., & Yurekli, H. (2013). Effectiveness of Online Discussion
Strategies: A Meta-Analysis. American Journal of Distance Education, 27(4),
228–241. https://doi.org/10.1080/08923647.2013.837651
Dommett, E. J. (2019).
Understanding student use of twitter and online forums in higher education. Education
and Information Technologies, 24(1), 325–343. https://doi.org/10.1007/s10639-018-9776-5
Escalante Ferrer, A. E., Moctezuma-Ramírez, E. E.,
& Garcia-Garcia, F. J. (2020). Propuestas
para el acopio de datos y el análisis de las competencias en el curriculum universitario. Edähi
Boletín Científico de Ciencias Sociales y Humanidades Del ICSHu,
9(17), 13–25. https://doi.org/10.29057/icshu.v9i17.6330
Faul, F., Erdfelder, E.,
Buchner, A., & Lang, A. G. (2009). Statistical power analyses using G*Power
3.1: Tests for correlation and regression analyses. Behavior
Research Methods, 41(4), 1149–1160. https://doi.org/10.3758/BRM.41.4.1149
Fehrman, S., & Watson, S. L. (2020). A Systematic
Review of Asynchronous Online Discussions in Online Higher Education. American
Journal of Distance Education, 1–14. https://doi.org/10.1080/08923647.2020.1858705
Freeman, L. C. (1978). Centrality in social networks
conceptual clarification. Social Networks, 1(3), 215–239. https://doi.org/10.1016/0378-8733(78)90021-7
Gao, F., Zhang, T., & Franklin, T. (2013).
Designing asynchronous online discussion environments: Recent progress and
possible future directions. British Journal of Educational Technology, 44(3),
469–483. https://doi.org/10.1111/j.1467-8535.2012.01330.x
Gargallo López, B. (Ed.). (2017). Enseñanza centrada en el
aprendizaje y diseño por competencias en la universidad. Fundamentación,
procedimientos y evidencias de aplicación e investigación. Tirant
Humanidades.
Garcia-Garcia, F. J., Moctezuma-Ramírez, E. E.,
Molla-Esparza, C., & López-Francés, I. (2021). Strategies
based on social network analysis for enhancing the learning climate at
university. Research in Education and Learning Innovation Archives, 27,
19–31. https://doi.org/10.7203/realia.27.18960
Garrison, D. R., Anderson, T., & Archer, W.
(1999). Critical Inquiry in a Text-Based Environment: Computer Conferencing in
Higher Education. The Internet and Higher Education, 2(2–3),
87–105. https://doi.org/10.1016/S1096-7516(00)00016-6
Goh, L. H. (2020). The Gathering of the Community of
Inquiry in Online Learning. International Journal of Information and
Education Technology, 10(7), 494–499. https://doi.org/10.18178/ijiet.2020.10.7.1413
Hammond, M. (2019). A Review of Recent Papers on
Online Discussion in Teaching and Learning in Higher Education. Journal of
Asynchronous Learning Networks, 9(3), 9–23. https://doi.org/10.24059/olj.v9i3.1782
Hew, K. F., & Cheung, W. S. (2008). Attracting
student participation in asynchronous online discussions: A case study of peer
facilitation. Computers and Education, 51(3), 1111–1124. https://doi.org/10.1016/j.compedu.2007.11.002
Holland, J. H. (2006). Studying complex adaptive
systems. Journal of Systems Science and Complexity, 19(1), 1–8. https://doi.org/10.1007/s11424-006-0001-z
Jacobson, M. J., Levin, J. A., & Kapur, M. (2019).
Education as a Complex System: Conceptual and Methodological Implications. Educational
Researcher, 48(2), 112–119. https://doi.org/10.3102/0013189X19826958
Jan, S. K., & Vlachopoulos, P. (2019). Social
Network Analysis: A Framework for Identifying Communities in Higher Education
Online Learning. Technology, Knowledge and Learning,
24(4), 621–639. https://doi.org/10.1007/s10758-018-9375-y
Jeong, A., & Chiu, M. M. (2020). Production
blocking in brainstorming arguments in online group debates and asynchronous
threaded discussions. Educational Technology Research and Development, 68,
3097–3114. https://doi.org/10.1007/s11423-020-09845-7
King, B. M., Rosopa, P.,
& Minium, E. W. (2018). Statistical reasoning
in the behavioral sciences (7th ed.). John Wiley
& Sons, Inc.
Lambiotte, R., Delvenne,
J.-C., & Barahona, M. (2014). Random Walks, Markov Processes
and the Multiscale Modular Organization of Complex Networks. IEEE
Transactions on Network Science and Engineering, 1(2), 76–90. https://doi.org/10.1109/TNSE.2015.2391998
Lee, D., Rothstein, R., Dunford, A., Berger, E.,
Rhoads, J. F., & DeBoer, J. (2021). “Connecting online”: The structure and
content of students’ asynchronous online networks in a blended engineering
class. Computers & Education, 163, 1–18. https://doi.org/10.1016/j.compedu.2020.104082
Mason, M. (2008). What Is Complexity Theory and What
Are Its Implications for Educational Change? Educational Philosophy and
Theory, 40(1), 35–49. https://doi.org/10.1111/j.1469-5812.2007.00413.x
Morin, E. (1992). From the concept of system to the
paradigm of complexity. Journal of Social and Evolutionary Systems, 15(4),
371–385. https://doi.org/10.1016/1061-7361(92)90024-8
Müller, F. A., & Wulf, T. (2020).
Technology-supported management education: a systematic review of antecedents
of learning effectiveness. International Journal of Educational Technology
in Higher Education, 17, 1–33. https://doi.org/10.1186/s41239-020-00226-x
Rabinovich, S. G. (2006). Measurement Errors and
Uncertainties. Theory and Practice. Springer. https://doi.org/10.1007/0-387-29143-1
Sachdeva, C., & Gilbert, S. J. (2020). Excessive
use of reminders: Metacognition and effort-minimisation in cognitive
offloading. Consciousness and Cognition, 85, 1–14. https://doi.org/10.1016/j.concog.2020.103024
Saqr, M., Viberg, O., & Vartiainen, H. (2020).
Capturing the participation and social dimensions of computer-supported
collaborative learning through social network analysis: which method and
measures matter? International Journal of Computer-Supported Collaborative
Learning, 15(2), 227–248. https://doi.org/10.1007/s11412-020-09322-6
Sindhgatta, R., Marvaniya,
S., Dhamecha, T. I., & Sengupta, B. (2017). Inferring
frequently asked questions from student question answering forums. Proceedings
of the 10th International Conference on Educational Data Mining, EDM 2017,
256–261.
Smet, M. De, Keer,
H. Van, Wever, B. De, & Valcke,
M. (2010). Cross-age peer tutors in asynchronous discussion
groups: Exploring the impact of three types of tutor training on patterns in
tutor support and on tutor characteristics. Computers & Education, 54(4),
1167–1181. https://doi.org/10.1016/j.compedu.2009.11.002
Thomas, J. (2013). Exploring the use of asynchronous
online discussion in health care education: A literature review. Computers
and Education, 69, 199–215. https://doi.org/10.1016/j.compedu.2013.07.005
Thurner, S., Klimek, P., & Hanel, R. (2018). Introduction
to the Theory of Complex Systems (Vol. 1). Oxford University Press. https://doi.org/10.1093/oso/9780198821939.001.0001
Waltonen-Moore, S., Stuart, D.,
Newton, E., Oswald, R., & Varonis, E. (2006). From Virtual Strangers to a
Cohesive Learning Community: The Evolution of Online Group Development in a
Professional Development Course. Journal of Technology and Teacher Education,
14(2), 287–311. https://www.learntechlib.org/primary/p/5686/
Wang, P. Y., & Yang, H. C. (2012). Using
collaborative filtering to support college students’ use of online forum for
English learning. Computers and Education, 59(2), 628–637. https://doi.org/10.1016/j.compedu.2012.02.007
Yang, Y.-F., Yeh, H.-C., & Wong, W.-K. (2010). The
influence of social interaction on meaning construction in a virtual community.
British Journal of Educational Technology, 41(2), 287–306. https://doi.org/10.1111/j.1467-8535.2009.00934.x
Zou, W., Hu, X., Pan, Z., Li, C., Cai, Y., & Liu,
M. (2021). Exploring the relationship between social presence and
learners’ prestige in MOOC discussion forums using automated content analysis
and social network analysis. Computers in Human Behavior,
115, 1–17. https://doi.org/10.1016/j.chb.2020.106582