Evaluación de una experiencia docente. 3. Wiki colaborativo

1. Introducción
2. Ensayo y autoevaluación de los alumnos
3. Wiki colaborativo
4. Evaluación global

ANÁLISIS DEL TRABAJO COLABORATIVO UTILIZANDO UN WIKI

Metodología docente

Profesores y alumnos han utilizado una herramienta wiki para desarrollar unas notas que recojan el contenido del temario de la asignatura. Se utilizó en nuestro caso una herramienta wiki alojada en http://webcollaborator.com/ para el desarrollo de este proyecto. A continuación se describen las principales características de este proyecto:

- El profesor, que actuará como administrador, activará proyectos (uno para cada tema del programa) y dará de alta a los alumnos para poder actuar como contribuidores (redactores). El alta se comunicará al alumno mediante un correo electrónico, y éste tendrá que aceptar esta invitación en la web del proyecto incluyendo una contraseña de su elección. Finalmente se desarrollaron proyectos wiki de los 8 temas correspondientes a los dos primeros bloques temáticos de la materia. El tercer bloque, impartido desde mediados de Diciembre a finales de Enero, no se incluyó para evitar una sobrecarga de trabajo. 

- Cada proyecto se iniciará el día que se inicie la docencia en el tema correspondiente, y cada alumno podrá contribuir al desarrollo de los textos según estime oportuno, tanto incluyendo nuevos contenidos como corrigiendo los ya existentes (incluso eliminado todo aquello que no considere apropiado). El wiki permite a cualquier contribuidor recuperar versiones previas del proyecto (mantiene un historial de todos los cambios realizados). Este tipo de herramientas permiten correcciones de los materiales introducidos previamente por cualquier contribuidor y al mismo tiempo descartar cambios previstos para volver a versiones más antiguas del mismo documento (evitando de este modo las acciones “vandálicas”).

- No se han fijado normas específicas, pero el objetivo final es crear unos textos de calidad (tanto en sus contenidos como en el estilo y presentación). 

- La herramienta cuenta con sistemas de seguimiento de la actividad de cada contribuidor de modo que el profesor pueda monitorizar la actividad de cada alumno.

- El wiki de www.webcollaborator.com cuenta con un foro de discusión asociado donde se pueden plantear debates o dudas sobre el desarrollo de los textos. 

- El profesor tratará de mantener en un mínimo sus contribuciones (simplemente introducirá las notas correspondientes al material gráfico empleado en clase) y utilizará el foro para poder coordinar el trabajo de los alumnos.

- Las actividades que deben realizar los alumnos pueden clasificarse en tres categorías: 1) introducir contenidos básicos (a partir de las notas de clase), 2) revisión de los textos introducirlos y mejora y ampliación de los contenidos, y 3) mejora de la presentación y organización de los materiales. Cada alumno puede libremente trabajar en cualquiera de estos aspectos y todas sus actividades serán valoradas por el profesor.

 - Se espera que cada alumno dedique una media de dos horas semanales a esta actividad.

Evaluación

Se evaluará de modo continuo el trabajo de cada alumno en la elaboración de textos que recojan los contenidos del programa teórico. El profesor utilizará las herramientas disponibles en el wiki para el control de cambios para la monitorización de la intensidad y calidad del trabajo de cada alumno. Se valorarán las aportaciones de los alumnos en los tres aspectos señalados anteriormente (introducción de contenidos básicos, mejora de contenidos y mejora del estilo de presentación). La valoración máxima será de 3 puntos; la evaluación será continua de modo que se pueda valorar el trabajo de cada alumno en tres periodos (hasta 15 Noviembre; hasta 20 Diciembre; y hasta 31 Enero) y se pueda asignar un punto como máximo al trabajo desarrollado en cada periodo.

Resultados

 - Han participado activamente 9 alumnos y otros 4 ocasionalmente. Dos alumnos no han participado. Como se verá posteriormente, el nivel de participación presentó cambios temporales importantes para todos los alumnos, por lo que la valoración final sólo tuvo en cuenta secundariamente la temporalidad de las contribuciones de cada participante (en contra de lo que se establecía en las normas de evaluación).

- Se ha realizado un análisis de la participación de los alumnos en el wiki, valorando tanto su intensidad (medida como número de intervenciones y volumen de texto, número de palabras, incorporadas en cada intervención) como su calidad. En general, la calidad de las intervenciones, en promedio, ha sido muy homogénea para todos los alumnos participantes, por lo que se presentarán aquí los resultados del análisis cuantititativo. La herramienta de control de cambios del wiki ha permitido construir series temporales de número de intervenciones y tamaño (número de palabras) en cada proyecto, identificando en cada caso el alumno responsable, el día y el tipo de intervención (revisión y correcciones y/o adición de nuevo texto; se utiliza el número neto de palabras nuevas como un indicador de la adición de nuevo texto).

- El nivel de participación ha sido estable entre Octubre y principios de Diciembre, posteriormente se ha producido un estancamiento con una ligera recuperación en la semana final de enero (cuando finaliza el cuatrimestre y el periodo dado para colaborar).

- Si comparamos la serie temporal de número de intervenciones y de palabras (para el conjunto de temas), observamos que inicialmente dominan las intervenciones largas dedicadas a incluir texto nuevo, a partir de Noviembre se reduce la tasa de inclusión de textos nuevos mientras se mantiene la tasa de intervenciones, reflejando un cambio de actividades hacia la revisión. Posteriormente, a partir de Diciembre, se reanuda la inclusión de nuevos textos (en especial de los últimos temas, impartidos en esas fechas).

- La figura siguiente muestra la evolución del tamaño de cada tema (las flechas indican los días en que se impartieron las clases magistrales correspondientes a cada tema). Se observa que los 4 primeros temas fueron bien desarrollados por los alumnos, de un modo rápido (la mayor parte del trabajo se realiza en los 7 días posteriores a las clases magistrales). A partir del tema 6, se retrasa el inicio del wiki tras las calses magistrales correspondientes, y los temas sólo se desarrollan parcialmente. De hecho, las diferencias en el tamaño final de los proyectos de los 4 primeros temas reflejan diferencias reales en su contenido. Por el contrario, el tamaño alcanzado por los wikis de los temas 6 a 8 no tiene relación con los contenidos. Una figura similar pero representando el número de intervenciones muestra un patrón muy parecido al indicado aquí.

 

- La representación del tamaño acumulado del conjunto de proyectos (cada serie y color representa un tema) integra la información de las dos figuras anteriores, y muestra claramente como el trabajo se desarrolla secuencialmente para los distintos temas, con picos de actividad posteriores a las clases en que se presenta cada uno de ellos.

- El análisis de la actividad de cada uno de los alumnos se representa en la siguiente figura. Se presenta la contribución porcentual de cada alumno al conjunto de proyectos (medido con número de palabras acumulado hasta una fecha dada). Se observa que, tras una fase inicial transitoria, las contribuciones se mantienen estables (aquellos alumnos que han dedicado más esfuerzo han mantenido su trabajo durante todo el periodo), salvo algunos casos de alumnos que o bien al principio o bien al final han realizado un esfuerzo muy alto que no han mantenido el resto del tiempo (en el gráfico se puede observar en aquellos situados en la parte inferior, que trabajan al final, o superior, que trabajan al principio). La representación del número de intervenciones muestra un patrón muy similar.

 

- El análisis de la distribución de tamaños (número neto de palabras nuevas) de cada intervención permite identificar claramente tres tipos de actividades (que se ven corroboradotas con un análisis cualitativo del trabajo de los alumnos): 1) intervenciones de revisión y corrección (N=37), con un número de nuevas palabras en general menor de 50 (en muchos casos menor que 0; se representa en el eje de las X el límite superior de cada clase); 2) intervenciones cortas para incorporación de nuevo texto (N=47), con 50-200 palabras nuevas, y 3) intervenciones largas para incorporación de nuevos textos (N=21), con incrementos de tamaño que llegaron hasta más de 700 palabras. Por supuesto, los puntos de corte son aproximados y por tanto las frecuencias relativas de cada tipo de actividades deben considerarse sólo como una primera estimación.