Organiser un travail évalué par les pairs avec un Atelier

Vous rêvez d'entraîner vos étudiants à la réponse à des questions ouvertes et vous ne pouvez pas assumer toutes les corrections pour votre groupe ? L'activité Atelier de Moodle vous permet d'organiser un travail évalué par les pairs.

Découvrir les possibilités et limites de l'Atelier Moodle

Le module Atelier de Moodle permet d'organiser des travaux individuels évalués par les pairs. Il permet de piloter tout le processus à l'aveugle : la remise de travaux, la répartition des travaux pour évaluation et la remise d'une note. Il est aussi possible de proposer aux étudiants l'évaluation préalable de travaux exemplaires, qui n'est pas prise en compte dans la note finale.

Nous conseillons donc aux enseignants de bien veiller à ce que tous les étudiants ciblés soient inscrits à leur cours avant de lancer cette activité.

Le téléchargement des travaux d’un atelier est une fonctionnalité très demandée qui finira sans doute par être développée : Incident sur le téléchargement des travaux d’un atelier dans le bugtracker Moodle.

Les données d’un atelier sont archivées sur MoodleLastYear, donc vous êtes en mesure de gérer les recours étudiants sans avoir à archiver les travaux.

L’atelier comme travail préparatoire à un devoir corrigé par l’enseignant

Cette approche a beaucoup d’avantages pratiques et pédagogiques:

• les étudiants peuvent réviser leur travail sur base des commentaires des pairs;

• vous ne devez pas télécharger les travaux soumis à l’atelier un à un (puisqu’il n’est pas possible de télécharger tous les travaux d’un atelier);

• vous pouvez Corriger un Devoir individuel via Moodle en utilisant la même grille de critères que celle fournie pour l’atelier (voir l’article Utiliser une grille d'évaluation critériée pour corriger un Devoir )

• dans cette configuration, après les délibérations, vous pouvez organiser le feedback sur les travaux en ligne, en affichant la note, la grille de critères annotée et des commentaires personnalisés, sans avoir à gérer une des copies papier et un planning de relecture.

Comprendre les 5 phases d'un Atelier

La première phase couvre la mise en place de l'activité et la préparation des travaux exemplaires.  Vous devez notamment rédiger les instructions pour la remise du travail, encoder les critères d'évaluation, rédiger les instructions pour l'évaluation des travaux, ... L'évaluation de travaux exemplaires est facultative mais conseillée. Les étudiants évaluent ces travaux puis sont informés de l'évaluation que l'enseignant a associé à ces travaux. Cette étape permet aux étudiants de prendre en main le logiciel, de découvrir la grille d'évaluation, de faire une première évaluation et de recevoir un retour sur leur manière de coter. Les résultats de cette étape préliminaire n'entrent pas en compte dans le calcul de la note finale de l'étudiant.

La seconde phase vise la remise du travail individuel, qui se déroule de la même manière que lorsqu'il s'agit d'un devoir à remettre à un enseignant. Il faut bien veiller à exiger des étudiants qu'ils soumettent un fichier anonyme.

Au cours de la troisième phase, les travaux sont répartis et soumis à évaluation :

• tous les travaux soumis sont répartis entre les étudiants pour évaluation;

• les travaux évalués sont anonymes;

• chaque travail est évalué par plusieurs étudiants (idéalement 5);

• pour évaluer les travaux, les étudiants reçoivent une liste de critères, dont la pondération est fixée par l'enseignant (certains critères sont plus importants que d'autres);

• l'évaluation des travaux est un apprentissage en soi qui fait l'objet d'une évaluation.

Notez que l'enseignant dispose d'un tableau pour faire basculer l'activité d'une phase à l'autre :

Open

La quatrième phase concerne la remise de la note à chaque étudiant. Nous expliquons comment la note d'un étudiant est calculée dans la section ci-dessous. Par sécurité, certains enseignants autorisent les étudiants à demander une révision de leur note, sur la base d'une argumentation. Ils doivent alors prendre le temps de trouver une solution pour traiter les cas litigieux.

La cinquième phase consiste en la clôture de l'activité.

Programmer une activité d’Atelier

Etape 1 : Activer le basculement automatique de la phase 2 à la phase 3

Pour automatiser le fonctionnement de votre activité au maximum, définissez les Paramètres de Disponibilité souhaités et cochez le paramètre Passer à la phase suivante après le délai de remise des travaux:

Open

Etape 2 : Définissez le paramétrage de l’attribution programmée

Veillez aussi à spécifier le fait que vous souhaitez une attribution programmée automatique via l’onglet Attribution des travaux remis, et au besoin, accédez aux réglages des attribution aléatoires pour définir les options d’attribution :

Etape 3 : Placer manuellement l’activité dans la phase 2 de remise au moment opportun
Le basculement vers cette phase n’est malheureusement pas automatisé. Mais dès que votre activité est configurée vous pouvez basculer dans cette phase puisque la remise de travaux ne sera ouverte qu'à la date d’ouverture.

Etape 4 : Procédez au basculement manuel vers les phases 4 et 5 après l’exercice
La phase 4 de notation des évaluations permet de calculer les notes pour les différents travaux et c’est en basculant dans la phase 5 de fermeture que les résultats sont rendus accessibles aux étudiants. Ces deux phases qui clôturent le travail ne peuvent pas être programmées.

Comprendre comment la note de l'étudiant est calculée

Lors d'un travail d'évaluation par les pairs, la note finale d'un étudiant est la somme de deux notes: la première mesure la qualité du travail de l'étudiant et la seconde mesure la qualité de ses évaluations.

Il peut paraître surprenant que l'on mesure la qualité des évaluations de l'étudiant. Mais si la qualité des évaluations n'était pas mesurée, les étudiants pourraient bâcler ce travail et cela remettrait en question toute la fiabilité du processus.

Chaque enseignant peut choisir le poids de ces deux notes dans la note finale. La plupart du temps, l'évaluation se composera de 60 points sur 100 pour la qualité du travail de l'étudiant et de 40 points sur 100 pour l'évaluation de sa compétence d'évaluateur. Mais lorsque l'enseignement vise explicitement l'acquisition d'une compétence d'évaluation, on peut aussi s'attendre à une répartition 50-50 des deux notes dans la note finale.

Comment est calculée la mesure de la qualité du travail de l'étudiant ?
Le travail de chaque étudiant est évalué par plusieurs pairs, sur la base de critères définis par l'enseignant. L'enseignant décide aussi du poids de chaque critère. Chaque étudiant évaluateur complète donc une grille d'évaluation composée de plusieurs critères. Chaque évaluateur associe dès lors une note partielle au travail. Cette note partielle est calculée de manière habituelle, en faisant une moyenne des notes attribuées à chaque critère, avec la pondération définie par l'enseignant.
Lorsque tous les évaluateurs ont remis leurs notes partielles, la note finale de l'étudiant est calculée sur la base d'une moyenne des différentes notes partielles.

En résumé, chaque étudiant évaluateur remet une note partielle pour un travail et la note finale pour ce travail est la moyenne des notes partielles.

Comment est calculée la mesure de la qualité des évaluations d'un étudiant ?

La qualité des évaluations d'un étudiant est calculée sur la base des écarts entre les notes partielles qu'il a remises et les notes finales attribuées pour ces travaux.
Pour avoir le maximum de points pour une évaluation, l'évaluateur doit donc remettre une note partielle aussi proche que possible de la note finale (qui est la moyenne des notes partielles). S'il s'écarte trop de la note finale, il recevra une mauvaise note pour son évaluation. L'enseignant peut choisir de pénaliser les écarts de manière plus ou moins stricte, selon ses objectifs pédagogiques.
Notez que cette approche correspond à la "comparaison avec la meilleure évaluation" qui est implémentée par défaut.
L'approche d'évaluation par "comparaison avec l'évaluation la plus importante" exige que l'enseignant pondère chaque évaluation étudiante pour influencer le calcul (intéressant mais très lourd).
L'approche d'évaluation par "crédit de participation" permet que la note repose uniquement sur la participation des étudiants à la soumission et aux évaluations.

Moralité : puisque les deux notes sont calculées sur base de moyennes, il est essentiel que les travaux soient évalués par minimum 5 pairs !

Découvrir l'activité d'Atelier en vidéo

Avant de vous lancer dans la création d'un Atelier, nous vous conseillons de visionner cette vidéo qui vous présente tout le déroulement de l'activité (la vidéo présente une ancienne version de Moodle, mais concentrez-vous sur les étapes du processus) :
[VIDEO] Belle démonstration de l'atelier Moodle par l'IUT en ligne

Créer une activité d’Atelier

Signalons que l'évaluation des travaux oblige à définir une grille de critères (aspects) mais qu'il y a 4 nuances possibles dans l'exploitation de cette grille :

1. Évaluation cumulative : une note (obligatoire) et des commentaires (facultatifs) sont donnés sur différents aspects spécifiés.

2. Commentaires : des commentaires sont donnés sur différents aspects spécifiés, mais sans note.

3. Nombre d'erreurs : des commentaires sont donnés ainsi qu'une évaluation de type Oui/Non sur des affirmations spécifiées.

4. Critères : des niveaux explicites sont associés différents critères spécifiés et une note est associée à chaque niveau.

Si vous souhaitez une présentation détaillée du paramétrage de l'activité Atelier, nous vous recommandons ce manuel en ligne :

[MANUEL] Manuel d'utilisation détaillé de l'atelier Moodle conçu par Mario Calabrese

Stimuler l'engagement des étudiants

Les notes d'un Atelier sont calculées sur base de moyennes, et les étudiants comprennent très vite qu'ils ont intérêt à surévaluer les productions.

Pour stimuler un véritable engagement des étudiants dans l'activité, nous vous suggérons de ne pas prendre en compte la note finale pour le travail ou de minimiser sa pondération. Vous pouvez par contre stimuler la participation des étudiants en leur attribuant une note pour avoir participé à l'activité. Exploitez pour cela le Suivi d'achèvement et le Rapport d'achèvement présentés dans la page de manuel Baliser le parcours avec le suivi d'achèvement

Gérer des groupes d'étudiants dans un Atelier

Un Atelier permet d'organiser l'évaluation de productions individuelles entre pairs, mais, au fil des usages, nous avons dégagé 3 approches pour combiner l'activité à la gestion de groupes:

Evaluer des productions de groupes

Même si l'activité Atelier est conçue pour fonctionner avec des productions individuelles, certains enseignants réussissent à l'exploiter pour des productions de groupes en nommant un responsable de l'activité par groupe. Cette personne est chargée de remettre le travail au nom du groupe et recevra les évaluations à réaliser au nom du groupe.

Au moment de l'attribution des travaux, veillez alors à répartir les évaluations uniquement entre les étudiants qui ont remis un travail. Il vous suffit pour cela de vérifier que le paramètre "Les participants peuvent évaluer sans avoir remis de travail" est bien décoché dans le menu d'attribution des travaux.

Evaluer des productions individuelles en forçant la revue par groupes

Si vos étudiants sont répartis en groupes, il est possible de forcer les attributions au sein des groupes d'étudiants. Dans ce cas, veillez à configurer l'activité Atelier avec un Mode de Groupe à la valeur Groupes séparés.

Si vous utilisez plusieurs séries de groupes dans votre cours, précisez aussi le Groupement associé aux groupes ciblés.

Aucun autre paramétrage n'est nécessaire pour que la répartition se passe eu sein des étudiants d'un même groupe.

Evaluer des productions individuelles en forçant la revue par des pairs d'un autre groupe

Si vos étudiants sont répartis en groupes, il est possible de forcer les attributions à des pairs d'un autre groupe. Ce cas d'usage sera intéressant, par exemple, si chaque groupe d'étudiant analyse des thématiques différentes. Dans ce cas, veillez à configurer l'activité Atelier avec un Mode de Groupe à la valeur Groupes visibles.

Si vous utilisez plusieurs séries de groupes dans votre cours, précisez aussi le Groupement associé aux groupes ciblés.

Lorsque l'activité Atelier est configurée de cette manière, une nouvelle option d'attribution apparaît : "Empêcher les revues par des pairs du même groupe". Veillez à cocher cette option avant de lancer les attributions.

Suite à cet échange dans les forums Moodle, nous avons appris que l'Atelier configuré avec le mode de groupe Groupes visibles et l'option Empêcher les revues par les pairs d'un même groupe mixait autant que possible les attributions à des groupes différents, tout en évitant les attributions au groupe d'appartenance.
Imaginons qu'il y a 5 groupes d'étudiants dénommés A, B, C, D et E et que chaque individu doit faire 4 relectures dans un Atelier configuré comme décrit ci-dessus. Un étudiant du groupe A recevra 1 relecture de chacun des groupes B, C, D, E, F. Si le nombre d'étudiants dans chaque groupe n'est pas équivalent, le mixage sera moins parfait. La meilleure situation pour l'algorithme de mixage est que les groupes comptent le même nombre de participants.