Comparaison de pages

Vous organisez un quiz certificatif dont la not entrera en ligne de compte pour la note finale de l'étudiant pour votre cours. Dans ce cas, votre test devra être configuré de manière à limiter le temps pour répondre et à donner un feedback aussi limité que possible sur les bonnes réponses, de manière à préserver au maximum votre banque de questions certificatives des copies.
Notez que si vous souhaitez configurer un quiz pour un examen, qui compte pour une grande partie de la note du cours, les pages de manuel suivantes sont plus adaptées:
Organiser un examen à distance basé sur un quiz

Organiser un examen en salle didactique avec un quiz sécurisé via Safe Exam Browser

Précaution préalable : réserver des places dans l’auditoire Moodle

Plusieurs expériences de tests certificatifs ont été menées avec succès en salle didactique pour des groupes de plusieurs centaines d'étudiants. Mais notez que la connexion simultanée de plusieurs centaines d'étudiants à un même test pose des problèmes de réactivité pour la plateforme. Pour les  groupes de plus de 500 individus , il est essentiel de proposer des départs échelonnés sur 10 minutes.

Que vous envisagiez la passation d'un test certificatif en salle didactique ou à distance, il est essentiel qu'un test à blanc soit proposé au préalable dans les mêmes conditions que le test certificatif. Le test à blanc permettra de rassurer les étudiants et l'équipe enseignante quand à la modalité d'organisation du test final. Il montrera aussi si des limitations techniques pourraient mettre en péril la bonne organisation du test certificatif. 
N'organisez plus de test à blanc pendant la session d'examen mais renvoyez les étudiants vers le cours de démonstration des différentes modalités d'examen Moodle.

Consignes spécifiques aux test certificatifs

Lorsqu'on compose un test, il est conseillé d'encoder les questions dans la banque de questions du cours qui peut être structurée en catégories. Voyez la page de manuel suivante pour comprendre ce mécanisme :

Encoder des questions de quiz dans la banque de questions

Les types de questions proposés dans Moodle sont variés et vous découvrirez tous les types de questions proposés par Moodle dans la page de manuel suivante :

Découvrir les types de questions de quiz

Configurer un test certificatif

• Description : rappelez les consignes essentielles pour le début de test.

• Temps : cette section vous permet de spécifier une heure d'ouverture et une heure de fermeture pour le test (avec une marge de minimum 5 minutes pour les retardataires) et de définir le temps disponible pour répondre;

  

  Si le test est configuré comme dans la capture ci-dessus pour être réalisé en une heure entre 8h et 9h, si un étudiant commence le test à 9h30, le test affichera un décompte d'une heure mais sera soudainement fermé à 10h ! Communiquez clairement vers les étudiants dans vos consignes et rappels.
  Nous vous suggérons de mettre le paramètre Lorsque le temps impartit échoit à la valeur La tentative en cours est envoyée automatiquement, ce qui évitera toute perte des réponses pour les répondants de dernière minute.

• Notes: cette section vous permet notamment de définir le nombre de tentatives autorisées pour ce test. Pour un test certificatif, veillez spécifier que chaque étudiant ne peut effectuer ce test qu'une seule fois.

  

• Mise en page :

  • Nous vous suggérons de privilégier l'affichage d'une question par page car cela garantit que les réponses à chaque question sont enregistrées au fur et à mesure du test; si un étudiant rencontrait un soucis technique, il pourrait donc relancer le test et poursuivre sa tentative sans difficulté;

• Mise en page (suite):

  • Le mode de navigation est un paramètre important pour l'expérience étudiante. La navigation libre permet une expérience d'examen à distance proche de celle d'un examen en présence : l'étudiant peut parcourir toutes les questions avant d'y répondre, avoir une idée claire du temps qu'il va consacrer à chaque question et répondre aux questions dans l'ordre qui lui convient le mieux.
    La navigation séquentielle oblige l'étudiant à répondre aux questions dans l'ordre d'affichage, sans pouvoir revenir en arrière sur des questions passées. Cette configuration limite le risque d'échange de réponses entre étudiants mais est une cause de stress important car les étudiants n'ont pas une idée claire du temps à consacrer à chaque question. Veillez à avertir les étudiants si vous utilisez la navigation séquentielle et donnez-leur peut-être des indications sur la composition de votre examen (Exemples : 2 questions ouvertes longues, 3 textes à trous, 10 qcms, 5 réponses courtes) ou sur la durée à consacrer à chaque question.

• Comportement des questions :

  • Mélanger les éléments de questions : si votre test comporte des questions avec des propositions de réponses, comme des qcm, vous pouvez mélanger les propositions de réponses en veillent à mettre ce champ à Oui;
    Attention, veillez à proscrire de vos qcm des options de réponses du genre "a et b sont corrects" si vous souhaitez utiliser le mélange des options.

  • Feedback à posteriori est le mieux adapté dans cette approche certificative: les étudiant doivent répondre à l'ensemble des questions avant de pouvoir soumettre leur tentative et recevoir un feedback limité.

• Si vous le souhaitez, vous pouvez également demander à l'étudiant d'évaluer son degré de certitude par rapport à la réponse donnée, dans ce cas choisissez Feedback à postériori avec indication de certitude, des éventuelles pénalités seront alors appliquées et la question s'affiche alors comme ci-dessous. Notez que l'utilisation des indices de certitude suppose que vous habituiez les étudiants à ce type de réponse.

  

• Options de relecture: vous avez plusieurs possibilités :

  • Pendant la tentative : cette option n’est pas active en mode Feedback à posteriori.

  • Immédiatement après la tentative: les informations affichées après avoir cliqué sur le bouton Tout envoyer et terminer.

  • Plus tard, alors que le test est encore ouvert: les informations affichéesdeux minutes après avoir cliqué sur le bouton Tout envoyer et terminer, alors quele test est toujours ouvert.

  • Après la fermeture du test: les informations affichées après la date de fermeture du test.

  Dans tous les cas, il est possible de choisir les éléments à afficher. Nous vous suggérons de ne pas permettre à l'étudiant de revoir sa tentative (il pourrait copier les questions), ni de voir les bonnes réponses. Vous pouvez par contre lui présenter ses points et le feedback global au test. L'option la plus sûre est de tout décocher dans les options de relecture sauf le Feedback global que nous vous proposons d'utiliser pour afficher une message rassurant aux étudiants. Ne pas afficher les résultats du test immédiatement vous permet de revoir le scoring du test si souhaité sans risquer de recours étudiant.

  

• Apparence: nous vous suggérons d'afficher l'avatar du participant pendant le test, de préférence au format "Grande image", de manière à permettre aux surveillants de vérifier facilement l'identité des étudiants (pour les tests qui se déroulent en salle didactique);

• Feedback global : ce feedback s'affiche lorsque les étudiants ont terminé le test; dans le cas d'un test certificatif, veillez à  indiquer un message qui rassure les étudiants quand à l'enregistrement de leurs réponses dans le Feedback global.

  

• Restriction d'accès : il est possible de faire en sorte que votre activité d'examen soit cachée jusqu'à une heure donnée et de programmer l'heure d'affichage de l'examen. Cette précaution n'est pas indispensable pour un test puisque les questions ne s'afficheront pas avant l'heure d'ouverture.

  Vous devez pour cela exploiter les Restrictions d'accès sur une date en veillant à fermer l'oeil pour que les étudiants ne voient pas l'activité tant que la condition n'est pas vérifiée. Veillez aussi à mettre le paramètre Disponibilité à Afficher sur la page d'accueil du cours, sinon elle n'apparaîtra jamais ... 

  

Ajouter des questions au test depuis la banque de questions

Nous vous recommandons de procéder à l’encodage des questions depuis la banque de questions, comme expliqué dans cette page de manuel:
​Encoder des questions de quiz dans la banque de questions

Une fois votre Test configuré, vous pouvez y ajouter les questions depuis la banque de questions, en cliquant sur le bouton Ajouter question:

Via cet écran, vous pouvez ajouter des questions depuis la banque de questions, ajouter des questions tirées aléatoirement dans une catégorie (le jeu de question sera alors différent à chaque nouvelle tentative) et mélanger l’ordre des questions.

Par défaut, les questions sont créées dans un test à raison de une question par page. Les flèches à gauche des questions permettent de supprimer ou d'ajouter des sauts de page entre les questions.

Mélanger les questions du test

Lorsque vous composez le test, vous avez 3 options combinables qui permettent de varier le tirage des questions.

Mélanger les options dans les qcm

Lorsque vous créez une question de type qcm ou un d'un autre type qui comporte des propositions de réponse, vous pouvez choisir, au niveau de la question, que les propositions de réponses soient mélangées. Veillez dans ce cas à composer des options qui peuvent être mélangées. Par exemple, aucune option ne devrait être libellée "a et b sont vrais".

Lorsque vous composez un test, vous devez aussi spécifier dans lesparamètres du test que vous souhaitez que les réponses possibles soient mélangées.

Mélanger les questions du test

Lorsque vous avez encodé une série de questions dans un test, vous avez la possibilité de demander que les questions soient mélangées. Chaque étudiant verra ainsi apparaître les mêmes questions dans un ordre différent.

Tirer des questions aléatoirement dans une catégorie

Lorsque votre banque de questions est bien organisée, vous pouvez tirer aléatoirement des questions dans une catégorie. Cette approche suppose que vous composiez vos catégories avec des questions de pondération et de niveau de difficulté équivalent.

Lorsque vous modifiez un test, sélectionnez le menu Ajouter + question aléatoire, puis choisissez la catégorie de questions cible et le nombre de questions à tirer dans cette catégorie.

Par exemple, une catégorie peut être dédiée aux questions de définition, une catégorie aux questions de mise en pratique et une catégorie aux études de cas. En composant un test avec 4 questions prises au hasard dans 30 questions de définition, 3 questions prises au hasard dans 15 questions de mise en pratique et 1 question prise au hasard parmi les 10 études de cas, chaque étudiant sera soumis à un test avec niveau de difficulté équivalent. Cette option est cumulable avec le mélange des questions, ce qui vous permet de limiter la probabilité que 2 étudiants répondent à la même question en même temps.

Remarque
Attention, l'expérience nous a montré que le tirage aléatoire de questions présentait un inconvénient : si une question est mal formulée, il faut gérer manuellement la révision de la note dans les copies ou cette question apparaît car il n'est pas possible de revoir le scoring de cette question à postériori.

Prévoir des dérogations de temps pour les étudiants PEPS et pour pallier à des problèmes techniques

Dans la liste des paramètres qui peuvent faire l'objet d'une dérogation, c'est le Temps disponible que vous devez modifier et l'heure de fermeture du test pour qu'il soit réaliste pour les étudiants PEPS de disposer du temps imparti.

Si un étudiant rencontrait un soucis au cours du test, c'est aussi via le menu Dérogation utilisateur que vous pourriez adapter son temps d'examen (heure de fermeture et temps disponible).
Si tout votre groupe d'étudiants est confronté à une difficulté (problème avec une question qui est révisée pensant l'examen) et que vous souhaitez donner plus de temps à tout le monde, créez un groupe avec tous les étudiants et ajouter une Dérogation de groupe sur l'heure de fermeture et le temps disponible.

Voir les réponses des étudiants

Dès que votre test est ouvert, vous verrez que le nombre d'étudiants qui ont entamé le test via le menu principal du Test en rechargeant la page régulièrement.

Pour accéder plus précisément aux réponses des étudiants, accédez au menu d'administration du test, onglet Résultats. Les réponses ne seront visibles que lorsque les étudiants auront validé leur test ou lorsque le temps imparti pour le test sera écoulé.

Notez que le rapport Statistiques vous donne divers indicateurs édumétriques pour évaluer la qualité de vos questions.

C'est via ce menu que vous accédez aussi à l'Evaluation manuelle des questions ouvertes.

Etaler les départs pour les grandes cohortes (+500)

Pour les évaluations qui ciblent des cohortes de plus de 500 étudiants, nous exigons d'étaler les départs sur 10 minutes. Concrètement, cela signifie que pour un examen qui débute à 8h et qui dure une heure, on prévoira une heure de fermeture à 9h10 :

Veillez aussi à adapter les consignes de l'examen pour que l'étalement soit effectif.
Pensez aussi à prévoir cette marge temporelle de 10 minutes lorsque vous configurez les dérogations pour les étudiants PEPS !

Corriger le scoring et recalculer la note après la passation du test

Si vous constatez une erreur dans la configuration des bonnes réponses de certaines questions après le test, il est possible de d'adapter le scoring et de lancer un recalcul global des notes via le tableau des tentatives. Avant de valider le recalcul vous pouvez aussi visualiser une simulation des notes recalculées.

Organiser un feedback en présence sur base des résultats du test

Info
Si vous souhaitez motiver vos étudiants à réaliser des tests en dehors du cours (par exemple en classe inversée), il est indispensable d'exploiter les résultats du test de manière formative. Via le rapport de statistiques, vous pouvez notamment épingler les réponses les moins bien réussies, les distracteurs les plus fréquents et proposer un feedback personnalisé à vos étudiants.

Les résultats d'un test peuvent être analysés en détail via les différents rapports disponibles via cette procédure :

• entrer dans le Test concerné;

• choisir l’onglet Résultats.

Trois types de rapports sont disponibles :

• Notes : affiche la liste des étudiants et leur score aux différentes questions du test;

• Réponses des participants : affiche la liste des participants et le détail de leurs réponses à chaque question;

• Statistiques : affiche la liste des questions et des indicateurs édumétriques pour chaque question; en cliquant sur le libellé d'une question, on peut afficher la répartition des réponses pour cette question.

Voici un exemple de rapport statistique pour une question précise.

Cette analyse permet d'évaluer la qualité des distracteurs et d'organiser une remédiation personnalisée suite au test.
N'hésitez pas consulter la page de manuel Baliser la parcours avec le suivi d’achèvement pour aller plus loin dans le suivi des résultats des tests.