Vous organisez un quiz certificatif dont la note entrera en ligne de compte dans la note finale de l'étudiant pour votre cours. Dans ce cas, votre test devra être configuré de manière à limiter le temps pour répondre et à donner un feedback aussi limité que possible sur les bonnes réponses, de manière à préserver au maximum votre banque de questions certificatives des copies.
Notez que si vous souhaitez configurer un quiz pour un examen, qui compte pour une grande partie de la note du cours, les pages de manuel suivantes sont plus adaptées:
Organiser un examen à distance basé sur un quiz
Organiser un examen en salle didactique avec un quiz sécurisé via Safe Exam Browser
Précaution préalable : réserver des places dans l’auditoire Moodle
Pour vos examens et vos tests à blanc, veillez à réserver des places dans l'auditoire virtuel dédié aux examens Moodle dans ADE (via votre horairiste) en définissant le nombre de places nécessaires et le type d'activité utilisée: quiz ou devoir.
La réservation est nécessaire uniquement pour les quiz ou devoirs à réaliser en moins de 3 heures. Ces activités génèrent une charge importante sur les serveurs et les réservations de places dans les auditoires virtuels visent à éviter les dépassements
Plusieurs expériences de tests certificatifs ont été menées avec succès en salle didactique pour des groupes de plusieurs centaines d'étudiants. Mais notez que la connexion simultanée de plusieurs centaines d'étudiants à un même test pose des problèmes de réactivité pour la plateforme. Pour les groupes de plus de 500 individus , il est essentiel de proposer des départs échelonnés sur 10 minutes.
Que vous envisagiez la passation d'un test certificatif en salle didactique ou à distance, il est essentiel qu'un test à blanc soit proposé au préalable dans les mêmes conditions que le test certificatif. Le test à blanc permettra de rassurer les étudiants et l'équipe enseignante quand à la modalité d'organisation du test final. Il montrera aussi si des limitations techniques pourraient mettre en péril la bonne organisation du test certificatif.
N'organisez plus de test à blanc pendant la session d'examen mais renvoyez les étudiants vers le cours de démonstration des différentes modalités d'examen Moodle.
Consignes spécifiques aux test certificatifs
L'organisation de tests certificatifs sur Moodle présente beaucoup moins de risques de tricherie et de problèmes techniques lorsqu'ils se déroulent en salle didactique. Nous ne recommandons la modalité d'organisation des test à distance dans le cadre d'évaluation partielle.
Lorsque des étudiants réalisent un test en ligne à distance sur Moodle, les limitations suivantes sont en effet inévitables :
il n'existe aucun moyen technique qui permette de garantir l'identité de la personne qui répond,
il est impossible d'empêcher les étudiants d'échanger des informations pendant le test (via un autre device notamment)
il est impossible d'empêcher la copie des questions via copier-coller, via capture d'écran ou via prise de photos,
il faut veiller à organiser un test à blanc préalable pour limiter au maximum les problèmes techniques, notamment liés à la qualité de la connexion réseau, au navigateur utilisé et au type de question utilisé (avec drag and drop, images, audios, vidéos, ...).
Lorsqu'on compose un test, il est conseillé d'encoder les questions dans la banque de questions du cours qui peut être structurée en catégories. Voyez la page de manuel suivante pour comprendre ce mécanisme :
Encoder des questions de quiz dans la banque de questions
Lorsque votre banque de questions est bien organisée, vous pouvez tirer aléatoirement des questions dans une catégorie. Cette approche suppose que vous composiez vos catégories avec des questions de niveau de difficulté équivalent.
Les types de questions proposés dans Moodle sont variés et vous découvrirez tous les types de questions proposés par Moodle dans la page de manuel suivante :
Découvrir les types de questions de quiz
Optimisez les médias et fichiers liés à vos questions
Les tests à distance avec les étudiants à domicile montrent que le débit de connexion des étudiants peut causer problème lors de l'affichage d'énoncés qui reposent sur des fichiers lourds (images haute résolution, vidéos, fichiers de données à télécharger).
Veillez donc à optimiser les images et fichiers attachés, et publiez les vidéos sur le service de diffusion institutionnel, comme expliqué dans la page de manuel
Partager des vidéo ou des audios via eZCast
Configurer un test certificatif
Commencez par créer une activité Test depuis la page d'accueil de votre cours, donner lui un titre puis suivez les consignes ci-dessous structurée sur base des sections de configuration du test.
Description : rappelez les consignes essentielles pour le début de test.
Temps : cette section vous permet de spécifier une heure d'ouverture et une heure de fermeture pour le test (avec une marge de minimum 5 minutes pour les retardataires) et de définir le temps disponible pour répondre;
Si le test est configuré comme dans la capture ci-dessus pour être réalisé en une heure entre 8h et 9h, si un étudiant commence le test à 9h30, le test affichera un décompte d'une heure mais sera soudainement fermé à 10h ! Communiquez clairement vers les étudiants dans vos consignes et rappels.
Nous vous suggérons de mettre le paramètre Lorsque le temps impartit échoit à la valeur La tentative en cours est envoyée automatiquement, ce qui évitera toute perte des réponses pour les répondants de dernière minute.Notes : cette section vous permet notamment de définir le nombre de tentatives autorisées pour ce test. Pour un test certificatif, veillez spécifier que chaque étudiant ne peut effectuer ce test qu'une seule fois.
Mise en page :
Nous vous suggérons de privilégier l'affichage d'une question par page car cela garantit que les réponses à chaque question sont enregistrées au fur et à mesure du test; si un étudiant rencontrait un soucis technique, il pourrait donc relancer le test et poursuivre sa tentative sans difficulté;
Evitez à tout prix d’afficher toutes les questions sur une même page !
Paginer votre quiz car le réponses sont enregistrées à chaque changement de page.
Mise en page (suite):
Le mode de navigation est un paramètre important pour l'expérience étudiante. La navigation libre permet une expérience d'examen à distance proche de celle d'un examen en présence : l'étudiant peut parcourir toutes les questions avant d'y répondre, avoir une idée claire du temps qu'il va consacrer à chaque question et répondre aux questions dans l'ordre qui lui convient le mieux.
La navigation séquentielle oblige l'étudiant à répondre aux questions dans l'ordre d'affichage, sans pouvoir revenir en arrière sur des questions passées. Cette configuration limite le risque d'échange de réponses entre étudiants mais est une cause de stress important car les étudiants n'ont pas une idée claire du temps à consacrer à chaque question. Veillez à avertir les étudiants si vous utilisez la navigation séquentielle et donnez-leur peut-être des indications sur la composition de votre examen (Exemples : 2 questions ouvertes longues, 3 textes à trous, 10 qcms, 5 réponses courtes) ou sur la durée à consacrer à chaque question.
Annoncez toujours le mode de navigation utilisé dans le test : navigation libre ou navigation séquentielle.
Si vous optez pour la navigation séquentielle, veillez à annoncer la répartition des différentes types de questions pour votre examen, ou indiquez le temps à consacrer à chaque question et prévenez les étudiants que le retour en arrière dans les questions générera un message d'erreur de Moodle.
Comportement des questions :
Mélanger les éléments de questions : si votre test comporte des questions avec des propositions de réponses, comme des qcm, vous pouvez mélanger les propositions de réponses en veillent à mettre ce champ à Oui;
Attention, veillez à proscrire de vos qcm des options de réponses du genre "a et b sont corrects" si vous souhaitez utiliser le mélange des options.Feedback à posteriori est le mieux adapté dans cette approche certificative: les étudiant doivent répondre à l'ensemble des questions avant de pouvoir soumettre leur tentative et recevoir un feedback limité.
Si vous le souhaitez, vous pouvez également demander à l'étudiant d'évaluer son degré de certitude par rapport à la réponse donnée, dans ce cas choisissez Feedback à postériori avec indication de certitude, des éventuelles pénalités seront alors appliquées et la question s'affiche alors comme ci-dessous. Notez que l'utilisation des indices de certitude suppose que vous habituiez les étudiants à ce type de réponse.
Options de relecture : vous avez plusieurs possibilités :
Pendant la tentative : cette option n’est pas active en mode Feedback à posteriori.
Immédiatement après la tentative: les informations affichées après avoir cliqué sur le bouton Tout envoyer et terminer.
Plus tard, alors que le test est encore ouvert: les informations affichées deux minutes après avoir cliqué sur le bouton Tout envoyer et terminer, alors que le test est toujours ouvert.
Après la fermeture du test: les informations affichées après la date de fermeture du test.
Dans tous les cas, il est possible de choisir les éléments à afficher. Nous vous suggérons de ne pas permettre à l'étudiant de revoir sa tentative (il pourrait copier les questions), ni de voir les bonnes réponses. Vous pouvez par contre lui présenter ses points et le feedback global au test. L'option la plus sûre est de tout décocher dans les options de relecture sauf le Feedback global que nous vous proposons d'utiliser pour afficher une message rassurant aux étudiants. Ne pas afficher les résultats du test immédiatement vous permet de revoir le scoring du test si souhaité sans risquer de recours étudiant.
Apparence : nous vous suggérons d'afficher l'avatar du participant pendant le test, de préférence au format "Grande image", de manière à permettre aux surveillants de vérifier facilement l'identité des étudiants (pour les tests qui se déroulent en salle didactique);
Feedback global : ce feedback s'affiche lorsque les étudiants ont terminé le test; dans le cas d'un test certificatif, veillez à indiquer un message qui rassure les étudiants quand à l'enregistrement de leurs réponses dans le Feedback global.
Restriction d'accès : il est possible de faire en sorte que votre activité d'examen soit cachée jusqu'à une heure donnée et de programmer l'heure d'affichage de l'examen. Cette précaution n'est pas indispensable pour un test puisque les questions ne s'afficheront pas avant l'heure d'ouverture.
Vous devez pour cela exploiter les Restrictions d'accès sur une date en veillant à fermer l'oeil pour que les étudiants ne voient pas l'activité tant que la condition n'est pas vérifiée. Veillez aussi à mettre le paramètre Disponibilité à Afficher sur la page d'accueil du cours, sinon elle n'apparaîtra jamais ...
Ajouter des questions au test depuis la banque de questions
Nous vous recommandons de procéder à l’encodage des questions depuis la banque de questions, comme expliqué dans cette page de manuel:
Encoder des questions de quiz dans la banque de questions
Une fois votre Test configuré, vous pouvez y ajouter les questions depuis la banque de questions, en cliquant sur le bouton Ajouter question:
Via cet écran, vous pouvez ajouter des questions depuis la banque de questions, ajouter des questions tirées aléatoirement dans une catégorie (le jeu de question sera alors différent à chaque nouvelle tentative) et mélanger l’ordre des questions.
Par défaut, les questions sont créées dans un test à raison de une question par page. Les flèches à gauche des questions permettent de supprimer ou d'ajouter des sauts de page entre les questions.
Une fois votre test composé, vous pouvez Prévisualiser le test via le menu de gestion du test. La prévisualisation permet un rendu qui n’est pas parfaitement fidèle à celui qui sera affiché à un étudiant.
En temps qu'enseignant, vous ne pouvez pas voir l'interface de réponse à un test comme un étudiant et vos réponses ne s'affichent pas dans le tableau des résultats, même si vous prenez le rôle étudiant. Vous pouvez Prévisualiser un test mais le rendu ne présentera pas fidèlement le feedback après le test. Vous pouvez par contre inscrire un collègue ou un assistant à votre cours et lui donner exclusivement le rôle étudiant (il faut aussi lui enlever le rôle d'enseignant). Il vous suffit d'utiliser les dérogations utilisateur (comme pour les étudiants PEPS) pour autoriser votre collègue à avoir accès à l'examen avant la date prévue. Vous verrez ainsi l'interface de réponse et le feedback réel affichés à un étudiant.
Mélanger les questions du test
Lorsque vous composez le test, vous avez 3 options combinables qui permettent de varier le tirage des questions.
Mélanger les options dans les qcm
Lorsque vous créez une question de type qcm ou un d'un autre type qui comporte des propositions de réponse, vous pouvez choisir, au niveau de la question, que les propositions de réponses soient mélangées. Veillez dans ce cas à composer des options qui peuvent être mélangées. Par exemple, aucune option ne devrait être libellée "a et b sont vrais".
Lorsque vous composez un test, vous devez aussi spécifier dans les paramètres du test que vous souhaitez que les réponses possibles soient mélangées.
Mélanger les questions du test
Lorsque vous avez encodé une série de questions dans un test, vous avez la possibilité de demander que les questions soient mélangées. Chaque étudiant verra ainsi apparaître les mêmes questions dans un ordre différent.
Tirer des questions aléatoirement dans une catégorie
Lorsque votre banque de questions est bien organisée, vous pouvez tirer aléatoirement des questions dans une catégorie. Cette approche suppose que vous composiez vos catégories avec des questions de pondération et de niveau de difficulté équivalent.
Lorsque vous modifiez un test, sélectionnez le menu Ajouter + question aléatoire, puis choisissez la catégorie de questions cible et le nombre de questions à tirer dans cette catégorie.
Par exemple, une catégorie peut être dédiée aux questions de définition, une catégorie aux questions de mise en pratique et une catégorie aux études de cas. En composant un test avec 4 questions prises au hasard dans 30 questions de définition, 3 questions prises au hasard dans 15 questions de mise en pratique et 1 question prise au hasard parmi les 10 études de cas, chaque étudiant sera soumis à un test avec niveau de difficulté équivalent. Cette option est cumulable avec le mélange des questions, ce qui vous permet de limiter la probabilité que 2 étudiants répondent à la même question en même temps.
Attention, l'expérience nous a montré que le tirage aléatoire de questions présentait un inconvénient : si une question est mal formulée, il faut gérer manuellement la révision de la note dans les copies ou cette question apparaît car il n'est pas possible de revoir le scoring de cette question à postériori.
Prévoir des dérogations de temps pour les étudiants PEPS et pour pallier à des problèmes techniques
Si certains étudiants doivent bénéficier de plus de temps pour réaliser le test, comme les étudiants PEPS, vous pouvez définir des dérogations de temps individuelles ou de groupe pour le test. Ces options sont affichées dans le menu de configuration du test.
Dans la liste des paramètres qui peuvent faire l'objet d'une dérogation, c'est le Temps disponible que vous devez modifier et l'heure de fermeture du test pour qu'il soit réaliste pour les étudiants PEPS de disposer du temps imparti.
Si un étudiant rencontrait un soucis au cours du test, c'est aussi via le menu Dérogation utilisateur que vous pourriez adapter son temps d'examen (heure de fermeture et temps disponible).
Si tout votre groupe d'étudiants est confronté à une difficulté (problème avec une question qui est révisée pensant l'examen) et que vous souhaitez donner plus de temps à tout le monde, créez un groupe avec tous les étudiants et ajouter une Dérogation de groupe sur l'heure de fermeture et le temps disponible.
Voir les réponses des étudiants
Dès que votre test est ouvert, vous verrez que le nombre d'étudiants qui ont entamé le test via le menu principal du Test en rechargeant la page régulièrement.
Pour accéder plus précisément aux réponses des étudiants, accédez au menu d'administration du test, onglet Résultats. Les réponses ne seront visibles que lorsque les étudiants auront validé leur test ou lorsque le temps imparti pour le test sera écoulé.
Notez que le rapport Statistiques vous donne divers indicateurs édumétriques pour évaluer la qualité de vos questions.
C'est via ce menu que vous accédez aussi à l'Evaluation manuelle des questions ouvertes.
Etaler les départs pour les grandes cohortes (+500)
Pour les évaluations qui ciblent des cohortes de plus de 500 étudiants, nous exigons d'étaler les départs sur 10 minutes. Concrètement, cela signifie que pour un examen qui débute à 8h et qui dure une heure, on prévoira une heure de fermeture à 9h10 :
Veillez aussi à adapter les consignes de l'examen pour que l'étalement soit effectif.
Pensez aussi à prévoir cette marge temporelle de 10 minutes lorsque vous configurez les dérogations pour les étudiants PEPS !
Corriger le scoring et recalculer la note après la passation du test
Si vous constatez une erreur dans la configuration des bonnes réponses de certaines questions après le test, il est possible de d'adapter le scoring et de lancer un recalcul global des notes via le tableau des tentatives. Avant de valider le recalcul vous pouvez aussi visualiser une simulation des notes recalculées.
