Mise en œuvre de tests de positionnement dans un dispositif ORE, retour d’expérience de l’Université de Lorraine

Unisciel et la Direction du Numérique de l’’Université de Lorraine ont mis en place une action commune sur les tests de positionnement en sciences auprès du Collegium Sciences et Technologies. Dans cet article, nous explicitons le dispositif en place actuellement et ses déclinaisons possibles.

© Conférence des présidents d’université – Université de Lorraine

Des tests de positionnement à l’Université de Lorraine

La mise en œuvre de la loi ORE (Orientation et Réussite des Étudiants) a remis sur le devant de la scène l’usage de tests de positionnement. Ils représentent un bon moyen d’obtenir un point de référence du niveau des étudiants à différents moments du semestre. Ils viennent en complément de l’évaluation en contrôle continu (quand il n’y a pas de CCI — Contrôle Continu Intégral) et des partiels, qui forment davantage la courbe d’évaluation du niveau de l’étudiant au cours du semestre. D’après le retour des enseignants de l’Université de Lorraine, les tests de positionnement doivent être considérés comme une photo à un instant T et de ce fait, ils ne peuvent pas représenter toute la réalité du niveau d’un étudiant, qui par nature évolue dans le temps. Cependant, c’est un excellent moyen d’échange et de dialogue avec les étudiants.

Ce positionnement se concrétise ensuite sous la forme d’actions d’aide à la réussite, comme la mise en place de soutien, de tutorat, de remédiation, etc.

Les apports du numérique sur le positionnement sont multiples : de la facilité de partage des banques de questions au sein d’une université ou via des organisations, telles que les UNT, à la correction automatique des résultats, en passant par les ressources numériques de remédiation qui peuvent y être liées, en fonction des résultats.

La création de questions peut s’avérer longue et difficile, c’est pourquoi il est important de soutenir des efforts de réutilisation. Elle peut par exemple être effectuée au sein d’un LMS (Learning Management System) comme MOODLE via les fonctionnalités de banque de questions. Des organisations, telles que l’UNT UNISCIEL (Université Numérique ThématiqueUNIversité des SCIences En Ligne), par exemple à travers le pack « Faq2sciences » ou d’autres packs comme « positionnement continu » ou « appui à la remédiation » peuvent mutualiser des questions pour en faire profiter le plus grand nombre, et offrir un accompagnement à leur mise en œuvre.

Dans son rôle « d’émulateur » de partage, de collaboration, et de mise en relation d’établissements, UNISCIEL organise la création ou la mise en commun de questions dans des banques de questions sur les thématiques des sciences fondamentales, dans un but de partage d’une source organisée de questions. Il en résulte donc une communauté d’efforts partagés.

Mise en place de tests de positionnement

Identification des besoins

Pour les services d’appui, il est essentiel de disposer de canaux et de procédures pour identifier les attentes des équipes enseignantes. Qu’ils s’agissent d’un réseau de correspondants présents dans les composantes ou d’appels à projets internes, il faut être tourné vers sa communauté et exposer ses compétences, son offre de service ou de formation.

Sur les deux dernière années, 30% des formations dispensées par notre service dans le cadre de la formation continue des personnels sont soit relatives à la question de l’évaluation, soit intégralement dédiées à la conduite de tests et la gestion des banques de questions.

Afin de maintenir les contacts et d’entretenir la veille, relayer les attentes de nos interlocuteurs, un ingénieur en enseignement numérique est nommé comme interlocuteur privilégié pour chaque UNT. À l’Université de Lorraine, suite à un appel à projets interne, une équipe constituée de divers représentants des Directions opérationnelles a été à la rencontre des équipes enseignantes pour recueillir leurs besoins et objectifs spécifiques, définir les actions à mettre en œuvre pour l’orientation et la réussite des étudiants.

Création ou sélection de questions existantes

Dans la phase d’étude du besoin d’un test de positionnement initial (en début d’année) en mathématiques pour la physique / chimie, des banques de question existantes ont été analysées comme non concordantes avec les besoins constatés de remise à niveau. Mais loin d’être inutiles, elles ont servi de base et ont permis aux enseignants de se positionner par rapport à elle et de créer de nouvelles questions plus concordantes avec les problèmes constatés. En revanche, une formation analogue a pu profiter plus simplement des banques existantes en les modifiant à la marge et en y ajoutant quelques questions. Les différences constatées dans les besoins peuvent paraître surprenantes, mais au fur et à mesure et sur chaque public, les questions issues des banques ou créées doivent être évaluées pour leur pouvoir prédictif et être adaptées. Cette adaptation sera facilitée par l’utilisation de banques centralisées.

La qualification des questions est essentielle, car elle facilite la réutilisation. Ainsi dans la banque de questions Unisciel, les métadonnées associées à chaque question spécifient notamment la matière et le thème abordés, mais surtout le niveau d’étude, le niveau de complexité basé sur la taxonomie de Bloom, les mots-clés, etc. L’UNT Unisciel met à disposition de ses établissements membres une banque d’environ 3000 questions dans les disciplines de sciences fondamentales. Les questions et les métadonnées associées ont au préalable fait l’objet d’un circuit de validation technique et éditorial avant d’être partagées auprès de la communauté. Un dispositif d’amélioration continu est en œuvre et l’UNT vise une complétude des thématiques disciplinaires via le financement de productions de questions au fil de l’eau.

Qu’elles soient réutilisées à partir d’un existant ou originales, les questions sont souvent à adapter aux besoins spécifiques des formations en fonction des problématiques constatées par l’équipe de formation, et aux regard des objectifs poursuivis suite à la passation des tests.

Identification de ressources de remédiation

Ceci est lié à l’un des objectifs du positionnement : la proposition de ressources de remédiation. En effet, et notamment grâce à la qualification des questions, des ressources numériques peuvent être proposées par les UNT. Par exemple, Unisciel propose un module générique de tests de positionnement initial de niveau L0 intégrant au sein des tests des liens vers des ressources de remédiation produites par Unisciel, et de la même façon, elle offre depuis peu des modules thématiques concernant la capacité en mathématiques pour permettre aux étudiants d’approfondir des connaissances niveau lycée qui leur seront nécessaires pour le premier cycle universitaire.

Ce travail est soutenu par des services d’appui internes à l’Université de Lorraine permettant de mettre en relation les interlocuteurs et de profiter de banques de questions existantes, mais aussi de présenter les opportunités, et enfin les possibilités de mise en œuvre, techniques et organisationnelles.

Mise en œuvre

Le principal outil numérique support de la passation de test est un LMS, tel que MOODLE.

Il permet :

  • de créer des questions de multiples types,
  • de les organiser et les partager dans des banques de questions,
  • de les mobiliser dans des tests dont les paramètres permettent de nombreuses modalités de passation.

La création ou l’import de question supporte de nombreux formats, partagés au sein des universités et des UNT, tels que le format MOODLE, mais aussi XML et GIFT pour une large interopérabilité des banques de question, facilitant la réutilisation via l’import/export. L’organisation dans des banques de questions peut être effectuée finement via des catégories et des tags.

Le paramétrage des tests peut parfois être complexe et il est bon de créer de la documentation ou des tests pré-paramétrés alignés sur des usages. Par exemple, un test de positionnement passé en salle informatique, avec un code d’accès par groupe en auto-inscription, bloqué sur un certain créneau horaire, un temps maximum pour le test, et des options de relecture indiquant des feedbacks à postériori. Il convient alors d’indiquer ces paramètres en correspondance avec un usage décrit clairement aux enseignants et aux équipes support (scolarité, surveillants, etc.). Des fiches pratiques peuvent être établies et distribuées.

L’organisation autour des tests est importante :

  • La création des tests est à penser en tout premier lieu en relation avec les actions en résultat (accompagnement, remédiation, soutien, etc.).
  • La recherche d’existant est essentielle, qu’il s’agisse de l’utiliser tel quel, de le modifier ou de s’en inspirer, car la création de questions est chronophage ; la réciproque implique qu’il est bon de partager la création de questions originales avec la communauté.
  • L’organisation de la passation est à adapter en fonction de l’objectif : un public étudiant de néo-entrant ou un test « surveillé » devra plutôt se dérouler sur site en salle informatique, impliquant réservation et surveillants formés à la passation du test ; un public plus averti pourra passer le test à distance, surtout si l’on considère que la « triche » est parfois sans conséquence : l’indication d’un niveau faible est censé déclencher une aide, le tricheur ne ferait que s’en priver lui-même…
  • L’intégration du test sur un support numérique doit prendre en considération les modalités de passation et de correction pour s’assurer que les résultats seront facilement exploitables.
  • Une analyse des résultats doit être menée pour adapter le test d’année en année.

L’usage du support numérique permettra d’économiser des impressions, de grouper et traiter les résultats aisément, d’ouvrir des opportunités de feedback personnalisé à l’étudiant en fonction de la réponse, et pourquoi pas, comme nous l’avons fait, de recommander des ressources complémentaires grâce aux fonctionnalités riches de LMS tels que MOODLE. La passation du test à distance économisera le travail d’organisation d’une passation en présentiel. Il suffira alors de dupliquer le test, d’en changer les dates et d’envoyer un message.

Exemples de déclinaisons

Mise en œuvre de différents types de dispositifs basés sur l’existant au niveau des composantes ou des nouveautés dans le cadre de la loi ORE

Les dispositifs varient selon les modalités suivantes, le contenu pouvant rester identique :

  • des mesures multiples (pré-requis, post-requis),
  • à plusieurs moments (initial, continu, terminal),
  • sur plusieurs modalités (présence, distance),
  • sanctionnante ou non,
  • débouchant sur plusieurs types d’accompagnement (du classique soutien / tutorat au cours du semestre à une première année en deux ans à son issu),
  • au fil d’un suivi dont chaque mesure peut être l’occasion d’une entrevue avec un enseignant référent et de l’adaptation de l’accompagnement sur la base du CPRE.

Le CPRE — Contrat Pour la Réussite Étudiante — constitue un outil de formalisation très précieux pour soutenir ce type de dispositif, dans le cadre d’un accompagnement le plus personnalisé possible, notamment grâce à des enseignants référents.

Le positionnement peut être mené à plusieurs occasions. Par exemple, un positionnement initial peut être effectué en présentiel, en salle informatique, avec une participation obligatoire (modalité de passation). Les feedbacks des questions expliquent à l’étudiant ses erreurs pour lui faire comprendre clairement qu’il a besoin de s’améliorer sur certains points et motiver son adhésion à une remise à niveau. Le discours tenu aux étudiants à cette occasion est alors essentiel : il ne s’agit pas de les désigner de « mauvais élèves » dès la rentrée, mais de leur offrir l’opportunité de mieux réussir. Ceci permet également d’accompagner dans la passation du test, surtout s’il est numérique et qu’ils sont primo-entrants à l’université.

À la suite de ce positionnement initial, et après une remise à niveau ou du soutien, le même test peut être proposé en libre accès et à distance. Ce sera alors l’occasion pour l’étudiant de passer le test chez lui et de vérifier si ses efforts ont porté leurs fruits.

Un second test peut être établi pour porter cette fois-ci non pas sur les prérequis de la formation, mais sur ses post-requis, c’est-à-dire ce que l’étudiant est censé avoir appris pendant les premières semaines de cours. Ce test peut être une évaluation de mi- semestre, un contrôle continu ou encore un test de positionnement non sanctionnant (dont la note n’est pas comptabilisée) mais qui l’enjoindra à plus d’efforts avant les partiels — et dans le cadre d’un parcours accompagné, à une adaptation de son suivi (plus de tutorat, du soutien, etc.).

Enfin, les contrôles continus et les examens terminaux fournissent des évaluations plus classiques, mais ont une nature différente des tests non sanctionnant. On pourra craindre qu’un test de positionnement ne soit pas perçu sérieusement par l’étudiant, mais il lui donnera un retour constructif si tant est qu’il puisse être suivi d’actions concrète d’accompagnement et que le discours qui l’accompagne soit bien étudié. En revanche, de mauvaises notes de contrôles continus, finiront par s’accumuler de manière irrattrapable et les examens terminaux arrivent trop tard pour un soutien initial de l’étudiant.

Une approche mixte est envisageable :

  • Un positionnement continu aboutit à des actions d’accompagnement pour éviter l’échec premier.
  • À la suite de la réussite ou de l’échec à un premier semestre d’étude accompagné, l’étudiant peut par exemple profiter d’une formation adaptée en deux ans — ou en en être dispensée si elle lui avait de prime abord été indiquée dans le cadre d’un OUI-SI.

Il est donc essentiel de bien déterminer l’objectif du positionnement car il va en impacter la forme, de la création des questions à la passation du test.

Auteurs

Thomas Fradet et Rafael Cabrera
Université de Lorraine
Contact : dn-un-contact@univ-lorraine.fr