Résumé - Présentation :
 Les étudiants intègrent les grandes écoles avec des niveaux hétérogènes en mathématiques. Pour détecter ces étudiants de faible niveau et les accompagner dans leur montée en compétence, l’école des mines de Nantes a développé un dispositif pédagogique, utilisable par d’autres établissements, qui s’appuie sur Automath. Automath est un outil de gestion d’évaluations informatisées entièrement en ligne permettant d’évaluer le niveau des étudiants. Les dispositifs pédagogiques utilisant Automath sont prévus pour s’intégrer dans une logique de complément de présentiel et ont pour objectif d’apporter une aide adaptée aux besoins des étudiants de tous niveaux à travers des exercices d’auto-entraînement, de l’auto-formation accompagnée et du soutien en présentiel. Ce dispositif amène les étudiants à s’interroger sur leurs raisonnements, à comprendre leurs erreurs et donc à progresser. Ce dispositif amène les étudiants à s’interroger sur leurs raisonnements et à comprendre leurs erreurs pour les conduire à modifier leurs stratégies de résolution de problèmes et donc à progresser.

Public cible concerné :
 Ce dispositif s’adresse à tous les étudiants de première et deuxième année (niveau L2) sortant directement des classes préparatoires ou d’autres filières.

Domaine / matière :
 Mathématiques, positionnement en mathématiques.

Constats initiaux et objectifs pédagogiques :
 Pour atteindre la montée en compétences des étudiants, l’acquisition d’un savoir sanctionné en grande partie par des évaluations normatives et sommatives n’est pas suffisant. Le travail personnel de l’étudiant est de plus en plus sollicité, mais l’on sait très bien que seuls les meilleurs étudiants arrivent à atteindre le niveau de compétences visé, d’autant plus que leur niveau n’est pas homogène à l’entrée en école d’ingénieur en raison de leurs différence de parcours préparatoires. Comme dans les formations professionnelles, la solution évoquée ici propose l’intégration de l’évaluation formative dans l’apprentissage. Le but est d’amener les apprenants dont le niveau est le plus faible à s’auto-évaluer et s’auto-corriger à partir de solutions et de commentaires fournis (les "feed-back" cœur du dispositif), laissant à l’étudiant soutenu par un tuteur le soin de s’auto-diagnostiquer.

Mise en œuvre :
 Ce projet est porté à l’origine par Safouana Tabiou, enseignante chercheur à l’Ecole des mines de Nantes, en partenariat avec le groupement des Ecoles des Mines et récemment soutenu par l’UNIT.
 La partie technique du dispositif (évaluation formative-positionnement informatisé) est une application WEB permettant un accès facile depuis tout type d’ordinateur et en tout lieu sur un navigateur Web classique. La gestion des formules mathématiques est basée sur une syntaxe de type Latex, MathML. Cette application est basée sur l’exploitation de questions à choix multiples (QCM) et d’une didactique particulière.
 La rédaction des questions à choix multiple et de leurs commentaires associés est collaborative, en effet, plusieurs enseignants de Mathématiques y participent.
 L’accompagnement et le tutorat à distance sont effectués par les enseignants.

Description du contenu :
 Les QCM permettent d’interroger l’étudiant sur des concepts, à chaque question sont donc associés des concepts sous-jacents. Les questions QCM d’Automath sont constituées d’un énoncé et de trois à cinq propositions dont une seule proposition est vraie. Les mauvaises propositions correspondent à des erreurs de raisonnement fréquemment commises par les étudiants et identifiées par les enseignants. Chaque proposition est accompagnée d’un raisonnement, celui qu’il faut tenir, mais aussi les erreurs fréquentes de raisonnement pour les fausses réponses. Ces raisonnements sont affichés aux étudiants dans certains modes afin des les aider à progresser.
Les questions sont mutualisées dans une banque commune. Les enseignants-auteurs rédigent des questions intégrant leur expertise pédagogique et les proposent à un comité de rédaction. Si elles sont conformes à la philosophie du projet, elles sont validées et mises à disposition de tous. Dans le cas contraire, elles sont utilisables uniquement par son auteur. Les questions sont indexées suivant plusieurs critères tels que : le domaine mathématique visant l’acquisition de concepts identifiés, les concepts sous-jacents, le niveau d’étude et de mise en fonctionnement des connaissances, le temps pour y répondre, ... Ces métadonnées sont utilisées pour la création semi-automatisée de questionnaires constitués de questions vérifiant certaines caractéristiques (concepts, domaine, ...) définies par l’enseignant. Lors de cette création de questionnaire, l’enseignant peut ajouter, supprimer des questions, en remplacer par d’autres à sa convenance. Il affecte ensuite son questionnaire à des étudiants selon un des quatre modes de fonctionnement : Test de connaissance, auto-entraînement, auto-évaluation et auto-formation accompagnée.

 Le dispositif de soutien mis en place a été conçu pour limiter au maximum la surcharge de travail des enseignants. Le positionnement permet donc de cibler les étudiant en ayant réellement besoin. Pour répondre à cet objectif, le dispositif est organisé selon les différentes phases suivantes :

• Phase 1 : Détection des étudiants en difficulté à travers un test de connaissance
• Phase 2 : Création d’une liste d’étudiants en difficulté
• Phase 3 : Auto-formation accompagnée et auto-entraînement (pour les étudiants de la liste)
• Phase 4 : Soutien présentiel (pour les étudiants ayant de grande difficulté)
• Phase 5 : Devoir surveillé intermédiaire et adaptation de la liste des étudiants en difficulté
• Phase 6 : Auto-formation accompagnée et auto-entraînement (pour les étudiants de la nouvelle liste)
• Phase 7 : Soutien présentiel (pour les étudiants encore en grande difficulté de la nouvelle liste)
• Phase 8 : Devoir surveillé final (pour tous les étudiants)

Bilan de l’expérience :
 Le premier test grandeur nature sur 106 élèves ayant eu lieu récemment, il est difficile d’en tirer des conclusions. Cependant, les résultats aux évaluations et l’enquête réalisée auprès des étudiants a révélé que ce dispositif leur a permis de déterminer de manière autonome leurs lacunes et leurs difficultés afin d’établir des priorités dans leur apprentissage, et qu’il a permis aux étudiants en difficulté de progresser à travers les différentes phases du dispositif. Néanmoins, contrairement à leurs inquiétudes à ce sujet, l’outil en ligne n’a pas pour objectif de remplacer l’enseignant dans les cours magistraux, les travaux dirigés ou le soutien présentiel. Il s’agit plutôt d’un complément à l’enseignement classique de la discipline. Ce dispositif a permis de proposer du soutien en ligne individualisé à un plus grand nombre de personnes qu’il ne serait possible de faire en soutien présentiel.
Ce dispositif a permis de :

• mettre en situation d’évaluation de niveau tous les étudiants de la promotion avant le devoir surveillé intermédiaire,
• déterminer quels étudiants étaient en difficulté,
• fournir un entraînement à tous ceux qui le souhaitaient,

Sur la vingtaine d’étudiants en difficulté ayant suivi le soutien présentiel entre le devoir surveillé intermédiaire et le devoir final, dix-huit ont progressé et bien réussi le devoir surveillé final. Le dispositif de soutien que nous avons mis en œuvre peut se déployer avec d’autres outils TICE, pour d’autres disciplines et dans d’autres types d’établissements.

 Sur l’aspect technique, la jeunesse de l’outil a entraîné quelques difficultés lors de l’utilisation d’Automath. Il s’agissait de la première mise en production de cette application à grande échelle. Les problèmes rencontrés sont en cours de correction, et ne devraient pas se reproduire.

Éléments transférables :
 Des instructions complètes et précises doivent être données aux étudiants au démarrage et un renforcement du tutorat. En effet le processus de méta-cognition recherché (démarche réflexive) est difficile à mettre en place chez les étudiants lors de l’auto-formation accompagnée car ils n’ont pas l’habitude de réfléchir sur leurs raisonnements.
 La rédaction des questions à plusieurs est essentielle à la réussite d’un projet portant sur l’évaluation, ceci afin de garantir la "viabilité" des questionnaires. C’est particulièrement vrai ici où la rédaction des questions doit être faite par des enseignants qui connaissent les difficultés habituellement rencontrées par les étudiants dans le domaine interrogé. De plus, le nombre de questions écrites par jour sur papier est de 8 à 10 questions et leur temps de saisie est évalué de 20 à 40 minutes. La création de questions prend du temps, mais en contrepartie les questions sont mutualisées et disponibles à tous les enseignants.
 La méthodologie complète du dispositif peut facilement être réexploité dans une autre matière et dans plusieurs établissements pour déceler et accompagner les étudiants en difficulté.
 Pour conclure, l’outil Automath est conçu de façon très souple pour être rapidement adaptable lui aussi à d’autres matières.

Mots clefs :
 étudiant en difficulté, soutien, auto-évaluation, auto-formation accompagnée, compétence

Contacts :
 Safouana Tabiou (enseignante-chercheur porteur du projet) safouana.tabiou@emn.fr
 Céline Benoit (développement informatique) celine.benoit@emn.fr

Lien vers l’outil :
 Automath (choisir le mode "entré libre")

Illustrations :
 Fig 1 : Exemple de saisie de questions avec l’affichage dynamique des formules mathématiques