Descriptifs des Actions > Dispositif de suivi et d'évaluation

Dispositif de suivi et d’évaluation

Le dispositif de suivi et d’évaluation est l’outil principal de pilotage du pôle. Il a pour objectif de fournir les données nécessaires, à chacun des niveaux du projet, à l’information et à la prise de décision dans une perspective de régulation.

 Éléments de contexte et ambition du dispositif

Dans l’état actuel, il n’y a qu’un très faible niveau de coordination entre l’ensemble des partenaires et pas vraiment d’évaluation de la diffusion des innovations et de leur impact sur les performances des élèves. Les évaluations à l’œuvre s’appuient essentiellement sur les données internationales (PISA, e.g.), ou nationales (DEPP, CNESCO, e.g.), ou locales (statistiques du rectorat, observatoire de la vie étudiante…). Pour autant, les acteurs engagés dans le projet n’ont pas les moyens de coordonner leurs actions en fonction de ces données.

Le dispositif de suivi et d’évaluation, au cœur du pilotage d’AMPIRIC, vise à objectiver les effets des organisations, méthodes et outils mis en œuvre et d’en apprécier l’impact sur les apprentissages des élèves afin de savoir si tel dispositif, telle organisation, telle application, telle pratique « marche ou ne marche pas ». Il s’agit d’apprécier l’impact du renforcement des articulations recherche, formation, terrain. L’efficacité des actions du Pôle sera appréciée de manière quantitative et qualitative.

Une évaluation diagnostic sera conduite en début de projet (t+0 à t+1) afin d’établir une base de données permettant de délimiter la situation initiale. Le GO-SE (Cf. 4.1), en collaboration avec le CSE, est chargé durant la même période de construire les outils, méthodologies et protocoles d’évaluation qui seront utilisés pour le projet.

Le recueil et l’analyse des données sont conduits sous l’autorité du CSE. La mise en place d’un suivi longitudinal et continu des élèves et des étudiants qui se destinent au métier d’enseignant permettra de collecter des données fiables et partagées sur le déroulement du projet, la réalisation des actions (apprécié au travers de leur efficacité) et l’atteinte des objectifs assignés.

Les résultats du traitement des données sont à la base des processus de régulation du déroulement du projet. Ils permettent d’infléchir les orientations stratégiques en fonction des résultats obtenus et fournit les outils de prises de décision pour les administrateurs à tous les niveaux de décision, pour l’ÉEX, pour instruire le COSP et pour le CoPar, notamment pour s’assurer de la bonne utilisation des ressources affectées au projet.

 Dispositif D01 : évaluation longitudinale de l’impact des actions sur les performances des élèves en matière d’apprentissage des savoirs fondamentaux

Apprécier l’impact des organisations mises en œuvre sur les performances des élèves dans leurs apprentissages des savoirs fondamentaux en termes d’expérimentation à petite, moyenne et grande échelle.

• Modalités :
• Étude de l’impact à trois niveaux : (1) micro pour des expérimentations conduites auprès d’un nombre restreint de classes et/ou d’élèves, (2) méso pour des expérimentations randomisés et contrôlés à moyenne échelle (environ 1 000 élèves), et (3) macro pour une expérimentation à grande échelle pour l’ensemble des élèves des réseaux académiques impliqués dans le pôle.
• Mise en perspective des données avec celles recueillies au niveau national, régional et académique (évaluations en classes de CP, CE1, 6^e et 2^nde).
• Approche longitudinale pour apprécier l’évolution sur plusieurs années (suivi de trajectoires scolaires).
• Principaux indicateurs : évolution du niveau de performance des élèves dans les apprentissages des savoirs fondamentaux apprécié en pourcentage d’écart-type par rapport à un groupe contrôle (e.g. des réseaux académiques « en attente ») ou des normes locales (rectorat) ou nationales (DEPP)
• Cible de l’évaluation : élèves des établissements des réseaux académiques pris dans les classes de CP, CE1, 6^ème et 2^nde.
• Acteurs de l’évaluation : Les évaluations (récolte et analyse des données) seront planifiées et suivies par le GO-SE, sous la responsabilité du chargé de mission suivi et évaluation. Il organise l’ensemble de la collecte des données, leur stockage et leur traitement en accord avec la législation concernant la protection des données. Ce travail associe des chercheurs, enseignants-chercheurs et ingénieurs de nos laboratoires spécialisés en expérimentation, méthodologie, modélisation et statistique. Selon le type d’évaluation (micro, méso, macro), les acteurs de l’évaluation seront des étudiants, assistants, vacataires, doctorants ou enseignants.

Dispositif D02 : évaluation longitudinale de l’évolution de la professionnalité chez les étudiants et les enseignants

Suivre l’évolution de la professionnalité enseignante (Cf. action n°1), d’une part, d’un point de vue individuel au travers de la construction professionnelle aux différentes étapes du processus de FTLV et, d’autre part, d’un point de vue quantitatif au travers de l’évolution des représentations sociales des pratiques professionnelles en lien avec les actions mises en œuvre dans le projet.

• Modalités : questionnaire diffusé à l’ensemble de la population cible, complété par des analyses qualitatives (observation, analyse de traces, etc.), avec un traitement transversal (les données sur une même année) et longitudinal (mise en perspective des données des mêmes échantillons sur plusieurs années).
• Principaux indicateurs : trois types d’appréciations : (1) approche ergonomique de l’activité enseignante, (2) approche quantitative de l’évolution des pratiques au travers des représentations sociales et (3) appréciation de l’impact de l’évolution des pratiques sur les performances des élèves.
• Cible de l’évaluation : étudiants en licence et master, néo-titulaires et enseignants expérimentés
• Acteurs de l’évaluation : Les évaluations (récolte et analyse des données) seront planifiées et suivies par le GO-SE. Selon le type d’évaluation (micro, méso, macro), les acteurs de l’évaluation seront des étudiants, assistants, vacataires, doctorants ou des enseignants.

 Dispositif D03 : collection et mise en perspective des évaluations de l’ensemble des activités déployées dans chacune des actions

La mise en œuvre des 5 actions du Pôle AMPIRIC sera suivie par chacun des Groupes opérationnels sous la coordination de l’ÉEx. Chaque action sera évaluée au regard des indicateurs spécifiques présentés dans les fiches actions. Ce dispositif d’évaluation vise à collecter l’ensemble des données résultant des évaluations de chacune des 5 actions, de les analyser et les mettre en perspective de manière globale pour apprécier l’avancée du projet et pour pouvoir le réguler de manière globale ou spécifique.

• Modalités :
• Collecte annuelle d’indicateurs auprès des responsables des actions en vue  d’un rapport annuel d’activité comprenant une analyse financière des actions engagées;
• Bilan général du déploiement de la stratégie du Pôle dressé par le CSE en amont des évaluations du comité de sélection à t+3 et t+6, mais également à t+9 pour envisager le déploiement au-delà de la période de financement par le PIA.
• Principaux indicateurs : les indicateurs utilisés dans chacune des actions, comme, e.g., le nombre de projets conduits, le nombre de contrats doctoraux et de thèses soutenues, le nombre de solutions produites, l’élaboration d’un référentiel de labélisation des solutions produites…
• Cible de l’évaluation : données recueillies dans chacune des actions et analysées par les responsables des activités.
• Acteurs de l’évaluation : les évaluations (récolte et analyse des données) seront planifiées et suivies par le GO-SE. Elles seront exécutées sous la responsabilité du chargé de mission suivi et évaluation par les acteurs des actions et par des étudiants, des doctorants et/ou des enseignants. Les évaluations à t+3, t+6 et t+9 sont conduites sous l’autorité des experts externes rassemblés au sein du CSE.

1.1.5         Récapitulatif des indicateurs d’évaluation

Tableau 13 : récapitulatif des indicateurs de suivi et d’évaluation

Risques et mécanismes correcteurs

AMPIRIC est un démonstrateur qui vise à renforcer les synergies entre recherche, formation et terrain afin de faire évoluer, par la formation initiale et continue, les pratiques des enseignants dans la perspective d’améliorer les performances des élèves, particulièrement ceux qui sont en difficulté, dans leurs apprentissages des savoirs fondamentaux. Il s’agit d’améliorer la qualité et l’efficacité du système éducatif.

C’est un projet ambitieux qui repose sur la mobilisation de l’ensemble de l’écosystème et sur un changement culturel au sein d’organisations déjà fortement contraintes. Comme tout démonstrateur, celui-ci fonde son déploiement sur des résultats scientifiquement avérés sur son périmètre d’expérimentation de8 réseaux académiques.

Sa réussite requiert donc de bien appréhender la situation à t+0 (situation de référence) pour prendre en compte finement les caractéristiques territoriales des réseaux visés et surtout pour prendre la mesure des besoins et attentes de chacun des acteurs, notamment pour nous assurer leur participation effective. Il y a également la nécessité de coordonner et de fluidifier les échanges pour s’assurer des participations aux 5 actions au sein de chaque réseau afin de garantir l’impact transformant du projet.

Enfin, concernant l’évaluation, il est essentiel que soient mesurés les résultats et l’impact de chaque action prise séparément, mais aussi de l’ensemble (approche micro, méso et macro) afin de disposer d’une vision à la fois précise et globale et d’être en capacité d’infléchir l’action.

Outre les risques propres à chacune des actions, trois types de risques plus structurels de nature à obérer l’atteinte des objectifs du projet peuvent être anticipés :

• Faiblesse d’implication des acteurs, notamment des enseignants :

La formation des enseignants est particulièrement instable du fait de nombreuses réformes successives ; les personnels sont très contraints, avec des pressions multiples. Faire évoluer les pratiques enseignantes, mieux former les personnels, les impliquer dans des projets de recherche, organiser des communautés de pratiques… nécessite la participation d’enseignants motivés par le changement et qui y voient un intérêt.

Pour favoriser cette motivation, en vue de l’évaluation à 3 ans, on veillera à :

• Mobiliser les relais que sont les chefs d’établissements et les corps d’inspection du territoire d’expérimentation,
• Mettre en œuvre des dispositifs incitatifs symboliques et pécuniaires (engagement du Rectorat et des réseaux académiques),
• Défrayer systématiquement les personnels pour leurs déplacements dans le cadre du projet,
• Faciliter leur engagement au sein des établissements formateurs (journées banalisées, prise en charge de la classe par d’autres membres de l’équipe éducative…).

D’ici l’évaluation à t+6, il faudra avoir institutionnalisé ce changement culturel en valorisant les initiatives les plus exemplaires (y compris dans le cadre du PPCR – Protocole Parcours Professionnels, Carrières et Rémunérations).

• Production insuffisante de résultats à t+3 :

La réalisation du projet et de premiers résultats sont visés à t+3 ; il est peu probable qu’une période aussi courte, compte tenu des délais de démarrage, puisse démontrer un impact global du projet. Le dispositif d’évaluation est conçu en ce sens :

• À t+3, les indicateurs les plus significatifs seront à un niveau micro voire méso, mais pas macro,
• Dans une logique de démonstrateur, la stratégie évoluera en fonction des résultats obtenus (souplesse).

De façon réaliste, seuls les dispositifs ayant démontrés leur efficacité par des résultats tangibles seront généralisés dans le cadre du projet AMPIRIC. Si certains résultats ciblés à t+3 ne sont pas atteints, ils seront ciblés ultérieurement, à nouveau expérimentés sur un territoire restreint, et/ou le dispositif sera revu en vue de l’évaluation à t+6 ; le déploiement des actions pourra être à géométrie variable sur le territoire, en fonction des résultats et des besoins du terrain. Il est ainsi prévu un déploiement « à la carte » avec un cœur de cible qui demeurera les 8 réseaux originels tout au long des 10 ans, tout en se déployant sur les 13 autres réseaux et à l’académie de Nice. La CARDIE unique à la Région Académique annoncée pour la rentrée 2020 facilitera la mise en œuvre cohérente du projet sur les 2 académies prévue à partir de t+3.

• Difficultés à déployer AMPIRIC sur un territoire élargi :

Compte-tenu de la localisation physique de la CiMEd à Saint Jérôme et de l’implantation des laboratoires de recherche à Aix-Marseille, le risque est d’avoir un projet avancé à Aix-Marseille et n’ayant que peu d’impact sur les territoires plus excentrés. Comment former à la recherche un grand nombre d’enseignants avec un vivier restreint de chercheurs ?

Le triple maillage du territoire par les réseaux académiques, les sites décentralisés de l’ÉSPÉ, le réseau Canopé et le fort intérêt de l’ÉSPÉ de Nice nous préservent en partie du risque d’hypercentralisation. Il est essentiel que ces lieux physiques, géographiquement distribués deviennent des points focaux du projet AMPIRIC avec une vie et une animation propres, notamment pour organiser des événements hors Aix-Marseille.

Pour pallier le risque de difficulté à former suffisamment d’enseignants pour impacter les performances des élèves, plusieurs actions sont prévues :

• L’enrichissement du vivier de formateurs par une politique de formation de formateurs,
• La mise en place de modules de formation pour accompagner le dispositif,
• Le développement du rôle des établissements formateurs et l’engagement des acteurs dans ces protocoles,
• La formation à distance et le déploiement des technologies numériques pour faciliter la communication et la diffusion des ressources et des résultats de la recherche,
• L’installation de référents et de facilitateurs dans chacun des réseaux académiques,
• Le déploiement des communautés de pratiques et des équipes engagées dans des recherches-actions,
  • La facilitation des déplacements des personnels dans le cadre du projet.

 Moyens financiers nécessaires pour le pilotage et le dispositif de suivi et d’évaluation

Budget de l’action :             1 868 000 € pour 10 ans

dont financement PIA :       1 317 200 € (soit 70,5%)

Pour plus d'informations:   Ampiric sur le site d'Aix-Marseille Université (pages en cours de construction)