Nouvelle publication: Fouquet-Chauprade, B., Dutrévis, M., & Demeuse, M. (2015). Comparer les PEP: une diversité d'approches pour une diversité de pratiques. Education comparée, 13, 7-13.

Fouquet-Chauprade, B., Dutrévis, M., & Demeuse, M. (2015). Comparer les PEP: une diversité d'approches pour une diversité de pratiques. Education comparée, 13, 7-13.

Introduction du dossier du numéro 13 d'Education comparée, la revue de l'Association francophone d'Education comparée, consacré aux politiques d'éducation prioritaire dans le monde.

Télécharger l'introduction du dossier ici.

 

Participation au 26ème Colloque de l'ADMEE Europe - Marrakech - 15-16-17 janvier 2014

Cultures et politiques de l'évaluation en éducation et en formation

Marie Beillet, Marie Bocquillon, Solange Brehaut, Marc Demeuse, Natacha Duroisin et Nathanaël Friant ont participé au 26ème Colloque de l'ADMEE Europe et ont présenté 7 communications.

Beillet M., Demeuse M., Collard E. (2014). Niveau linguistique des étudiants à l’entrée dans le supérieur : expérimentation d’une nouvelle épreuve de français universitaire. Marrakech : XXVIème Colloque de l’ADMEE-Europe, Cultures et politiques de l’évaluation en éducation et en formation.

En France, les étudiants non-nationaux représentent 12,3% de la population étudiante dans l’enseignement supérieur (Lefebvre, 2013). En s’intéressant aux systèmes de recrutement des étudiants étrangers, on remarque des différences d’admission. En effet, il n’existe pas de texte régissant un niveau en langue commun exigé et l’organisation de la sélection se fait à la discrétion des universités elles-mêmes. De ces disparités de sélection résulte en partie une réussite moindre des étudiants allophones (40% de moins que les natifs). En outre, on sait que le français à l’université est spécifique (Mangiante et Parpette, 2011), que les tests évaluant un français général actuellement utilisés sont insuffisants pour assurer la validation d’un cursus (Almoossa, 2013), mais qu’un test de français est un bon prédicteur de réussite aux examens (Lindblom-Ylänne et al. 1996, cités par Romainville,1997).

Partant de ces constats, notre étude a consisté en la création d’une épreuve spécifique adaptée aux  étudiants qui s’inscrivent pour la première fois dans l’enseignement supérieur en France, en tenant compte de la spécificité du public : niveau en langue, filière et niveau d’étude hétérogènes. Ce test spécifique au milieu universitaire, et lié au Cadre Européen Commun de Références (notamment pour sa grille d’évaluation) se compose de contenus semi-authentiques liés aux réalités que les étudiants connaîtront. Sous le format d’une vidéo de 40 minutes, un thème donné, dont les étudiants doivent faire le résumé, est traité. Les productions écrites qui en découlent permettent d’évaluer la capacité de comprendre, s’approprier et restituer le contenu du sujet développé d’un étudiant, et  son aptitude à suivre un cours magistral à l’université.

Deux expérimentations ont été mises en place, auprès d’un groupe d’étudiants de première année de médecine belges francophone en situation d’étalement. Ces passations ont permis de fixer un seuil bas de résultats obtenus, et sont la première étape de la validation de l’outil, avant de pouvoir l’expérimenter auprès d’allophones. La communication présente les résultats de ces expérimentations.

Beillet M. (2014). Test de Français sur Objectif Universitaire : expérimentation auprès d’un public allophone. Marrakech : XXVIème Colloque de l’ADMEE-Europe, Cultures et politiques de l’évaluation en éducation et en formation.

Depuis les années 90, la France a connu une évolution continue du nombre de ses étudiants étrangers, accentuée à partir de 1999 (Coulon et Paivandi, 2004). Bien que représentant une part importante des étudiants dans l’enseignement supérieur français, les étudiants allophones réussissent moins aux examens que les étudiants nationaux. Ce taux de réussite moindre s’explique notamment par la maîtrise insuffisante de la langue. Les faiblesses des étudiants imputables à un manque de maîtrise de la compétence langagière affecteraient principalement la pensée conceptuelle, le lexique, l’appareil argumentatif et la compréhension des structures qui régissent la langue (Van Raemdonck, 2000). La question du niveau en langue nécessaire à la poursuite d’un cursus en France se pose alors, ainsi que de la spécificité des tests proposés, et préalables à la venue des étudiants. Ces tests évaluent un français général, alors que le français de l’université est de type spécifique. De plus, les situations d’enseignement et d’examen nécessitent, de la part des étudiants, la mobilisation de compétences langagières, stratégiques et méthodologiques spécifiques (Casanova et al., 2012). L’objectif de la recherche menée par l’Université de Mons en collaboration avec la Chambre de Commerce et d’Industrie de la région Paris Ile-de-France est le développement d’un test de niveau de langue française spécifique aux étudiants allophones s’inscrivant pour la première fois dans l’enseignement supérieur en France. Cette épreuve, déjà testée auprès d’étudiants natifs, a été expérimentée auprès d’un groupe d’allophones. Ces derniers, futurs ingénieurs, ont suivi une formation (linguistique notamment) au préalable de leur cursus, spécifique au monde universitaire auprès du PRES de Lille. La présente communication décrit l’expérimentation ainsi que les résultats obtenus par ces futurs étudiants. 

Bocquillon, M., Demeuse, M., Derobertmasure, A. (2014). Etude comparative des programmes de français des réseaux catholique et de la Fédération Wallonie-Bruxelles pour le premier degré de l’enseignement secondaire. Marrakech : XXVIème Colloque de l’ADMEE-Europe, Cultures et politiques de l’évaluation en éducation et en formation.  

Le but de cette étude est de comparer, dans une même unité de temps et d’espace, deux programmes de français du premier degré de l’enseignement secondaire, à savoir celui du réseau libre confessionnel et celui du réseau de la Fédération Wallonie-Bruxelles, et donc d’analyser les différences d’interprétation des socles de compétences qu’ont réalisées ces deux réseaux. Cet article réplique l’étude de Mangez (2004), si ce n’est qu’il se base sur une version plus récente du programme de l’enseignement catholique (2005 au lieu de 2000). À l’instar de cet auteur, nous nous intéressons au caractère visible ou invisible (Bernstein, 2007) de chacun de ces programmes. Deux types d’analyses ont été effectués : une analyse de contenu des deux programmes à l’aide du logiciel Tropes, ainsi qu’une lecture approfondie de ces textes. Une analyse de contenu de deux versions successives du programme du réseau catholique (2000 et 2005) a également été réalisée.

Demeuse, M., Friant, N.; Malaise, S. (2014). Evaluer les politiques d’éducation prioritaire en Belgique francophone: Un exercice complexe mobilisant des approches variées. Présenté le 16 janvier 2014 au XXVIème colloque de l’ADMEE Europe: Cultures et politiques de l’évaluation en éducation et en formation, 15-17 janvier 2014, Marrakech.

Les politiques d’éducation prioritaire sont apparues, dans l’enseignement obligatoire belge francophone, à partir de 1989, en s’inspirant du modèle développé en France en 1981 et dont elles reprennent le nom (ZEP). Deux changements importants surviendront ensuite. En 1998, avec le décret instituant les discriminations positives, puis en 2009 avec un décret portant sur l’encadrement différencié dans l’enseignement obligatoire (Demeuse, Demierbe & Friant, 2010). Ces politiques adoptent principalement une approche compensatoire, ce qui n’est pas sans conséquence lorsqu’il s’agit d’en évaluer les effets. Elles trouvent leur source juridique et leur justification dans l’article 6 du décret « Missions » du 24 juillet 1997, établissant que l’enseignement a, notamment, pour mission « d’assurer à tous les élèves des chances égales d’émancipation sociale ».

Les décrets de 1998 et de 2009 prévoient explicitement l’évaluation de ces politiques. Le second texte précise également que les projets déposés par les établissements pouvant bénéficier de moyens supplémentaires (PGAED) doivent prendre en compte les informations fournies par les évaluations internes et externes, des indicateurs objectifs et les évaluations, contrôles et rapports produits par le Service général d’Inspection.

Sur le papier, l’évaluation n’est donc pas oubliée. On verra dans cet article qu’il faut pourtant constater que, sur le terrain, l’évaluation est beaucoup moins présente que prévu.

Alors qu’il est assez difficile de procéder aux évaluations prescrites, les auteurs mettront en évidence la possibilité de mettre en place une évaluation de ces politiques en profitant des études et des recherches menées en marge. Ils présenteront ainsi quelques données collectées dans le cadre d’un rapport relatif à la possibilité d’établir un financement différencié dans l’enseignement supérieur qui est amené à recevoir les élèves de tous les établissements d’enseignement secondaire, y compris ceux qui bénéficient des mesures d’encadrement différencié. Cet exercice permettra de mesurer une partie de l’effort qui reste à faire pour assurer à tous les élèves des chances égales d’émancipation sociale et des développements statistiques nécessaires, notamment en matière de suivi longitudinal.

Duroisin, N., Demeuse, M. (2014). Prise en considération des modèles développementaux dans les programmes d’études officiels de mathématiques en Belgique francophone. Marrakech : XXVIème Colloque de l’ADMEE-Europe, Cultures et politiques de l’évaluation en éducation et en formation.

La recherche menée a permis de mettre en relation les programmes d’études officiels de mathématiques avec deux modèles de développement globaux (se rapportant au développement psychologique et cognitif des apprenants, ex. Piaget & Davidov) et un des modèles de développement spécifiques (portant sur le développement de la pensée géométrique, Van Hiele). Cette communication avait pour but de présenter le degré d’intégration et de cohérence de ces modèles développementaux dans les programmes d’études, de mettre en évidence les incohérences remarquées et d’évoquer les répercussions que celles-ci ont sur le travail des enseignants et des élèves. 

Friant, N.; Demeuse, M. (2014). Des outils pour étudier le choix de l’école et en évaluer l’impact sur les ségrégations scolaires. Présenté le 17 janvier 2014 au XXVIème colloque de l’ADMEE Europe: Cultures et politiques de l’évaluation en éducation et en formation, 15-17 janvier 2014, Marrakech.

Les questions sur le choix de l’école et la formation de ségrégations scolaires sont primordiales dans un système éducatif tel que celui de la Belgique francophone, où les élèves et leurs parents sont libres de choisir l’école qui a leur préférence et où on observe d’importantes ségrégations, notamment socio-économiques, entre écoles. Répondre à des questions liant le choix de l’école et la formation de ségrégations implique de mettre en œuvre des méthodes innovantes. Cette communication a pour but d’illustrer l’application de deux de ces méthodes à ces questions de recherche : la simulation individu-centrée et l’analyse des réseaux sociaux. Après une introduction de la problématique, nous montrons comment l’utilisation de ces deux méthodologies innovantes permet de mieux comprendre les mécanismes de choix de l’école en Belgique francophone ainsi que la formation de ségrégations entre écoles. 

Koslowski, D., Artus, F., Derobertmasure, A., Demeuse, M. (2014). Evaluation des enseignements par les étudiants. Marrakech : XXVIème Colloque de l’ADMEE-Europe, Cultures et politiques de l’évaluation en éducation et en formation.

L’évaluation des enseignements n’a d’intérêt que (1) si elle est suivie d’une analyse réflexive (2) aboutissant à des mesures concrètes de développement individuel et collectif (3) dont l’objectif est d’améliorer la qualité de l’enseignement d’une institution. Bernard (2011, p.1) fait de ces trois processus indissociables le premier des six principes qu’elle propose à toute université désireuse «de s’engager dans une vision renouvelée de l’évaluation de l’enseignement». 

En 2011, l’Université de Mons a décidé d’institutionnaliser l’application des enquêtes pédagogiques auprès des étudiants. Les objectifs poursuivis par la mise en oeuvre de ces enquêtes se situent à différents niveaux d’interprétation dont celui qui permet, comme le démontrent déjà de nombreuses recherches, de fournir aux enseignants des informations nouvelles quant à la qualité perçue de leurs actes pédagogiques, s’inscrivant par-là dans un processus formatif (Younes 2007). Le cadre général de recherche dans lequel s’inscrit cette communication, est structuré en trois étapes. La première, dont fait état ce travail, se concentre sur les aspects formels et quantitatifs de la démarche, c’est-à-dire, sans qu’il n’y ait de prise en considération du contenu des commentaires formulés par les étudiants. Cette première approche permet de caractériser un ensemble d’éléments tels que les compétences discriminantes des étudiants en termes d’évaluation ou la perception des enseignants par les étudiants en fonction de leur avancée dans leur parcours. 

Parallèlement, un dispositif d’analyse qualitative est également mis en oeuvre. La finalité de ce développement est de parvenir à une lecture thématique des commentaires formulés par les étudiants. Cette analyse sera réalisée sur la base du modèle de la situation d’enseignement apprentissage décrite par Dehon et Derobertmasure (2012).  Finalement, la troisième étape de cette recherche vise, sur la base des résultats saillants de l’analyse thématique, à modéliser l’évaluation des étudiants et d’ainsi permettre une systématisation de l’analyse de leurs commentaires.  

"Evaluer les politiques d'éducation prioritaire: provocation indécente ou nécessité?" Conférence de Marc Demeuse à la 13e Université d'automne du SNUIPP

Ce dimanche 20 octobre, Marc Demeuse a présenté une conférence intitulée "Evaluer les politiques d'éducation prioritaire: provocation indécente ou nécessité?" dans le cadre de la 13e Université d'Automne du Syndicat unitaire des Instituteurs et des Professeurs des écoles et PEGC (SNUIPP-FSU) qui s'est déroulée du 18 au 20 octobre à Port Leucate (France)

Le site de l'Université d'Automne: http://universite-automne.snuipp.fr/ 
L'interview par Ginette Bret dans Fenêtre sur cours... (avec la vidéo): http://www.snuipp.fr/Marc-DEMEUSE-Evaluer-les
Compte-rendu dans le Café pédagogique: http://www.cafepedagogique.net/lexpresso/Pages/2013/11/04112013Article635191344720202909.aspx

Interview de Marc Demeuse par Ginette BRET (SNUIPP), parue dans "Fenêtres sur cours":

Evaluer l'éducation prioritaire : provocation indécente ou nécessité ?

Marc Demeuse, psychologue et statisticien, est professeur à la faculté de l’Université de Mons (Belgique) où il dirige l’institut d’Administration scolaire. Il a coordonnée des équipes de recherche inter-universitaires chargées de contribuer à la mise en place des politiques d’éducation prioritaire en Belgique et a assuré, avec Daniel Frandji, David Greger et Jean-Yves Rochex, la coordination d’un projet européen impliquant une douzaine d’équipes de recherche dans ce domaine (EuroPEP).

L'évaluation des politiques d'éducation prioritaire est un moyen puissant de mettre en évidence certains hypocrisies ou incohérences des mesures préconisées. Marc Demeuse le prouve à travers quelques exemples.

Quels types d'hypocrisies l'évaluation des politiques d'éducation prioritaire permet-elle de dévoiler?

L'idée centrale des politiques d'éducation prioritaire et donc des ZEP, en France au moins, s’est construite autour de l’idée de compensation, « donner plus à ceux qui ont moins », pour reprendre le slogan des années 1980. Mais est-ce bien vrai ? Donne-t-on ainsi vraiment plus à ceux qui ont moins ? Et c'est quoi « avoir moins » ou « donner plus » ? L’idée même de compensation induit celle de déficit, de manque, voire de handicap… qui rend plus difficile la remise en cause du fonctionnement habituel de l’Ecole. Pourtant, en 1981, à la création des ZEP, celles-ci étaient destinées à constituer des laboratoires du changement, de l'innovation. Cette idée a très vite été oubliée. Alors même que la question du « donne-t-on vraiment plus… » ne reçoit pas une réponse très convaincante et positive, comme le montre par exemple les travaux de Benabou et ses collègues, l’approche compensatoire est, elle aussi, très questionnable. C’est au départ de telles questions que s’est mis en place le projet EuoPEP, piloté par l’INRP, à l’époque. L’objectif est de sortir des évidences et des habitudes en « ouvrant les fenêtres » et en regardant ce qui se passe dans d’autres systèmes éducatifs, à la fois en termes d’objectifs, de ciblage de certaines populations -y compris en questionnant cette idée de ciblage-, d’actions et d’évaluation des politiques. L’idée n’est pas d’imiter d’autres pays, mais de mieux comprendre notre propre fonctionnement en ne considérant pas que ce que nous mettons en place est la seule ou la meilleure solution. Alors qu’il est périodiquement question de changement, de refondation, de relance… ce détour n’est sans doute pas inutile.

Cette évaluation permet aussi de pointer les incohérences du système. Lesquelles ?

Depuis des années, les politiques d'éducation prioritaire ont connu de nombreux changements, mais l’appellation ZEP reste, sans véritable évaluation d’ensemble. On garde, en apparence, le même emballage, qui arrange bien, car on continue à s’occuper des plus défavorisés... mais on infléchit la politique sans vraiment le dire des plus démunis… pour autant qu’ils le méritent... Alors qu’en Grande-Bretagne, on a abandonné les ZEP pour des politiques plus sectorielles, ciblant chacune des publics spécifiques avec un objectif particulier -par exemple, préscolarisation des enfants des familles précarisées-, en France, on semble continuer le même programme qui pourtant a été complètement dénaturé.
 
Quelles sont (ou seraient) les conditions nécessaires pour une évaluation utile de ces politiques d'éducation prioritaire ?


L'évaluation des politiques publiques est une nécessité, mais elle doit identifier clairement ce qui doit être évalué et mettre à plat à la fois les objectifs de ces politiques, les moyens effectivement mis en œuvre et les résultats obtenus. Sinon, quel intérêt pour le système ? Quand on évalue, on ne connaît pas les résultats à l’avance et on doit donc accepter de prendre des risques, ce qui semble particulièrement difficile pour le politique. La difficulté en France, c'est aussi l'alternance du pouvoir politique, avec d'incessantes situations de conflit. Une évaluation réussie, ce n'est pas juger de la qualité, ou pas, de l'action du gouvernement précédent, ni s'auto-proclamer le meilleur. Pour évaluer, il faut être libre de reconnaître ses erreurs. Cela n’implique pas de modifier ses principes comme une girouette, mais d’admettre qu’entre ceux-ci et leur mise en œuvre concrète, il existe plusieurs voies, qu’il est nécessaire d’expérimenter sans généraliser immédiatement. Malheureusement, l’expérimentation prend du temps et elle doit être… évaluée. La tendance actuelle, c'est « on évalue immédiatement une action qui vient juste d’être initiée et après, c'est pour tout le monde » ! Il ne suffit pas de légiférer pour que les choses se mettent en place sans délai et de la manière attendue…
 
Evaluer… bon pour le système, mais aussi bon pour la recherche

Evaluer les politiques publiques, leur mise en œuvre, leur efficacité… cela permet de corriger le tir, mais aussi d’améliorer les pratiques d’évaluation et la recherche en éducation. Marc Demeuse en donne un exemple aux Etats-Unis où le financement des politiques d’éducation prioritaire est accru lorsque les solutions adoptées par les établissements scolaires ont fait leur preuve, scientifiquement. Ce n’est cependant pas chose aisée d’apporter la preuve de l’efficacité de ce genre d’actions. Cela amène à devoir préciser ce qui est réellement mis en œuvre, mais aussi à développer des méthodes spécifiques permettant de cerner ce qui relève effectivement de ces pratiques et ce qui n’en relève pas.
Dans ce domaine, les travaux de Robert Slavin sont très éclairants. Il est à la fois un excellent spécialiste des apprentissages, le responsable d’un programme baptisé « Success for All » qui propose aux écoles bénéficiaires des politiques d’éducation prioritaire un programme complet d’intervention, y compris en termes de formation des enseignants, et un expert en matière d’évaluation des programmes. Il n’est pas le seul et c’est par les échanges, parfois vifs, entre ce types de spécialistes que beaucoup de progrès peuvent être faits, à la fois en matière d’outils pédagogiques, de connaissances scientifiques dans le domaine des apprentissages et de l’évaluation des programmes. On trouve encore peu de traces de ces travaux en langue française. Expérimenter de manière contrôlée semble de ce côté-ci de l’océan un problème éthique grave alors que chacun, dans nos classes, nous expérimentons de manière sauvage tout les jours, sans grand contrôle ni publication de nos résultats.
 

Nouvelle publication: évaluer les politiques d'éducation prioritaire en Europe...

Demeuse, M., Friant, N. (2012). Evaluer les politiques d'éducation prioritaire en Europe: un défi méthodologique. Revue suisse des sciences de l'éducation / Schweizerische Zeitschrift für Bildungswissenschaften / Rivista svizzera di scienze dell'educazione, 34 (1), 39-55.

Résumé

L’évaluation des politiques éducatives n’est pas une entreprise aisée, à la fois parce qu’elle se heurte à des difficultés méthodologiques importantes, mais aussi parce qu’elle menace ou semble menacer certains projets construits essentiellement sur une base idéologique, alors même que leurs promoteurs s’en défendent le plus souvent. Il est pourtant essentiel de pouvoir évaluer ces démarches politiques, d’autant plus qu’elles concernent des publics défavorisés. Cet article, alimenté par une recherche menée au niveau européen dans huit pays (EuroPEP), met en évidence cette nécessité et illustre à la fois les problèmes rencontrés et les pistes qui peuvent être mises en œuvre. Il indique la nécessité d’une réflexion méthodologique globale et interroge, notamment, la manière dont sont définies « les bonnes pratiques », souvent invoquées dans le domaine des politiques éducatives.

Mots clés : politiques éducatives – évaluation – éducation prioritaire – comparaisons internationales – systèmes éducatifs européens

Demandes de tirés à part: inas.secretariat@umons.ac.be

Voir aussi l'ouvrage: Demeuse, M., Frandji, D., Greger, D., Rochex, J.-Y. (dir.) (2011). Les politiques d’éducation prioritaire en Europe. Vol 2 : questions sur le devenir et les possibles en matière d’égalité scolaire, Lyon : Editions de l’ENS de Lyon.

Version auteur du texte: http://hal.archives-ouvertes.fr/docs/00/72/29/16/PDF/Demeuse_friant_rsse_modif_VF.pdf