Nouvelle publication: Évaluer le français professionnel, une affaire de professionnels et une entreprise collective (M. Demeuse)

La revue "Points communs. Recherche en didactique des langues sur objectif(s) spécifique(s)" vient de publier son numéro 48 consacré à l'évaluation en français professionnel, sous la direction de Marie Beillet, Karl-Heinz Eggensperger et Thi Thu Hoai Tran. C'est dans ce cadre que l'article suivant s'inscrit.

DEMEUSE, M., 2020, « Évaluer le français professionnel, une affaire de professionnels etune entreprise collective », Points Communs, no48, p. 9-25.

 

Abstract:

Le travail au sein de l’équipe du français des affaires de la Chambre de commerce et d’industrie de région Paris Ile-de-France présente de multiples facettes. Il répond aux standards de qualité qui s’imposent à présent en matière de tests à forts enjeux. Cela nécessite la mobilisation d’une équipe pluridisciplinaire, au-delà de la production de nouvelles versions d’un même instrument. 

La palette de l’offre, notamment dans le domaine du français des affaires, continue à se développer, abordant de nouveaux domaines, mais celle-ci doit aussi faire face à de nombreux défis: généralisation de l’utilisation du numérique pour la gestion des épreuves, modification du format des interfaces destinées aux candidats, adaptation à l’évolution des exigences des prescripteurs et des référentiels, sécurisation accrue et recours à la technologie pour mieux assurer la qualité des corrections des productions complexes, tant orales qu’écrites... 

Tous ces développements ont pu se réaliser avec une équipe à la taille relativement réduite, si on la compare aux équipes qui assurent par exemple le développement des tests en langue anglaise. Par ailleurs, le monde francophone de l’évaluation a longtemps été réfractaire aux développements liés à la mesure et à l’évaluation, en particulier dans le domaine de l’évaluation linguistique. Il a donc fallu aussi développer en interne des compétences spécifiques qu’il était très difficile de trouver sur le marché francophone. 

Cet article tente d’offrir une réflexion nourrie par une vingtaine d’années de collaboration. Ce regard dans le rétroviseur, permet de mesurer le chemin accompli tout en entrevoyant les développements à venir. Ceux-ci impliqueront de plus en plus le traitement automatisé et l’intelligence artificielle. C’est assurément le tournant à ne pas manquer pour maintenir les produits de notre équipe au niveau d’exigence qu’ils ont pu atteindre jusqu’ici.

Le numéro de la revue est disponible gratuitement en ligne et l'article peut aussi être téléchargé ici.

Nouvelle publication: Évaluateurs évalués : évaluation diagnostique des compétences en évaluation des correcteurs d’une épreuve d’expression écrite à forts enjeux (D. Casanova et M. Demeuse)

Dans le dernier volume de Mesure et évaluation en éducation de l'ADMEE (Volume 39, numéro 3), vient de paraitre l'article de Dominique Casanova et Marc Demeuse intitulé Évaluateurs évalués : évaluation diagnostique des compétences en évaluation des correcteurs d’une épreuve d’expression écrite à forts enjeux.

Résumé
Les évaluateurs constituent un maillon essentiel des dispositifs d’évaluation des compétences langagières et doivent bénéficier d’un accompagnement continu pour maintenir la qualité des évaluations à un niveau satisfaisant. Cet article compare deux méthodes pour la détermination des profils de sévérité d’évaluateurs d’une épreuve d’expression écrite en français langue étrangère, à partir de leurs données de production. La première méthode s’inscrit dans le cadre de la théorie classique des tests et la seconde s’appuie sur la théorie de réponse aux items, par la mise en oeuvre d’un modèle multifacettes de Rasch. Les résultats concordants des deux méthodes montrent l’utilité de tenir compte de la sévérité des correcteurs aux différents points de césure pour améliorer la fidélité du test, même si cette dernière n’explique qu’une part limitée de la variance d’erreur. Ces informations permettent également de dresser des profils d’évaluation individuels des correcteurs, qui peuvent être exploités dans le cadre de leur suivi pour la mise en oeuvre d’actions de remédiation ciblées.

Mots clés

• évaluation diagnostique,
• management de la qualité,
• accompagnement des évaluateurs,
• Test d’évaluation de français (TEF)

Pour citer cet article : Casanova, D., & Demeuse, M. (2016). Évaluateurs évalués : évaluation diagnostique des compétences en évaluation des correcteurs d’une épreuve d’expression écrite à forts enjeux. Mesure et évaluation en éducation, vol. 39, n°3, 59-94.

Réunion du Comité scientifique "Mesure et évaluation" du Centre de langue française de la Chambre de Commerce et industrie de Région Paris Ile de France (CCI-P-IdF)

Le Comité scientifique "Mesure et évaluation" du Centre de langue française de la Chambre de Commerce et industrie de Région Paris Ile de France (CCI-P-IdF), s'est réuni à Paris ce jeudi 19 janvier 2017, sous la présidence du Professeur Marc Demeuse.

Mise en ligne de la thèse de Marie Beillet

La thèse de doctorat soutenue par Marie Beillet le 15 juin 2016 dans les locaux de l'Université de Mons est à présent disponible en ligne via le lien https://tel.archives-ouvertes.fr/tel-01391273/document.
Cette thèse, intitulée

Conception d’un test d’évaluation des compétences en langue des étudiants allophones à l’entrée dans l’enseignement supérieur en France

a été réalisée en co-tutelle, sous la direction des professeurs Jean-Marc Mangiante (Université d'Artois) et Marc Demeuse (Université de Mons).

Résumé : En France, les étudiants candidatant pour la première fois dans l’enseignement supérieur doivent attester d’un niveau B2 de français. Cependant, les certifications actuellement en place n’ont pas encore intégré les discours universitaires dans leurs épreuves et proposent des évaluations de français général quand on sait qu’il existe un français spécifique à l’Université. Le taux de réussite aux examens des étudiants étrangers est de 40 % inférieur à celui des étudiants natifs. Ce taux d’échec s’explique par une série de facteurs, dont une partie est inhérente à l’aculturation de ces étudiants. En effet, la production de l’écrit en français relève d’une « norme native académique » qui implique la mobilisation de compétences langagières, stratégiques et méthodologiques spécifiques. Face à cette situation, le travail de recherche dans le cadre d’une thèse de doctorat à l’Université de Mons, en collaboration avec la Chambre de Commerce et d’Industrie de la région Paris Ile-de-France, a permis le développement d’une épreuve d’évaluation du niveau de la langue française, spécifique au milieu universitaire. Le test propose une vidéo d’un cours magistral sur un thème particulier que les étudiants visionnent et à laquelle sont associées différentes tâches de production écrite, dont un résumé. La grille critériée conçue pour évaluer ce dernier permet de déterminer le niveau moyen général correspondant à un niveau établi par le Cadre Européen Commun de Référence pour les Langues. Ainsi les résultats obtenus permettent de montrer si, au moment où il passe le test, un étudiant possède le niveau B2, sur une épreuve spécifique. Plusieurs expérimentations ont été menées afin de vérifier la validité écologique, la prédictibilité des résultats ou encore l’influence des sujets proposés. Ce travail présente les différents résultats obtenus ainsi que les poursuites envisagées de la recherche. 

Nouvelles publications

Deux nouvelles publications des membres de l'INAS:

Casanova, D., Crendal, A., Holle, A., Demeuse, M. (2011). Elaboration d’une version électronique équivalente à la version papier-crayon d’un test de français langue étrangère à enjeux critiques. In J.G. Blais & J.L. Gilles (eds). Evaluation des apprentissages et technologies de l’information et de la communication. Québec : Les presses de l’Université Laval. (pp. 245-266).

Derobertmasure, A., Demeuse, M. (2011). Utilisation conjointe de deux logiciels d’analyse de contenu dans le cadre de l‘analyse de traces de réflexivité. Eléments de comparaison. In J.G. Blais & J.L. Gilles (eds). Evaluation des apprentissages et technologies de l’information et de la communication. Québec : Les presses de l’Université Laval. (pp. 163-187).