Outils d’évaluation en langue dans le cadre d’une enquête internationale : tentative de mise a l’épreuve du c-test
Résumé:
Cette communication présente les outils d’évaluation et les résultats d’analyse de données issus du projet de recherche européen Socrates : « Pour le multilinguisme : exploiter à l’école la diversité des contextes européens ». Cette étude vise une meilleure connaissance des attitudes des jeunes en âge d’obligation scolaire à l’égard des langues modernes et de leurs motivations à développer leurs compétences communicatives en celles-ci. Le but de l’étape que nous présentons ici est de disposer d’une mesure objective des compétences de l’élève dans une langue étrangère. Il s’agit aussi d’identifier les problèmes potentiels inhérents à la planification et la réalisation d’une évaluation des compétences linguistiques à grande échelle et de proposer des solutions pratiques. Les langues concernées par la recherche, soit en tant que langue d’enseignement, soit en tant que langue étrangère enseignée dans le pays participant, sont l’allemand, l’anglais, le français, le grec, le néerlandais et le polonais. Un C-test – épreuve intégrative, destinée à mesurer la maîtrise globale d’une langue – a été élaboré à partir de 16 segments extraits de 8 textes issus des enquêtes PISA 2000 et IEA 1990. Ces textes ont été retenus afin de garantir la qualité des traductions et donc une similitude du contenu sémantique. Ils ont été transformés en textes C-test en suivant les recommandations de Grotjahn (2002), et présentés à 903 élèves du grade 9 provenant de 4 pays européens participant au projet, à savoir la Communauté française de Belgique, la Grèce, le Luxembourg et la Pologne. Les constats découlant de la première analyse des résultats relèvent de problématiques d’ordre méthodologique, linguistique ou technique. Ils permettent de mettre en évidence les atouts, mais aussi les limites de l’outil C-test ainsi que les contraintes à prendre en compte dans le contexte d’évaluations internationales des compétences en langues modernes.
Texte intégral
Artus, F., Reichert, M., Demeuse, M.& Martin, R., (2008), Outils d’évaluation en langue dans le cadre d’une enquête internationale : tentative de mise a l’épreuve du c-test. Actes du 20e colloque de l'ADMEE-Europe, Université de Genève. [https://plone.unige.ch/sites/admee08/communications-individuelles/j-a5/j-a5-1]
Evaluer les productions orales en français langue étrangère (FLE) en situation de test. Etude de la fidélité inter-juges de l’épreuve d’expression orale du Test d’Evaluation du Français (TEF) de la Chambre de commerce et d’industrie de Paris (CCIP)
Résumé:
Les travaux de recherches concernant la question de l’évaluation de l’expression orale se développent depuis une vingtaine d’années. Evaluer une épreuve d’expression orale relève d’un processus complexe dont les multiples paramètres liés aux facteurs humains, techniques et situationnels doivent être objectivés au maximum afin de garantir un traitement équitable et une appréciation la plus juste possible des compétences à mesurer. Le débat sur la validité des épreuves d’expression orale a remis en question le principe de l’interview encore très largement pratiquée pour évaluer cette compétence. Est-il possible de simuler une « vraie » conversation dans un contexte de test ? Est-il possible de mettre un candidat dans des conditions proches de la vie courante pour arriver à une véritable conversation et non à une interview « conversationnelle » qui n’est conversation que d’apparence ? Peut-on qualifier une interview de conversation ? Le rôle de l’examinateur peut-il s’effacer quand il devient interlocuteur ? Est-il possible qu’il ne domine pas la conversation tout en étant le poseur de questions ? L’épreuve d’expression orale du Test d’Evaluation du Français (TEF) tente de répondre à ces interrogations, notamment en plaçant le candidat dans une position d’enquêteur et non de simple interviewé. De plus, la présence de deux examinateurs doit aussi offrir des garanties quant à l’objectivité de la situation, ne serait-ce qu’en offrant la possibilité de constater les écarts entre les deux examinateurs. C’est sous cet angle que la présente expérimentation a examiné la fidélité inter-examinateurs et inter-jurys. Cette expérience avait pour objectif de mettre en évidence la possibilité d’obtenir des résultats fiables dans des situations complexes, faisant intervenir des examinateurs humains. De ce point de vue, les résultats obtenus sont très satisfaisants .
Texte intégral
Demeuse, M., Artus,F., Crendal, A. & Casanova,D., (2008), Evaluer les productions orales en français langue étrangère (FLE) en situation de test. Etude de la fidélité inter-juges de l’épreuve d’expression orale du Test d’Evaluation du Français (TEF) de la Chambre de commerce et d’industrie de Paris (CCIP). Actes du 20e colloque de l'ADMEE-Europe, Université de Genève. [https://plone.unige.ch/sites/admee08/communications-individuelles/m-a7/m-a7-1]
Quand les chercheurs s’intéressent aux établissements scolaires, à leurs caractéristiques et à leurs performances
Résumé
Nous partirons de la situation belge qui est à la fois un bon exemple, par l’importance de ses disparités de résultats, et un sujet difficile, en regard de la question des différences entre établissements, du moins en dehors des études internationales du type PISA. En effet, on y dispose de très peu d’information sur les performances des élèves et, à travers elles, sur celles des établissements scolaires, en raison de la grande décentralisation des évaluations certificatives. Néanmoins, il est possible d’envisager différentes manières d’approcher ces deux niveaux et d’analyser les relations qui existent entre dispersion des résultats individuels et dispersion des résultats d’unités agrégées comme les établissements scolaires et/ou les classes, selon les collectes réalisées.
Texte intégral
Demeuse, M., (2008), Quand les chercheurs s’intéressent aux établissements scolaires, à leurs caractéristiques et à leurs performances… Actes du 20e colloque de l'ADMEE-Europe, Université de Genève. [https://plone.unige.ch/sites/admee08/tables-rondes/v-tr1/v-tr1-1]
Les liens entre recherche prospective, description du système éducatif et pilotage : un exemple en Communauté française de Belgique
Résumé
Cette communication présente certains résultats d’une recherche prospective portant sur les moyens de lutter contre la ségrégation scolaire en Communauté française de Belgique par l’attribution modulée de moyens aux établissements scolaires selon les caractéristiques de leur population accueillie. Afin de prendre en compte ces caractéristiques dans une formule généralisée d’attribution des moyens en fonction des besoins, un état des lieux des ségrégations scolaires en Communauté française de Belgique a été réalisé, en prenant comme unité d’analyse l’établissement scolaire. Cette démarche a donné lieu à la création de « cartes d’identité » des établissements, regroupant des indicateurs objectifs de structure de la population et de flux d’élèves, et permettant une description originale, du point de vue de son unité d’analyse, du système éducatif belge francophone. Les résultats de cet état des lieux des ségrégations scolaires montrent qu’une importante disparité socio-économique existe au niveau des établissements, laquelle est liée à une ségrégation académique et à l’offre de formation. Sont finalement discutées les implications de la réalisation d’une « carte d’identité » des établissements, démarche nouvelle dans le cadre du système éducatif belge francophone, au niveau du pilotage du système et des établissements scolaires.
Texte intégral
Friant, N., Derobertmasure, A. & Demeuse, M., (2008), Les liens entre recherche prospective, description du système éducatif et pilotage : un exemple en Communauté française de Belgique. Actes du 20e colloque de l'ADMEE-Europe, Université de Genève. [https://plone.unige.ch/sites/admee08/communications-individuelles/v-a4/v-a4-2]
Résumé:
Cette communication présente les outils d’évaluation et les résultats d’analyse de données issus du projet de recherche européen Socrates : « Pour le multilinguisme : exploiter à l’école la diversité des contextes européens ». Cette étude vise une meilleure connaissance des attitudes des jeunes en âge d’obligation scolaire à l’égard des langues modernes et de leurs motivations à développer leurs compétences communicatives en celles-ci. Le but de l’étape que nous présentons ici est de disposer d’une mesure objective des compétences de l’élève dans une langue étrangère. Il s’agit aussi d’identifier les problèmes potentiels inhérents à la planification et la réalisation d’une évaluation des compétences linguistiques à grande échelle et de proposer des solutions pratiques. Les langues concernées par la recherche, soit en tant que langue d’enseignement, soit en tant que langue étrangère enseignée dans le pays participant, sont l’allemand, l’anglais, le français, le grec, le néerlandais et le polonais. Un C-test – épreuve intégrative, destinée à mesurer la maîtrise globale d’une langue – a été élaboré à partir de 16 segments extraits de 8 textes issus des enquêtes PISA 2000 et IEA 1990. Ces textes ont été retenus afin de garantir la qualité des traductions et donc une similitude du contenu sémantique. Ils ont été transformés en textes C-test en suivant les recommandations de Grotjahn (2002), et présentés à 903 élèves du grade 9 provenant de 4 pays européens participant au projet, à savoir la Communauté française de Belgique, la Grèce, le Luxembourg et la Pologne. Les constats découlant de la première analyse des résultats relèvent de problématiques d’ordre méthodologique, linguistique ou technique. Ils permettent de mettre en évidence les atouts, mais aussi les limites de l’outil C-test ainsi que les contraintes à prendre en compte dans le contexte d’évaluations internationales des compétences en langues modernes.
Texte intégral
Artus, F., Reichert, M., Demeuse, M.& Martin, R., (2008), Outils d’évaluation en langue dans le cadre d’une enquête internationale : tentative de mise a l’épreuve du c-test. Actes du 20e colloque de l'ADMEE-Europe, Université de Genève. [https://plone.unige.ch/sites/admee08/communications-individuelles/j-a5/j-a5-1]
Evaluer les productions orales en français langue étrangère (FLE) en situation de test. Etude de la fidélité inter-juges de l’épreuve d’expression orale du Test d’Evaluation du Français (TEF) de la Chambre de commerce et d’industrie de Paris (CCIP)
Résumé:
Les travaux de recherches concernant la question de l’évaluation de l’expression orale se développent depuis une vingtaine d’années. Evaluer une épreuve d’expression orale relève d’un processus complexe dont les multiples paramètres liés aux facteurs humains, techniques et situationnels doivent être objectivés au maximum afin de garantir un traitement équitable et une appréciation la plus juste possible des compétences à mesurer. Le débat sur la validité des épreuves d’expression orale a remis en question le principe de l’interview encore très largement pratiquée pour évaluer cette compétence. Est-il possible de simuler une « vraie » conversation dans un contexte de test ? Est-il possible de mettre un candidat dans des conditions proches de la vie courante pour arriver à une véritable conversation et non à une interview « conversationnelle » qui n’est conversation que d’apparence ? Peut-on qualifier une interview de conversation ? Le rôle de l’examinateur peut-il s’effacer quand il devient interlocuteur ? Est-il possible qu’il ne domine pas la conversation tout en étant le poseur de questions ? L’épreuve d’expression orale du Test d’Evaluation du Français (TEF) tente de répondre à ces interrogations, notamment en plaçant le candidat dans une position d’enquêteur et non de simple interviewé. De plus, la présence de deux examinateurs doit aussi offrir des garanties quant à l’objectivité de la situation, ne serait-ce qu’en offrant la possibilité de constater les écarts entre les deux examinateurs. C’est sous cet angle que la présente expérimentation a examiné la fidélité inter-examinateurs et inter-jurys. Cette expérience avait pour objectif de mettre en évidence la possibilité d’obtenir des résultats fiables dans des situations complexes, faisant intervenir des examinateurs humains. De ce point de vue, les résultats obtenus sont très satisfaisants .
Texte intégral
Demeuse, M., Artus,F., Crendal, A. & Casanova,D., (2008), Evaluer les productions orales en français langue étrangère (FLE) en situation de test. Etude de la fidélité inter-juges de l’épreuve d’expression orale du Test d’Evaluation du Français (TEF) de la Chambre de commerce et d’industrie de Paris (CCIP). Actes du 20e colloque de l'ADMEE-Europe, Université de Genève. [https://plone.unige.ch/sites/admee08/communications-individuelles/m-a7/m-a7-1]
Quand les chercheurs s’intéressent aux établissements scolaires, à leurs caractéristiques et à leurs performances
Résumé
Nous partirons de la situation belge qui est à la fois un bon exemple, par l’importance de ses disparités de résultats, et un sujet difficile, en regard de la question des différences entre établissements, du moins en dehors des études internationales du type PISA. En effet, on y dispose de très peu d’information sur les performances des élèves et, à travers elles, sur celles des établissements scolaires, en raison de la grande décentralisation des évaluations certificatives. Néanmoins, il est possible d’envisager différentes manières d’approcher ces deux niveaux et d’analyser les relations qui existent entre dispersion des résultats individuels et dispersion des résultats d’unités agrégées comme les établissements scolaires et/ou les classes, selon les collectes réalisées.
Texte intégral
Demeuse, M., (2008), Quand les chercheurs s’intéressent aux établissements scolaires, à leurs caractéristiques et à leurs performances… Actes du 20e colloque de l'ADMEE-Europe, Université de Genève. [https://plone.unige.ch/sites/admee08/tables-rondes/v-tr1/v-tr1-1]
Les liens entre recherche prospective, description du système éducatif et pilotage : un exemple en Communauté française de Belgique
Résumé
Cette communication présente certains résultats d’une recherche prospective portant sur les moyens de lutter contre la ségrégation scolaire en Communauté française de Belgique par l’attribution modulée de moyens aux établissements scolaires selon les caractéristiques de leur population accueillie. Afin de prendre en compte ces caractéristiques dans une formule généralisée d’attribution des moyens en fonction des besoins, un état des lieux des ségrégations scolaires en Communauté française de Belgique a été réalisé, en prenant comme unité d’analyse l’établissement scolaire. Cette démarche a donné lieu à la création de « cartes d’identité » des établissements, regroupant des indicateurs objectifs de structure de la population et de flux d’élèves, et permettant une description originale, du point de vue de son unité d’analyse, du système éducatif belge francophone. Les résultats de cet état des lieux des ségrégations scolaires montrent qu’une importante disparité socio-économique existe au niveau des établissements, laquelle est liée à une ségrégation académique et à l’offre de formation. Sont finalement discutées les implications de la réalisation d’une « carte d’identité » des établissements, démarche nouvelle dans le cadre du système éducatif belge francophone, au niveau du pilotage du système et des établissements scolaires.
Texte intégral
Friant, N., Derobertmasure, A. & Demeuse, M., (2008), Les liens entre recherche prospective, description du système éducatif et pilotage : un exemple en Communauté française de Belgique. Actes du 20e colloque de l'ADMEE-Europe, Université de Genève. [https://plone.unige.ch/sites/admee08/communications-individuelles/v-a4/v-a4-2]
