évaluation des apprentissages TABLE DES MATIERES AXE III : L’évaluation : place et fonctions Activité 4: AXE IV : Choix d’outils d’évaluation Activité 6: Activité 7. CLOTURE DE LA PREMIERE SESSION TROISIEME DEMI-JOURNEE AXE V: Elaboration de situations d’évaluation Activité 9 : CLOTURE DE LA DEUXIEME SESSION - Présentation de la grille d’évaluation de la session de formation. - Recueil oral des formés vis-à-vis de la formation dispensée. DOCUMENTS Présentation générale Public visé : Ce module est ouvert aux enseignants de la langue française exerçant au collège. Présentation du module : On proposera aux participants de se familiariser avec les principes généraux de l'évaluation, mais surtout de consolider leurs compétences en matière de conception et de correction des différents types d'épreuves en entrant dans le détail de la nature et des compétences à évaluer. Le Cadre référentiel pour l’évaluation certificative constituera l'outil de départ pour la création des dispositifs d'évaluation. Finalité de la formation : Le module « L’évaluation des apprentissages » a pour objectif de construire un discours didactique commun et de former les enseignants de français à s’approprier les outils permettant la conception d'activités d'évaluation. Objectifs principaux : Cette formation propose de doter les participants d’une plateforme théorique qui leur permettra de réfléchir sur leur pratique professionnelle en matière d’évaluation et partant, faire émerger à la conscience les pratiques pédagogiques évaluatives appropriées. Compétences visée : Les participants seront en mesure, à la fin de la formation, de concevoir des activités d'évaluation et d'intégrer, dans leur enseignement, un véritable programme d'évaluation tant sur le plan formatif que sommatif. Modalités de travail : Tout au long de cette formation, des présentations théoriques et des activités pratiques sur les modalités d'évaluation seront proposées aux participants. Il s’agit, en fait, d’un partage puisque les enseignants bénéficient de plusieurs années d’expérience l’objectif étant de les amener à interroger leurs propres pratiques en matière d’évaluation. En outre, la démarche est inductive : le travail passe de la pratique à la théorie. la planification de chaque séance de formation permet aux animateurs d’avoir une feuille de route précise, d’avoir une vision globale et détaillée des objectifs, des activités et des supports pour mener à bien chaque séance de formation. Présentation du module Le module propose, en deux sessions, un programme de formation à la conception des activités d’évaluation au collège. Il s’étale sur dix heures réparties en trois demi-journées. La première demi-journée permettra aux participants d’unifier leurs représentations sur l’évaluation et d’en comprendre les enjeux. Elle sera l’occasion de connaître les différentes fonctions de l’évaluation et de se familiariser avec certains de ses principes. Cette demi-journée s’articule en trois axes et propose cinq activités. La deuxième demi-journée a pour objectif de familiariser les participants avec les différents outils d’évaluation en congruence avec les objectifs et les situations d’évaluation et de les sensibiliser aux problèmes de validité et de fidélité en confrontant leurs corrections. Cette demi-journée propose trois activités. La deuxième session vise essentiellement l’aspect pratique de l’évaluation. Elle est l’occasion pour les enseignants de transférer les acquisitions de la première session en activités pratiques : élaboration d’épreuves et des situations d’évaluation. PROGRAMME DE FORMATION SESSION 1 : Demi-journée 1 08h30mn-9h Présentations + Brise-glace 9h- 9h30mn Axe I : Approche des représentations 9h30mn-10h45mn AXE II : Essai de définition 10h45mn- 11h15mn Pause 11h15mn-12h 30mn Axe III : L’évaluation : place et fonctions Demi-journée 2 02h30mn-16h30mn Axe IV Choix d’outils d’évaluation 16h30mn- 17h Pause 17h-18h Axe IV : Choix d’outils d’évaluation (suite) SESSION 2 : Demi-journée 3 08h30mn-10h Axe V Elaboration de situations d’évaluation 10h- 10h15mn Pause 10h15mn-11h45mn Axe V: Elaboration de situations d’évaluation (suite) 11h54mn- 12h Clôture de la session Première session Première demi journée Présentations + Brise glace : 30mn AXE I : Approche des représentations à l’égard de l’évaluation scolaire (30 mn) OBJECTIFS : Faire émerger et évoluer les représentations des enseignants sur l’ évaluation scolaire. Activité 1 : Le portrait chinois • Consigne : Pour que ce jeu de comparaisons permette de cerner les représentations, on aura soin de « faire parler » la spontanéité et non la réflexion. Il convient donc de donner à l’échange un rythme rapide. Si l’évaluation scolaire telle que vous la pratiquez était… Pourquoi chacune des images vous est-elle venue à l’esprit ? • Méthode d’animation : méthode participative en plénière. • Durée : (15mn) + Mise en commun et Discussion (15mn) • Outils : Doc. 1 AXE II : Essai de définition (70 mn) OBJECTIFS : Prendre conscience de la difficulté à définir l’évaluation, de l’ambiguïté du terme et de l’impact que cela peut avoir sur les pratiques. Activité 2 : Situer dans le sous-ensemble le plus proche • Consigne : choisir parmi les verbes indiqués celui ou ceux qui se rapprochent le plus de votre pratique évaluative. • Méthode d’animation : méthode participative en plénière. • Durée : (15mn) + Mise en commun et Discussion (20 mn) • Outils : Doc. 2 Activité 3 : Approche sémantique de l’évaluation scolaire • Consigne : Examiner les exemples et les citations que propose le dictionnaire Robert à la rubrique « évaluer ». • Méthode d’animation : méthode participative en plénière. • Durée : (15mn) + Mise en commun et Discussion (20 mn) • Outils : Doc. 3,4 AXE III : Place et fonctions de l’évaluation (80 mn) OBJECTIFS : Cerner la terminologie de base relative à l’évaluation Activité 4: Le puzzle ou le monopoly pédagogique (l’animateur choisira entre les deux jeux) • Consigne : - le puzzle : retrouver le mot qui manque à l’appel ou un synonyme. - Le monopoly : préciser à quel(s) moment(s) du processus se situe l’évaluation. • Méthode d’animation : Méthode active : Travail en groupes • Durée : Ateliers (20mn) + Partage (20mn) • Outils : Doc.5,6 Activité 5: « Q Sort » sur l’évaluation scolaire • Consigne : Classer les 18 affirmations de principe selon la distribution indiquée. • Méthode d’animation : Méthode active : Travail en groupes • Durée : Ateliers (20mn) + Partage (20mn) (exposé : docs 8 et 9) • Outils : Doc.7, 8, 9 Deuxième demi journée AXE IV : Choix d’outils d’évaluation (180 mn) OBJECTIFS : Choisir l’outil d’évaluation le plus adapté à l’objectif qu’on s’est donné. Activité 6: Tests de validité • Consigne : Voici une série de situations pédagogiques et la présentation des procédures d’évaluation auxquelles elles ont donné lieu : Ces tests vous semblent-ils valides, c'est-à-dire bien adaptés à ce qu’ils entendent évaluer ? • Méthode d’animation : Méthode active : Travail en groupes • Durée : Ateliers (20mn) + Partage (25mn) • Outils : Doc.10 Activité 7: Correction de copies • Consigne : - Evaluer les copies (correction et notation) ; - Confronter les notes ; - Chercher les causes de l’écart ; - Etablir des critères pour réduire l’écart et recorriger. • Méthode d’animation : Méthode active : Travail en groupes • Durée : Ateliers (45mn) + Partage (30mn) ; (exposé : doc 15) • Outils : Doc.11, 12, 13, 14, 15, 16 Activité 8: Choix d’outils d’évaluation • Consigne : Voici des épreuves : les outils d’évaluation choisis sont-ils adaptés aux objectifs d’évaluations ? • Méthode d’animation : Méthode active : Travail en groupes • Durée : Ateliers 30mn) + Partage (30mn) (exposé : docs 19, 20, 21, 22) • Outils : Doc.17, 18, 19, 20, 21, 22 CLOTURE DE LA PREMIERE SESSION (15mn) Deuxième session Troisième demi-journée AXE V : Elaboration de situations d’évaluation (180 mn) OBJECTIFS : Concevoir des situations d’évaluation. Activité 9: Elaboration des épreuves • Consigne : A partir du Référentiel pour l’enseignement du français au collège, élaborez des épreuves (+ clé de correction et notation) portant sur : - La compréhension écrite ; - La production écrite ; - La langue ; - L’oral. • Méthode d’animation : Méthode active : Travail en groupes • Durée : Ateliers (90mn) + Partage (90mn) • Outils : Doc.23, 24, 25, 26, 27, 28, 29, 30 + manuels BIBLIOGRAPHIE : Doc 31 CLOTURE DE LA SESSION (15mn) Présentation d’une grille de bilan de formation de la session. Doc 32 DOCUMENTS DOCUMENT 1 DOCUMENT 2 DOCUMENTS 3 et 4 DOCUMENT 5 DOCUMENT 6 DOCUMENT 7 Document 8 DOCUMENT 9 DOCUMENT 10 DOCUMENT 11 DOCUMENT 12 Evaluation de rédaction (Réf. Zakartchouk) Réf. Les difficultés scolaires: pourquoi? Comment les prendre en compte dans un groupe hétérogène? In http://pedagogie.ac-amiens.fr/lettres/Pages/pedagogie.htm Niveau A : présentation (paragraphes, présence du sujet…) /1 orthographe et ponctuation /4 correction grammaticale, clarté /4 compréhension de la consigne d’écriture /2 exactitude, précision /4 inventivité /6 présentation (paragraphes, présence du sujet…) /2 orthographe et ponctuation /2 correction grammaticale, clarté /4 compréhension de la consigne d’écriture /4 exactitude, précision /6 inventivité /2 Niveau B : DOCUMENT 13 Grille de correction (de récits produits par les élèves) La Phrase P1 Absence de ponctuation P2 Erreur de ponctuation P3 Fais des phrases courtes P4 Erreur de majuscule P5 La phrase n'a pas de verbe P6 Phrase incomplète P7 Phrase en désordre P8 Inutile P9 Ponctuation Les dialogues D1 Manque de dialogues D2 Style direct, style indirect D3 Guillemets D4 Construction de dialogues D5 Qui parle ? D6 Précisions abusives D7 Varier les verbes L'histoire H1 Introduction trop lourde H2 Nommer les personnages H3 Présenter les personnages H4 Phrase mal placée H5 Ne va pas avec ce qui précède H6 Descriptions absentes H7 Histoire incohérente H8 Absence de conclusion Le Style S1 Répétitions S2 Utilisation des pronoms S3 Question S4 Expression incorrecte S5 Ce mot ne convient pas S6 Maladresse, lourdeur S7 Familier S8 Banal S9 Incorrections La grammaire G1 Forme interrogative incorrecte G2 Forme négative incorrecte G3 Erreur de temps G4 Changement de temps G5 Erreur de pronom G6 Changement de personne G7 Nous au lieu de on G8 Et dans une énumération G9 Ranger une énumération G10 Parler de soi en dernier Source : Equipe pédagogique de l’école publique de Villefort DOCUMENT 14 DOCUMENT 15 DOCUMENT 16 La validation des épreuves d'évaluation selon l'approche par les compétences Jean-Marie DE KETELE Président du BIEF, Professeur à l'UCL - Jean-Marie.DeKetele@psp.ucl.ac.be François-Marie GERARD Directeur adjoint du BIEF - Place des Peintres, 5 - B 1348 LLN - fmg@bief.be Références : DE KETELE, J.-M. & GERARD, F.-M. (2005). La validation des épreuves d'évaluation selon l'approche par les compétences, Mesure et Évaluation en Éducation, À paraître. Téléchargez ici l'article en format . Un peu partout dans le monde, les pratiques pédagogiques se réfèrent de plus en plus à une approche par compétences se différenciant d'une approche par contenus ou par objectifs : • l'approche par contenus considère l'enseignement en termes de liste de matières et de contenus-matières à enseigner, c'est-à-dire à transmettre ; • l'approche par objectifs a comme porte d'entrée des comportements observables structurés, mais séparés les uns des autres, qui sont à développer chez les apprenants ; • l'approche par compétences cherche à développer la possibilité par les apprenants de mobiliser un ensemble intégré de ressources pour résoudre une situation-problème appartenant à une famille de situations (LE BOTERF, 1994 ; TARDIF & al., 1995 ; REY, 1996 ; PERRENOUD, 1997 ; FOUREZ, 1999 ; POIRIER PROULX, 1999 ; LASNIER, 2000 ; DE KETELE, 2000, 2001 a et b ; ROEGIERS, 2000, 2003 ; TILMAN, 2000 ; LEGENDRE, 2001 ; DOLZ & OLLAGNIER, 2002 ; JONNAERT, 2002, REY, CARETTE, DEFRANCE & KAHN, 2003 ; SCALLON, 2004 ; GERARD, 2005). Ces différentes approches entraînent des pratiques d'évaluation différentes (DE KETELE & DUFAYS, 2003) : • dans l'optique des contenus, évaluer consiste à prélever un échantillon de contenus représentatif de l'univers de référence des contenus enseignés ; • dans l'optique des objectifs, évaluer consiste à prendre un échantillon représentatif d'objectifs spécifiques et opérationnels et à générer un échantillon de questions qui traduisent au mieux cet échantillon d'objectifs ; • dans l'optique des compétences, évaluer consiste à proposer une ou des situations complexes, appartenant à la famille de situations définie par la compétence, qui nécessitera (ont) de la part de l'élève une production elle-même complexe pour résoudre la situation. 1. Entre pertinence, validité et fiabilité Les épreuves élaborées à des fins d'évaluation selon chacune de ces approches seront inévitablement différentes. Néanmoins, les questions qui se posent par rapport à ces épreuves sont les questions classiques relatives à tout recueil d'informations : sont-elles pertinentes, valides et fiables (DE KETELE & ROEGIERS, 1993) ? • La pertinence est le caractère plus ou moins approprié de l'épreuve, selon qu'elle s'inscrit dans la ligne des objectifs visés (DE KETELE et alii, 1989). C'est son degré de "compatibilité" avec les autres éléments du système auquel elle appartient (RAYNAL & RIEUNIER, 1997, 2003). • La validité est le degré d'adéquation entre ce que l'on déclare faire (évaluer telle ou telle dimension) et ce que l'on fait réellement, entre ce que l'outil mesure et ce qu'il prétend mesurer (LAVEAULT & GRÉGOIRE, 1997, 2002). • La fiabilité est le degré de confiance que l'on peut accorder aux résultats observés : seront-ils les mêmes si on recueille l'information à un autre moment, avec un autre outil, par une autre personne, etc. ? Elle nous renseigne sur le degré de relation qui existe entre la note obtenue et la note vraie (CARDINET & TOURNEUR, 1985 ; LAVEAULT & GRÉGOIRE, 1997, 2002). Il ne faut cependant pas perdre de vue que la note vraie est une abstraction, un point de convergence souhaité indépendant des évaluateurs et des circonstances. Ces dimensions, théoriquement indépendantes les unes des autres, forment ensemble des conditions nécessaires pour disposer d'une épreuve d'évaluation digne de ce nom. Mais, prises isolément, elles ne sont jamais suffisantes : un outil fiable peut très bien n'être ni valide, ni pertinent, ou un outil pertinent ni valide ni fiable, etc. En adaptant l'exemple du tir à l'arc proposé par LAVEAULT et GRÉGOIRE (1997, 2002), imaginons qu'on souhaite évaluer la compétence d'un trappeur à chasser du gibier grâce à son arc. Il doit pour ce faire être capable de réaliser un tir groupé sur une cible mouvante. Deux épreuves sont mises en place : d'une part, un tir de 5 flèches sur une cible classique, et d'autre part, un tir de 5 flèches sur une cible mouvante semblable à du gibier. Les situations suivantes peuvent dès lors exister : Dans la situation A, le tir est non fiable parce que dispersé sur toute la surface de la cible fixe. Il est non valide, parce que la mesure manque de précision et ne peut attester l'atteinte de l'objectif. Il est enfin non pertinent puisqu'il ne correspond pas à l'objectif recherché et ne mesure donc de toute façon pas ce que je déclare vouloir mesurer. Dans la situation B, le tir est groupé mais rate systématiquement la cible. Il est fiable (la mesure montre que le tireur sait faire un tir groupé), mais non valide parce que cette mesure ne me permet pas de vérifier qu'il est capable d'atteindre la cible. Dans la situation C, le centre de la cible, c'est-à-dire l'objectif, est atteint et la mesure est donc valide, mais elle n'est pas fiable parce qu'on ne peut certifier que ce sera toujours le cas. Dans la situation D, le tir est groupé et touche le mille, mais la cible n'est pas la bonne (par rapport à la compétence visée). La mesure est donc fiable et valide, mais non pertinente. Les situations E à H présentent des situations pertinentes par rapport à la compétence visée. Les situations E, F et G ont cependant des problèmes de validité et/ou de fiabilité, alors que la situation H détermine une mesure à la fois fiable, valide et pertinente. Elle seule permet de certifier que le trappeur est compétent. La situation D est intéressante parce qu'elle reflète ce que sont les épreuves classiques, notamment celles utilisées dans les grandes enquêtes internationales du type TIMMS ou PISA, du moins lorsqu'elles s'inscrivent dans un système éducatif fondé sur l'approche par les compétences. Ces épreuves proposent un ensemble d'items selon une structure très élaborée issue principalement d'une approche par les contenus et/ou les objectifs. Elles sont fiables et valides, mais ne sont pas pertinentes par rapport à l'approche par compétences et donc aux finalités des systèmes éducatifs conçus dans cet esprit. Si elles permettent bien d'évaluer les ressources jugées nécessaires (savoir-reproduire et savoir-faire), elles ne permettent pas (ou peu) d'évaluer la faculté de mobiliser celles qui sont pertinentes pour résoudre des problèmes ou effectuer des tâches complexes. Il faudrait donc pouvoir disposer d'épreuves correspondant à la situation H, mais il est vraisemblable que de nombreuses épreuves actuellement élaborées sont plutôt proches des situations E ou F : elles devraient être pertinentes parce qu'elles proposent une situation complexe, mais il est difficile d'en attester la validité parce que les méthodes pour assurer cette validation ne sont pas évidentes ou tout simplement pas connues. Il n'est en tous cas pas possible d'utiliser telles quelles les méthodes utilisées dans la théorie classique des scores. Nous sommes conscients que cette position et certaines propositions émises dans la suite de cet article risquent de soulever quelques polémiques. Mais nous espérons que les questions que nous soulevons seront l'objet de travaux de la part des experts en évaluation. 1.1. Les limites de la théorie classique des scores Comme l'a montré CARDINET, dès 1973, un premier élément à prendre en compte à cet égard est qu'il existe de toute façon une limite méthodologique importante lors de la validation d'épreuves d'évaluation pédagogique, quelle que soit l'approche à laquelle elles se réfèrent Cette difficulté est liée au fait que l'on recourt à des techniques utilisées en psychométrie alors que l'on est dans le champ de l'édumétrie (CARVER, 1974), qui ne dispose pas d'outils suffisamment développés, en cohérence avec la spécificité de l'éducation. La différence est notamment liée à la distribution attendue des résultats, qui se concrétise dans une courbe de référence Lorsqu'on utilise un test psychométrique, on s'attend à ce que la population cible soit distribuée selon une loi normale, ou courbe de Gauss, avec une minorité de notes basses et une autre minorité de notes élevées pour une majorité de notes moyennes, la "moyenne" étant elle-même confondue avec le mode et la médiane. Cette logique "psychologique" est déterminée par le fait que l'on souhaite décrire une population et situer un individu dans la distribution, qui semble effectivement correspondre à une courbe de Gauss. Une telle distribution apparaît lorsque le phénomène étudié est la résultante d'un nombre important de facteurs en interaction ; elle disparaît lorsque le phénomène étudié est le fruit d'un effet systématique fort : en l'occurrence, l'intervention pédagogique est plus forte que les nombreux facteurs aléatoires individuels ou situationnels. La logique de l'éducation devrait donc être très différente parce qu'elle ne vise pas à décrire une population, mais à agir sur elle. L'éducation scolaire a pour objectif que les élèves apprennent et que tous les élèves apprennent. La distribution attendue au terme d'un processus d'enseignement-apprentissage ne devrait donc pas — en bonne logique — être "normale", mais devrait correspondre à ce qu'on appelle une courbe en J, c'est-à-dire où il y a une majorité d'élèves qui ont acquis les objectifs fondamentaux visés et une minorité d'élèves qui n'ont pas atteint ces objectifs. En quelque sorte, le "pédagogue" est celui qui va, grâce à son action éducative, faire mentir le "psychologue ?t. Cette logique n'est malheureusement pas toujours comprise ni prise en compte par les pédagogues eux-mêmes. Plusieurs recherches ont ainsi confirmé la loi dite de POSTHUMUS, formulée dès 1947, selon laquelle les enseignants ont tendance, inconsciemment la plupart du temps, à recréer au sein de leur classe une distribution en cloche, ce qui traduit une logique sélective (de LANDSHEERE, 1980 ; CRAHAY, 1996). Cependant, ce n'est pas la logique prônée, tant dans les mouvements pédagogiques actuels que dans de nombreux textes officiels. En effet, la logique de la "réussite" est clairement prônée par exemple dans le cadre de la pédagogie de la maîtrise pour laquelle un objectif doit être maîtrisé par une forte proportion d'élèves (80% à 90%) avant de passer à l'objectif d'apprentissage suivant ou encore dans la cadre de l'approche par les compétences de base (DE KETELE, 1993a et b ; ROEGIERS, 2000) qui définit un nombre très limité de compétences essentielles à la vie quotidienne et qui doivent dès lors absolument être maîtrisées par tous les élèves. Les techniques classiques de validation des épreuves d'évaluation scolaire reposent pour la plupart d'entre elles sur une approche psychométrique, c'est-à-dire sur une distribution normale, en forme de courbe de Gauss. Par exemple, un indice fréquemment utilisé est l'indice de discrimination (FINDLEY, 1956), qui vise à vérifier si les items de l'épreuve sont à même de discriminer les élèves, c'est-à-dire de distinguer les élèves faibles des élèves forts. Cet indice est la différence entre l'indice de difficulté de l'item pour le groupe dit "fort" et l'indice de difficulté pour le groupe dit "faible" : plus l'écart est grand, plus l'item discrimine entre les sujets. Le groupe fort est constitué des sujets qui ont obtenu un score total qui les situe dans la catégorie des 27% supérieurs et le groupe faible dans la catégorie des 27% inférieurs (LAVEAULT & GREGOIRE, 1997, 2002). On voit clairement non seulement que cette méthode se fonde sur une distribution normale, mais aussi que l'épreuve elle-même est conçue de telle sorte à déboucher sur une distribution normale des résultats afin de pouvoir discriminer au mieux, de la manière la plus fine possible, les élèves. Selon DE KETELE et DUFAYS (2003), la validité des épreuves d'évaluation fondée sur les contenus et/ou les objectifs se caractérise ainsi par : • le caractère représentatif de l'échantillon d'items par rapport à l'univers de référence ; • la position de la moyenne (pas trop éloignée du centre de l'échelle de notation) ; • la dispersion des résultats (variance la plus grande possible pour discriminer au mieux les élèves) ; • la forme de la distribution (courbe gaussienne) ; • l'unidimensionnalité du trait mesuré (en l'occurrence, une aptitude scolaire spécifique). 1.2. Les limites des épreuves selon l'approche par les compétences La première de ces caractéristiques nous permet d'aller plus loin dans la problématique de la validation des épreuves d'évaluation fondées sur l'approche par les compétences. De la même manière que l'on souhaite, lors d'un sondage d'opinion, obtenir un échantillon représentatif de la population en procédant par tirage aléatoire, le caractère représentatif de l'échantillon des items d'une épreuve d'évaluation est atteint au mieux lorsqu'il est constitué de manière aléatoire. C'est par exemple le cas lors de l'examen théorique du permis de conduire géré par ordinateur. Celui-ci propose aléatoirement une série de questions issues de l'univers de toutes les questions possibles à propos du code de la route (uniquement composé de "contenus ?t). L'échantillon aléatoire est éventuellement stratifié en contenant par exemple x questions relatives à des infractions graves. Tous les candidats reçoivent des questionnaires différents, et on pourrait donc considérer qu'ils n'ont pas tous la même chance face à l'examen. Mais c'est justement cette dimension aléatoire de la construction du questionnaire qui en garantit la représentativité et en assure la validité, pour autant évidemment que le nombre de questions soit suffisamment important pour limiter l'erreur de mesure. Si on s'en tient aux règles relatives à la représentativité d'un échantillon, cette condition est rarement satisfaite. En effet, l'erreur de mesure sur un échantillon peut être estimée par la formule où n est le nombre d'éléments contenus dans l'échantillon. Pour une erreur de mesure limitée à 5%, il faudrait ainsi que l'épreuve d'évaluation contienne 400 items, ce qui est pratiquement infaisable dans la plupart des cas. L'exemple de l'examen du permis de conduire illustre bien la situation D de notre schéma où l'effort se concentre sur la fiabilité et la validité de l'évaluation des ressources au détriment de la pertinence : c'est la raison pour laquelle une épreuve pratique en situation est organisée et nous savons très bien qu'une réussite brillante à l'épreuve écrite peut s'accompagner d'une grave incompétence lors de l'épreuve pratique. Les épreuves élaborées selon l'approche par compétences risquent cependant de présenter des difficultés de validité et de fiabilité étant donné la taille de l'échantillon issu de l'univers de référence Par essence, ces épreuves vont consister à présenter à l'élève une, voire deux, situation(s) complexe(s), demandant de la part de l'élève une production elle-même complexe, nécessitant un certain temps de résolution . Les tâches demandées aux élèves varieront selon les situations : • parfois la production sera constituée d'une tâche unique complexe, par exemple produire un texte répondant à une situation de communication ou, dans l'épreuve pratique du permis de conduire, parcourir un circuit routier choisi pour exiger la mobilisation d'un ensemble de ressources jugées essentielles ; • parfois la production pourra être décomposée en plusieurs tâches, comprenant elles-mêmes diverses étapes, sans qu'il soit nécessairement possible d'identifier le nombre exact d'étapes, comme c'est le cas par exemple dans la résolution de situations-problèmes mathématiques complexes où plusieurs voies de résolution sont possibles. Mais, en tous les cas, il ne sera pas possible de constituer un nombre d' "items ?t, parce que ceux-ci reviendraient à décomposer la tâche complexe en sous-unités, ce qui ne permettrait plus d'évaluer la compétence qui consiste bien à gérer la complexité. Il n'est donc pas question, dans des épreuves d'évaluation construites selon l'approche par les compétences, de valider les outils comme on le fait avec des épreuves classiques (fondées sur les contenus et/ou les objectifs) en prenant comme unité d'analyse les "items" constituant l'échantillon issu de l'univers de référence Dans une épreuve selon les compétences, ces "items" n'existent pas : il n'y a qu'une production complexe, ne constituant certainement pas un échantillon statistiquement représentatif de toutes les productions complexes possibles relativement à la compétence. Les techniques de validation des épreuves d'évaluation selon l'approche par compétences sont donc à inventer, avec d'autres postulats que ceux de la théorie classique des scores. 2. Les validations des épreuves selon l'approche par les compétences Divers types de validation peuvent être envisagées de façon complémentaire : • une validation a priori, par recours à des juges ; • une validation empirique interne ; • une validation empirique externe. 2.1. Validation a priori par recours à des juges La validation a priori par recours à des juges est une technique également utilisée dans les épreuves classiques. Dans ce cas, elle consiste à demander aux juges de vérifier si les items font bien partie de l'univers de référence Dans le cadre de l'approche par les compétences, le travail sera du même type, mais ce sont les "items" et l'univers de référence qui sont fondamentalement différents. Les "items" sont les situations-problèmes concrètes qui sont proposées aux élèves et l'univers de référence est la famille de situations qui correspond à la compétence. Les juges devront donc vérifier que la ou les situation(s) appartien(nen)t bien à la famille de situations. C'est la question de l'équivalence des situations. Cette question est très difficile, voire impossible, à résoudre. En effet, ces situations étant par définition complexes, il est très difficile de certifier qu'elles sont bien équivalentes les unes avec les autres, et qu'elles appartiennent donc effectivement à la famille de situations. La condition indispensable pour réaliser ce travail est de disposer d'une description suffisamment précise de la famille de situations, c'est-à-dire d'une définition des paramètres qui la caractérisent. Le paramétrage de la famille de situations détermine les caractéristiques auxquelles doivent répondre toutes les situations appartenant à la famille. Il peut porter sur différents aspects : • l'univers de référence en termes de ressources à mobiliser, lorsque par exemple toutes les situations doivent nécessiter dans leur résolution une soustraction suivie d'une addition, portant chacune sur des nombres entiers compris entre 0 et 1000 ; • le type de situations, par exemple des situations de communication orale impliquant deux personnes l'une en présence de l'autre (excluant ainsi une communication téléphonique) ; • le type et le nombre de supports, par exemple la présence d'au moins un schéma et/ou d'un texte d'une centaine de mots ; • le type de tâche attendue, par exemple la production d'un texte argumentatif d'au moins 10 phrases, accompagné d'un schéma explicatif ; • les conditions de résolution, dont notamment les aides mises à disposition de l'élève (un dictionnaire, un formulaire...) ; • le type de critères utilisés pour évaluer la production, par exemple pour une résolution de problèmes mathématiques (1) la pertinence des ressources mobilisées face au problème posé, (2) le caractère correct des ressources mobilisées (qu'elles soient pertinentes ou non), (3) le sens donné à la réponse finale dans le cadre du problème posé ; • ... Le paramétrage de la famille de situations ne doit pas être confondu avec l'habillage des situations. Celui-ci concerne chaque situation particulière, qui présente chaque fois des aspects spécifiques qui font qu'elle est une situation parmi d'autres. L'habillage concerne le contexte spécifique de la situation, les données concrètes qu'elle contient, les supports spécifiques, etc. Il est donc différent pour chaque situation, alors que le paramétrage, lui, est commun à toutes les situations issues de la même famille, sans quoi elles ne seraient pas équivalentes. La validation par les juges consistera donc à vérifier que les paramètres de la famille de situations sont bien présents dans la situation concrète, et seulement eux. L'équivalence des situations porte sur le paramétrage, et non sur l'habillage. La difficulté essentielle est de disposer d'une définition suffisamment précise et complète de la famille de situations. Sans elle, on ne pourra jamais garantir l'équivalence. On pourrait donc dire qu'avant encore de confronter les situations à l'avis des juges, le travail de validation des épreuves élaborées selon l'approche par les compétences consiste à vérifier qu'on dispose de paramètres suffisamment précis et complets, et de les élaborer si on n'en dispose pas. 2.2. Validations empiriques a posteriori Une autre validation peut être effectuée a posteriori, sur la base des résultats obtenus. Classiquement, on distingue ?E une validation empirique interne, si elle vise à vérifier l'unité conceptuelle de l'épreuve en elle-même, ?E une validation empirique externe, si elle tend à montrer la convergence de l'épreuve avec d'autres épreuves similaires elles-mêmes validées ou encore à confronter les résultats avec d'autres épreuves qu'on sait avoir une relation inverse ou non avec la dimension évaluée. 2.2.1. Validation empirique interne La validation empirique interne d'un test classique se fait essentiellement par le recours à deux types de techniques : l'analyse factorielle et le calcul de coefficients d'homogénéité (le plus souvent le coefficient alpha de Cronbach). Par l'analyse factorielle, on cherche à vérifier que, dans le cas où l'épreuve est censée mesurer une aptitude scolaire précisée, tous les items du test présentent des saturations fortes sur la première composante principale ou facteur extrait et, en conséquence, contribuent à obtenir une variance expliquée très importante. Par contre, si l'épreuve est considérée comme composite (exemple : la maîtrise en mathématique est censée comporter deux dimensions, l'une algébrique, l'autre géométrique), l'analyse factorielle cherchera à vérifier si, au-delà d'une première composante principale forte représentant une aptitude mathématique générale, on trouvera deux facteurs après rotation, l'un représentant la dimension algébrique, l'autre la dimension géométrique. Le recours au coefficient alpha de Cronbach obéit aux mêmes préoccupations. Dans le premier cas de figure (tous les items sur une même dimension), on cherchera à vérifier que le coefficient obtenu est suffisamment élevé ; si tel n'est pas le cas, on cherchera à identifier le ou les items qui ne mesurent pas l'aptitude à évaluer. Dans le second cas de figure (l'épreuve est censée mesurer plusieurs dimensions), on calculera autant de coefficients qu'il y a de dimensions (et donc de regroupements d'items). Pour illustrer de manière simple ce type de raisonnement et à des fins strictement heuristiques, nous nous référerons au calcul de corrélations, même si cette technique n'est pas parfaitement appropriée pour l'analyse d'items. Admettons qu'une épreuve évalue deux dimensions : la corrélation de tous les items relatifs à une même dimension devrait être supérieure à celle entre les items relatifs à une dimension et ceux relatifs à une autre dimension. La difficulté de la validation empirique interne d'une épreuve élaborée selon l'approche par les compétences et constituée d'une ou plusieurs situations complexes est qu'il n'existe ni de dimension unique, ni d'un ensemble dénombré d'items censés la mesurer puisqu'il s'agit d'une production complexe : il n'y a donc pas de stratégie de réponse à l'item (tâche unique complexe) permettant de fonder les analyses de corrélation. La validation devrait pouvoir se fonder sur les critères d'évaluation, qui sont invariants aux situations d'une même famille, à l'inverse des indicateurs qui, pour la plupart d'entre eux, dépendent de chaque situation. Les critères sont les différents regards que l'évaluateur porte sur la production d'un élève ou les différentes qualités qui sont attendues de celle-ci. Dans l'approche classique des tests, il n'existe la plupart du temps qu'un seul critère : l'exactitude de la réponse. Face à une situation complexe, il n'existe pas de réponse unique et donc de "bonne" réponse. Pour évaluer celle-ci, il faut se référer à des critères : la production est-elle pertinente par rapport à la situation ? Est-elle complète ? Les outils utilisés (algorithmes, formules, règles...) sont-ils adéquats ? Sont-ils correctement utilisés ? La structure de la production est-elle cohérente ? La présentation de la production est-elle soignée ? etc. Chacun de ces critères pourra être opérationalisé dans une situation à travers des indicateurs qui sont des éléments directement observables, la plupart du temps spécifiques à la situation. Par exemple, le critère "Adéquation de la production à la situation de communication" sera vérifié si, face à une demande de renseignements relative à un itinéraire, l'élève indique effectivement un chemin à prendre, que celui-ci soit correct ou non, exprimé ou non dans le respect des règles grammaticales ou non , etc. Pour chaque compétence évaluée, il importe de déterminer les critères qui seront utilisés pour évaluer les productions des élèves (ceci fait partie du paramétrage). La validation des épreuves consistera à comparer diverses situations relatives à la même compétence : les élèves qui ont des scores élevés sur un des critères dans une situation devraient avoir des scores élevés sur le même critère dans une autre situation appartenant à la même famille, et inversement. Un premier type de stratégies est donc de vérifier que ce principe est respecté pour chacun des critères. Idéalement, il faudrait soumettre les mêmes élèves à un éventail de situations jugées équivalentes, c'est-à-dire paramétrées de la même façon Mais on sait que les épreuves construites selon l'approche par compétences exigent du temps et que l'on ne peut guère, dans beaucoup de cas, imposer aux mêmes sujets plus d'une épreuve sans introduire des biais (fatigue, démotivation, effet entraînement, moment de la passation, etc.) difficilement dissociables. Cependant, il est des cas où l'on peut raisonnablement présenter aux mêmes élèves deux (voire plus) épreuves aux mêmes élèves. Dans ce cas, on peut recourir aux modèles corrélationnels, en sachant que l'on ne corrèle plus des items deux à deux, mais des situations deux à deux en termes de maîtrise du critère concerné. Dans le schéma suivant, on peut comparer la démarche de validation dans l'approche classique et dans l'approche par compétences. Comme nous l'avons souligné antérieurement, on s'attend dans l'approche classique à obtenir des corrélations inter-items plus fortes dans les sous-matrices A1 et A2 (items appartenant à une même dimension) que dans la matrice B (items appartenant à des dimensions différentes). Dans l'approche par compétences, toutes les corrélations inter-situations à propos d'un même critère (A1 et A2) devraient être proches de 1 et supérieures à celles appartenant à des critères différents (B). Comme il est souvent impossible de soumettre les mêmes sujets à des situations strictement équivalentes, on peut recourir à des stratégies détournées à partir de situations rencontrées dans les pratiques. En effet, l'apprentissage dans le cadre de l'approche par compétences implique de présenter aux élèves des situations progressivement plus complexes : l'élève mobilise dans une situation X+1 des ressources déjà mobilisées dans une situation X. En termes de critères d'évaluation, deux cas de figure peuvent se présenter selon que les critères communs aux situations X et X+1 sont de même niveau d'exigence ou non (exemple pour ce dernier cas : dans le critère "correction orthographique ?t, on prend aussi en considération des règles plus complexes). Imaginons deux situations d'évaluation Sx et Sx+1 où C1(C2) de Sx est un critère de même niveau d'exigence que C'1 (C'2) de Sx+1, où C3 et C4 sont soit deux critères spécifiques à la situation Sx+1 ou bien représentent des niveaux d'exigence supérieurs à C1 et C2. Le schéma suivant représente respectivement les données à recueillir, les indices à calculer et les résultats attendus. Comme indiqué dans le schéma, on doit s'attendre à une maîtrise des critères communs en Sx+1 au moins égale à celle de Sx compte tenu de leur consolidation dans le temps. De même, les déviations standards ne devraient pas être supérieures en Sx+1, car une bonne appropriation des critères à travers le temps homogénéise les résultats. L'exemple suivant illustre bien ce phénomène : si l'on donne à un an d'intervalle des problèmes qui nécessitent le recours à une démarche d'addition, on doit s'attendre en Sx+1 à une performance meilleure (moyenne des élèves plus élevée) de tous (SD plus faible). C'est ce qui explique aussi que les corrélations sur un même critère entre les deux moments doivent être plus fortes que si les critères sont différents. 2.2.2. Validation empirique externe Les stratégies que nous venons de présenter sont des tentatives de validation empirique interne. Mais il peut être intéressant de recourir à des stratégies complémentaires de validation empirique externe, c'est-à-dire en recourant à des critères externes. De nombreuses possibilités existent qui peuvent être classées selon que les dispositifs impliquent des études comparatives ou corrélationnelles. Les études comparatives consistent à comparer un groupe expérimental (approche par compétences) à un groupe contrôle équivalent. Deux grands cas de figure peuvent exister pour constituer le groupe contrôle selon que l'approche par compétences est ou n'est pas généralisée. Lorsqu'elle n'est pas généralisée, il s'agit de constituer un échantillon comparable à l'échantillon expérimental en puisant dans les écoles où l'approche n'est pas en vigueur et où les enseignants n'ont pas encore été formés à l'approche (attention aux phénomènes de contamination). Lorsqu'elle est généralisée, le groupe contrôle est constitué d'élèves qui ont bien appris les ressources nécessaires à la résolution de la situation, mais n'ont pas encore appris à les mobiliser sur ce type de situation . Si les groupes expérimental et contrôle sont équivalents par ailleurs et qu'on leur présente une même situation, la maîtrise de chacun des critères évaluant la compétence concernée devrait être supérieure dans le groupe expérimental. Il peut être intéressant de construire une épreuve en deux parties : la première évalue les ressources nécessaires à la seconde ; cette dernière évalue la compétence. Au-delà d'une meilleure maîtrise de chaque critère de la deuxième partie, le groupe expérimental ne devrait idéalement pas être moins performant sur la première partie d'épreuve (ADEN & ROEGIERS, 2003 ; O/ DIDIYE, EL HADJ AMAR, GERARD & ROEGIERS, 2005 ; RAJONHSON, RAMILIJAONA, RANDRIANIRINA, RAZAFINDRALAMBO, RAZAFINDRANOVONA, RANOROVOLOLONA & GERARD, 2005). Alors que les études comparatives opèrent à partir de groupes d'élèves différents, les études corrélationnelles reposent sur des mesures répétées : un même groupe d'élèves est évalué sur une épreuve compétence et sur une ou plusieurs autres variables critères. La ou les variables critères sont censées connues comme ayant des relations suffisamment démontrées avec la compétence à valider. Ainsi, puisque être compétent implique de pouvoir résoudre des problèmes ou effectuer des tâches complexes, un élève très (peu) performant pour une compétence X a plus de chances d'être plus (moins) performant pour une compétence ou une variable critère pertinente Y. Il est d'ailleurs possible de prendre en considération plusieurs variables critères dont certaines sont plus proches et d'autres moins proches de la compétence à valider ; on vérifie alors si les résultats observés (maîtrise de chacun des critères d'évaluation de la compétence) sont conformes aux hypothèses. 3. La certification par la preuve d'une note chiffrée ? Toutes les stratégies proposées jusqu'à présent sont intéressantes dans le sens où elles constituent un faisceau d'indicateurs de validation (en termes d'enquête policière, ce sont des présomptions), mais elle ne constituent pas des preuves (elles ne permettent pas d'avoir la preuve de la culpabilité ou de l'innocence). En effet, si nous avons démontré que la maîtrise des ressources (validation par une approche classique) n'est pas suffisante, la maîtrise de chacun des critères d'évaluation d'une épreuve construite sur une approche par compétences (validation selon les stratégies énoncées ci-dessus) n'est pas encore suffisante. En effet, il n'est pas sûr que la maîtrise de chacun de ces critères soit la preuve de la maîtrise de la compétence visée, non seulement parce que celle-ci est de l'ordre du complexe et implique donc des dimensions dont on ne connaît guère le degré d'interrelations, mais aussi parce que son évaluation est relative aux critères utilisés (leur nombre, leur opérationalisation, leur statut). Cette question est d'autant plus cruciale lorsque l'on s'efforce à tenter de traduire le degré de maîtrise d'une compétence, évaluée sur la base d'une situation précise, en lui attribuant une note unique, comme le veulent la plupart des textes ministériels ou le souhaitent à des fins comparatives beaucoup d'experts. Lorsqu'il s'agit de traduire sur une échelle mathématique unidimensionnelle le degré de maîtrise à un ensemble d'items simples (la réussite à un item est approximativement comparable à la réussite à un autre item, comme cela est souvent le cas dans des QCM bien construits), nous disposons maintenant de modèles psychométriques performants (cf. "Response items theorie"). Dans ce cas, le résultat chiffré et la chose évaluée sont relativement isomorphes. Par contre, cette règle de l'isomorphisme n'est pas tenable lorsqu'on évalue une réalité multidimensionnelle, ce qui est le cas dans l'approche par compétences. Faut-il renoncer dans tous les cas à traduire en une note unique l'évaluation d'une compétence, ou plus exactement l'évaluation d'une performance complexe censée être le signe d'une compétence ? Ne peut-on trouver dans le cadre de l'évaluation certificative une stratégie sommative qui permette de fonder la décision de réussite ou d'échec ? L'enjeu est ici de taille puisqu'il s'agit d'une évaluation certificative et que celle-ci aboutit à prendre deux types de décision. Particulièrement importante, la première est dichotomique et consiste à certifier socialement la réussite ou la non-réussite ; accessoire à nos yeux, la seconde consiste à ranger les élèves par niveau de performance. La seconde nous intéresse peu pour de nombreuses raisons : l'impossibilité de vérifier que le rangement sur une échelle mathématique unidimensionnelle d'une performance multidimensionnelle est un rangement valide ; une telle opération correspond à un modèle sélectif inadéquat dans une pédagogie de la réussite, etc. Par contre, la première doit nous préoccuper au plus haut point et il faut donc s'interroger sur la signification de la décision réussite versus échec : c'est la question de la pertinence. 3.1. L'évaluation certificative pour décider la réussite ou l'échec La décision de faire réussir un élève sera pertinente si on peut certifier que l'élève maîtrise à un seuil suffisant les compétences minimales requises pour commencer avec fruit les apprentissages de l'année suivante ou, en cas de qualification, d'accomplir les tâches professionnelles pour lesquelles il a été formé (moyennement éventuellement un complément de formation sur le terrain). La décision sera valide si on peut démontrer que l'élève maîtrise effectivement ce qu'il est censé maîtriser. La décision sera fiable si celle-ci ne dépend pas de l'évaluateur ou des circonstances de l'évaluation. La validation d'une évaluation certificative passe donc d'abord par une évaluation a priori qui consistera à vérifier à l'aide d'experts si (1) l'évaluation certificative porte bien sur la ou les compétences minimales ; (2) on a bien distingué les critères d'évaluation minimaux du ou des critères de perfectionnement ; (3) on a déterminé adéquatement les seuils de maîtrise minimale. Dans le cadre scolaire, il faut ajouter une quatrième condition : (4) l'évaluation certificative d'une compétence ne peut être menée qu'une fois l'apprentissage totalement achevé. Cette dernière condition est fréquemment enfreinte : les enseignants utilisent des évaluations censées être formatives pour prendre leurs décisions certificatives, cette confusion des fonctions avantageant les élèves qui ont le moins besoin de l'action de l'enseignant au détriment des autres. Cette validation a priori de la pertinence peut faire l'objet d'une validation empirique externe. Dans ce cas, la variable critère est le fait que l'élève en question entame les apprentissages nouveaux ou la vie professionnelle sans ou avec problème. Les données d'une telle validation peut se mettre sous la forme du tableau suivant. Il existe une difficulté de taille à mettre en place un tel dispositif de validation empirique externe, puisqu'en principe l'élève qui échoue ne passe pas dans l'année suivante. La difficulté peut être contournée en choisissant des élèves qui ont bénéficié d'une décision de réussite abusivement (car l'évaluation certificative n'a pas porté sur un dispositif pertinent ) ; ceci suppose de les identifier sur la base de l'épreuve standard que l'on cherche à valider. La décision prise sur la base d'une situation X sera valide si la décision prise avec une situation Y ou Z, censée appartenir à la même famille de situations et évaluée dans les mêmes conditions, sera identique. Le tableau suivant illustre ce qui est attendu en cas de validité. La décision prise sur la base d'une situation X sera fiable si des évaluateurs différents prennent la même décision. Les données peuvent être recueillies et traitées comme suit. La fiabilité peut être vérifiée par un coefficient PHI de Guilford : celui-ci devrait tendre vers 1 (accord parfait pour l'ensemble des épreuves évaluées sur la base de la même situation X). Elle peut être vérifiée également par un coefficient d'accord de Cohen. Celui-ci varie de –1 (désaccord total : les évaluateurs prennent des décisions inverses pour tous les élèves) à +1 (accord total : les mêmes décisions pour tous les élèves) en passant par 0 (distribution aléatoire des accords et désaccords). Le coefficient K de Cohen devrait également tendre vers +1. 3.2. L'évaluation certificative pour attribuer une note Dans les paragraphes précédents, nous avons envisagé l'évaluation certificative sous forme de décision dichotomique. Peut-on tenter cependant d'établir une note qui à la fois respecte ce type de décision et tente de ranger les élèves les uns par rapport aux autres (en sachant que cette dernière opération n'est pas sans poser de nombreux problèmes) ? Nous avons tenté de le faire en étant soucieux de nous fixer des règles qui respectent avant tout la validité de la décision réussite – échec. Ces règles, dont les quatre premières ont déjà été énoncées, sont les suivantes : (1) l'évaluation certificative porte bien sur la ou les compétences minimales ; (2) les critères d'évaluation minimaux ont été identifiés et clairement distingués du ou des critères de perfectionnement ; (3) les seuils de maîtrise minimale ont été adéquatement précisés ; (4) l'évaluation certificative d'une compétence ne peut être menée qu'une fois l'apprentissage totalement achevé ; (5) 75% au moins de l'échelle des notes est réservée aux critères minimaux et 25% au plus aux critères de perfectionnement (règle des 3/4) ; (6) le seuil de maîtrise minimal pour un critère minimal est fixé à 2/3 : cette règle est basée sur le fait que, dans la majorité des cas, commettre une erreur sur trois (exemple : se tromper dans un calcul sur trois) n'est pas nécessairement le fait d'une non-maîtrise, mais peut être le fruit d'une distraction ou de tout autre facteur ; en prenant cette règle des 2/3, on essaie de minimiser les échecs abusifs ; (7) le seuil de la réussite est fixé à 50% de l'échelle des notes : en effet, 2/3 de 75% égalent 50% de l'échelle des notes ; par cette opération, on minimise les échecs et les réussites abusifs. Le tableau suivant illustre bien ces conditions. Niveaux de maîtrise Critères minimaux C1 C2 C3 Critères de perfectionnement C4 C5 Absence totale 0 0 0 0 0 Maîtrise partielle 2 2 2 1 0 Maîtrise minimale 4 4 4 2 1 Maîtrise maximale 5 5 5 3 2 TOTAL 15/20 5/20 Note : La maîtrise minimale des critères minimaux, indiquée en gras, entraîne une réussite (ici avec 12/20). La validation a priori consistera à vérifier que ces conditions sont bien remplies. Quant à la validation empirique, elle consistera à développer le type de démarches suivantes : (1) vérifier qu'on a bien une distribution en J et non une distribution gaussienne ; si tel n'est pas le cas, on peut douter du respect de certaines conditions (tout particulièrement les quatre premières) ; ceci serait un manque de pertinence ; (2) comparer les distributions des résultats des mêmes élèves (ou éventuellement de deux échantillons d'élèves appareillés) évalués sur une situation X et une autre situation Y appartenant à une même famille de situations (cf. modèles statistiques dits d'ajustement) et calculer la corrélation entre les deux distributions (elle devrait tendre vers +1) ; (3) étudier la corrélation entre la distribution des résultats sur la situation X avec les résultats obtenus avec une ou plusieurs variables critères (validation empirique externe) ; (4) calculer des coefficients de fiabilité (corrélations) entre les notes attribuées par des évaluateurs deux à deux ou un coefficient de concordance de Kendall. D'autres procédures sont susceptibles d'être dérivées de celles-ci. L'une d'entre elles est particulièrement utile au praticien, dans le cas où l'évaluation ne serait pas définitive Elle consiste à distinguer quatre catégories d'élèves : les élèves en très grande difficulté, voire à réorienter (maîtrise inférieure à 25% par exemple) ; les élèves en difficulté et auxquels des remédiations s'imposent pour leur permettre de passer le seuil de réussite (entre 25 et 49% par exemple) ; les élèves ayant réussi mais nécessitant une consolidation (entre 50 et 74% par exemple) ; les élèves sans aucun problème (plus de 75%). Si l'on soumet ses élèves à deux situations de la même famille, on obtient un tableau du type de suivant. Non seulement, ce tableau permet une validation, mais fournit une aide diagnostique à l'enseignant dans la mesure où l'évaluation certificative n'est pas encore définitive. En effet, une pédagogie de la réussite suppose que l'enseignant et l'élève fassent tout ce qui est en leur pouvoir pour acquérir un niveau de compétence au moins supérieur au seuil de réussite. 4. Conclusions La validation d'épreuves construites en cohérence avec l'approche par compétences est loin d'être un problème résolu de façon satisfaisante. Les propositions faites dans cet article ne sont que des approches du problème à résoudre. Pour reprendre l'exemple de l'enquête policière, nous n'avons pas de preuve, car le coupable n'a ni été pris sur le fait ni avoué. Nous n'avons qu'un faisceau de présomptions plus ou moins fortes. C'est bien comme cela qu'il faut comprendre nos propositions. Peut-on espérer un jour disposer d'une édumétrie satisfaisante pour évaluer des compétences complexes ? Rien n'est moins sûr dans l'état actuel de nos connaissances. Faut-il pour autant se résigner à n'évaluer que les ressources apprises (savoir-reproduire et savoir-faire élémentaires), puisque celles-ci sont évaluables de façon valide et fiable ? La tentation est forte, car l'arsenal technique est bien au point. Et on connaît l'attrait, le sentiment de puissance et de sécurité, l'impression de scientificité que procure la manipulation de techniques sophistiquées. Dans cet article, nous défendons avec force le principe que la pertinence est première par rapport à la validité et à la fiabilité. Ces dernières sont évidemment importantes à nos yeux, mais on ne peut s'en contenter : former un chasseur compétent implique qu'il soit apte à faire un tir groupé au centre de la cible mobile, et non simplement au centre de la cible fixe. En attendant une édumétrie plus adéquate pour évaluer la résolution de problèmes complexes ou la réalisation de tâches complexes (fondement de la notion de compétence), il nous semble important, à l'image de l'enquêteur sans preuve flagrante, d'adopter une série de stratégies qui constituent un faisceau d'indices suffisants de la valeur de nos épreuves d'évaluation (à la fois pertinentes, valides et fiables). Bibliographie ADEN, H.M. & ROEGIERS, X. (2003), À quels élèves profite l'approche par les compétences de base ? Étude de cas à Djibouti. Inédit accessible sur http://www.bief.be. BLOOM, B.S., HASTINGS, J.Th.H. & MADAUS, C.F. (Eds) (1971). Handbook on formative and summative evaluation of student learning, New York. CARDINET, J. (1973). L'adaptation des tests aux finalités de l'évaluation, Les sciences de l'Éducation – Pour l'ère nouvelle. N°2-3 (1973), 148-182. CARDINET, J. & TOURNEUR, Y. (1985). Assurer la mesure, Berne – Francfort-s.Main – New York : Peter Lang. CARVER, R.P. (1974). Two dimensions of tests: psychometric and edumetric. American Psychologist 29:512-518. CRAHAY, M. (1996). Peut-on lutter contre l'échec scolaire ?, Bruxelles : De Boeck Université. DE KETELE, J.-M. (1993a). L'évaluation conjuguée en paradigmes, Revue Francaise de Pédagogie, 103, 59-80. DE KETELE, J.-M. (1993b). Objectifs terminaux d'intégration et transfert des connaissances, in HIVON, R. (éd.) L'évaluation des apprentissages. Réflexions, nouvelles tendances et formation, Sherbrooke (Canada) , CRP, chap 1, 15-26. DE KETELE, J.-M. (2000). En guise de synthèse : Convergences autour des compétences, in BOSMAN, C., GERARD, F.-M., ROEGIERS, X. (EéLds). Quel avenir pour les compétences ? Bruxelles : De Boeck Université, pp.187-191. DE KETELE, J.-M. (2001a). Place de la notion de compétence dans l'évaluation des apprentissages, in FIGARI, G., ACHOUCHE, M. (EéLds). L'activité évaluative réinterrogée. Regards scolaires et socioprofessionnels. Bruxelles : De Boeck Université, pp. 39-43. DE KETELE, J.-M. (2001b). Enseigner des compétences : repères in JADOULLE, J.-L. & BOUHON, M. (Eds). Développer des compétences en histoire, Louvain-la-Neuve-Bruxelles : Université catholique de Louvain et Ministère de l'Éducation, de la Recherche et de la Formation, 13-22. DE KETELE, J.-M., CHASTRETTE, M., CROS, D., METTELIN, P. & THOMAS J. (1988). Guide du formateur, Bruxelles : De Boeck Université. DE KETELE, J.-M. & DUFAYS, J.-L. (2003). Vers de nouveaux modes d'évaluation des compétences, in COLLES, L., DUFAYS, J.-L. & MAEDER, C., Enseigner le français, l'espagnol et l'italien, Les langues romanes à l'heure des compétences, Bruxelles-Paris : Éditions De Boeck Duculot, 171-182. DE KETELE, J.-M. & ROEGIERS, X. (1991, 2e éd. 1993). Méthodologie du recueil d'informations, Bruxelles : De Boeck Université. de LANDSHEERE, G. (1980). Examens et évaluation continue. Précis de docimologie, Bruxelles-Paris : Labor-Nathan. DOLZ, J. & OLLAGNIER, E. (EéLds) (2002). L'énigme de la compétence en éducation, Bruxelles : De Boeck Université. FINDLEY, W. G. (1956). A rationale for evaluation of item discrimination statistics, Educational and Psychological Measurement, 16, 175-180. FOUREZ, G. (1999). Compétences, contenus, capacités et autres casse-têtes, Forum des pédagogies, mai, 26-31. GERARD, F.-M. (2000). Savoir, oui... mais encore !, Forum - pédagogies, mai 2000, 29-35. GERARD, F.-M. (2001). L'évaluation de la qualité des systèmes de formation, Mesure et EéLvaluation en EéLducation, Vol. 24, nééq2-3, 53-77. GERARD, F.-M. (2002). L'indispensable subjectivité de l'évaluation, Antipodes, nééq156, avril 2002, 26-34. GERARD, F.-M. (2005), Évaluer des compétences, ou ne pas se tromper de cible, Liaisons, n°40, Février 2005, Beyrouth, Liban, 7-9. GERARD, F.-M. & BRAIBANT, J.-M., (2003). Activités de structuration et activités fonctionnelles, même combat ? Le cas de l'apprentissage de la compétence en lecture à l'école primaire, Francais 2000, n°190-191, Avril 2004, 24-38. JONNAERT, Ph. (2002), Compétences et socioconstructivisme - Un cadre théorique, Bruxelles : De Boeck. LASNIER, F. (2000). Réussir la formation par compétences, Montréal : Guérin. LAVEAULT, D. & GREGOIRE, J. (1997, 2e éd. 2002). Introduction aux théories des tests en psychologie et en sciences de l'éducation, Bruxelles : De Boeck Université. LE BOTERF, G. (1994). De la compétence. Essai sur un attracteur étrange. Paris : Éditions de l'organisation. LEGENDRE, M.-F. (2001). Sens et portée de la notion de compétence dans le nouveau programme de formation. Revue de l'AQEFLS, 23(1), 12-30. O/ DIDIYE, D., EL HADJ AMAR, B., GERARD, F.-M. & ROEGIERS, X. (2005). Étude relative à l'impact de l'introduction de l'APC sur les résultats des élèves mauritaniens, Inédit, accessible sur http://www.bief.be. PERRENOUD, Ph. (1997). Construire des compétences dès l'école. Paris : ESF. POIRIER PROULX, L. (1999). La résolution de problèmes en enseignement. Cadre référentiel et outils de formation. Bruxelles : De Boeck Université. RAJONHSON, L., RAMILIJAONA, F., RANDRIANIRINA, P., RAZAFINDRALAMBO, M.H., RAZAFINDRANOVONA, O., RANOROVOLOLONA, E. & GERARD, F.-M. (2005). Premiers résultats de l'APC : invitation à continuer..., Inédit, accessible sur http://www.bief.be. RAYNAL, F. & RIEUNIER, A. (1997, 4e éd. 2003). Pédagogie : dictionnaire des concepts clés, Paris : ESF éditeur. REY, B. (1996). Les compétences transversales en question. Paris : ESF. REY, B., CARETTE, V., DEFRANCE, A. & KAHN, S. (2003). Les compétences à l'école — Apprentissage et évaluation, Bruxelles : De Boeck. ROEGIERS, X. (2000). Une pédagogie de l'intégration. Bruxelles : De Boeck. ROEGIERS, X. (2003), Des situations pour intégrer les acquis, Bruxelles : De Boeck. SCALLON, G. (2004). L'évaluation des apprentissages dans une approche par les compétences. Bruxelles : De Boeck Université. SCRIVEN, M. (1967). The methodology of evaluation, AERA Monograph Series on Curriculum Evaluation, 1, Chicago, Rand McNally. TARDIF, J. & al. (1995). Le développement des compétences, cadre conceptuel pour l'enseignement, in GOULET, J-P. Enseigner au collégial. Montréal : Association québecquoise de pédagogie collégiale, p. 157-168. TILMAN, F. (2000), Qu'est-ce qu'une compétence ?, Exposant neuf, n°2/2000, 28-31. Ces ressources regroupent à la fois des ressources internes à la personne et des ressources externes (GERARD & BRAIBANT, 2004) : • les ressources internes appartiennent en propre à un individu donné et guident son action pour résoudre la situation-problème. Il s'agit essentiellement de savoir-reproduire, de savoir-faire et de savoir-être qui peuvent tous trois s'exercer dans les domaines cognitif, psycho-sensori-moteur ou socio-affectif (GERARD, 2000, 2001) ; • les ressources externes sont quant à elles tout ce qui pourra être mobilisé en dehors de la personne. Elles concernent dès lors des ressources matérielles (un outil, un texte...), des ressources sociales (une réunion, un réseau de relations...), des ressources procédurales (un algorithme, un règlement...), etc. Si les définitions du concept de compétence présentent quelques différences (exemple : savoir agir pour les uns ; potentialité pour les autres), elles convergent cependant sur le fait que la personne compétente est en mesure de mobiliser les ressources pertinentes pour résoudre un certain type de problèmes ou effectuer un certain type de tâches complexes. Ce qui explique qu'il est difficile de proposer plus qu'une ou deux situations. Le terme d'analyse factorielle est un terme générique fréquemment utilisé qui masque la différence trop peu connue entre la signification d'une composante principale et d'un facteur. Dans le cas présent, c'est la première composante principale qui est la plus adéquate pour mesurer l'aptitude scolaire globale mesurée par l'épreuve. Ceci est l'illustration d'une règle importante : l'indépendance des critères d'évaluation. Le principe méthodologique de l'approche par les compétences de base est d'apprendre, de manière relativement classique, les différentes ressources relatives à une compétence durant, par exemple, 5 semaines. Ensuite, une semaine sera consacrée à l'intégration des ressources : face à des situations complexes, les élèves apprendront à identifier quelles ressources sont nécessaires pour résoudre la situation et à les mobiliser de manière intégrée pour résoudre celle-ci. (ROEGIERS, 2000 ; REY, CARETTE, DEFRANCE & KAHN, 2003 ; GERARD & BRAIBANT, 2004). Ceci est en lien avec l'inévitable et nécessaire subjectivité de l'évaluation (GERARD, 2002). Pour des raisons historiques (les travaux de SCRIVEN et de BLOOM notamment), une confusion continue à régner, même chez de nombreux experts actuels, entre les fonctions de l'évaluation et les démarches de l'évaluation. L'évaluation peut servir des fonctions d'orientation (décisions relatives à une nouvelle action à entreprendre), de régulation (décisions relatives à l'amélioration de l'action en cours comme dans l'évaluation dite formative) et de certification (décisions relatives à des objectifs de reconnaissance sociale et administrative). Chacune de ces fonctions peut être réalisée avec l'une ou l'autre des démarches suivantes : descriptive (je décris des faits, des performances...) ou sommative (je somme mathématiquement des faits, des performances...) ou herméneutique (je donne du sens intuitivement à un faisceau de signes). La confusion vient de l'assimilation abusive de l'évaluation certificative et de l'évaluation sommative, comme si la première ne pouvait se faire que par une méthodologie sommative. Accessoire à nos yeux, mais pas aux yeux de beaucoup de parents. À nos yeux, l'évaluation certificative sera d'autant meilleure que l'on aura identifié une macrocompétence qui oblige l'élève à mobiliser l'ensemble des compétences minimales requises : nous appelons celle-ci un objectif terminal d'intégration (DE KETELE, 1993a et b). Un critère est minimal s'il doit absolument être maîtrisé pour certifier la réussite de la compétence, alors qu'un critère de perfectionnement ne doit pas absolument être maîtrisé : c'est mieux s'il l'est, mais ce n'est pas indispensable. Par exemple, dans le cas de l'évaluation d'une compétence de résolution de problèmes mathématiques, le critère "Utilisation correcte des outils de la discipline" serait un critère minimal, alors que la "Qualité de la présentation" serait un critère de perfectionnement. Il s'agit en réalité d'une décision des évaluateurs, préalable à l'évaluation, et qui fait partie du paramétrage de la famille de situations. Cette situation est fréquente dans les pays où la variance interécoles est forte. On parle d'échec abusif quand un élève échoue non pas en raison de sa non-maîtrise des compétences minimales requises, mais du fait du système d'évaluation lui-même : il échoue alors qu'il ne le devrait pas, car il aurait pu très bien suivre les apprentissages de l'année suivante. Si un élève réussit alors qu'il ne le devrait pas, on parle de réussite abusive : sa-non maîtrise des compétences de base requises ne lui permet pas d'entamer les apprentissages fondamentaux de l'année suivante. DOCUMENT 17 DOCUMENT 18 DOCUMENT 19 DOCUMENT 20 DOCUMENT 21 DOCUMENT 22 DOCUMENT 23 Le Français 2-Présentation du cycle 2-1 -Les contraintes : Quatre impératifs ont orienté la réflexion de la commission : le profil de sortie du cycle primaire, les besoins du cycle collégial lui-même tels que la charte et le document cadre en ont déterminé la place et les fonctions, les attentes du cycle qualifiant auquel le collège doit préparer en optimisant les chances de réussite du futur lycéen, et les attentes de la formation professionnelle qui accueillera une partie des collégiens à la fin du cycle. 2-2 - les périodes et leurs contenus : La période organise les apprentissages de manière progressive et convergente. Ces derniers sont articulés au moyen des entrées suivantes : Une entrée par genres pour préserver l’unité de la période et garantir pertinence, clarté et crédibilité des compétences, sans toutefois tomber dans la généralisation ou dans la parcellisation des formulations; Une entrée par Compétences autour de ‘’l’unité générique’’ qui fait correspondre à chaque genre les capacités les plus appropriées, compte tenu de la place du cycle dans le cursus scolaire ; Des entrées par domaine d’apprentissage (lire, écouter/s’exprimer, écrire) pour préserver la spécificité pédagogique de la matière et justifier ou faciliter les choix didactiques. Des propositions d’activités personnalisées (afin de favoriser l’initiative du professeur, ou celle de l’élève ou du groupe-classe) 2-3 - les compétences générales du cycle : A l’issue du collège, l’élève doit être capable de comprendre et d’analyser différentes formes simples du discours telles que : les formes simples du récit, dont le récit de vie, le texte descriptif, le discours des médias, le texte théâtral, la poésie, les formes épistolaires, et le roman L’élève doit être également capable d’appréhender et de produire, oralement et par écrit, des messages et des énoncés de plus en plus complexes en respectant : les normes lexicales et morphosyntaxiques de référence, les codes qui lui permettent d’acquérir une compétence textuelle et, progressivement, les codes et les normes discursifs, les codes sémantiques et communicatifs fonctionnels, dont les actes de parole. L’apport en notions indique les moyens grammaticaux, sémantiques et fonctionnels dont la maîtrise ne saurait être dissociée de l’ensemble des stratégies, moyens et activités visant l’acquisition des compétences. 2-4 - les domaines d’apprentissage Les compétences générales sont déclinées à l’intérieur des périodes sous forme de compétences plus spécifiques, selon les domaines d’apprentissage retenus, à savoir écouter/s’exprimer, lire et écrire. La période est gérée selon un ordre progressif de difficulté. A chaque période semestrielle correspond une compétence globale (ou complexe) considérée comme dominante. Elle détermine la proposition des notions grammaticales et sémantiques à maîtriser au cours de la même période, sachant que les acquis d’une période devront être réinvestis dans la suivante. Chaque période assure l’acquisition de capacités convergentes et progressives : la compréhension, la maîtrise de l’analyse et la production-appropriation d’un type de texte ou d’un genre de discours. N.B. : Etant donné le caractère transversal de la poésie et son utilité dans l’apprentissage récréatif, culturel et esthétique de la langue, il est recommandé de prévoir quatre poèmes par période (jeux, mémorisation, étude, etc.) Ce qui devrait faire pour l’ensemble du collège un total minimal de 24 poèmes). 3. PREMIERE PERIODE : FORMES SIMPLES DU RECIT Lire : - Reconnaître le récit dans différents types d’écrits et de documents : - la presse écrite, - le conte, - la nouvelle, - la bande dessinée, - l’affiche - etc. - Identifier un passage narratif et en dégager la structure ; - S’initier aux techniques de la narration : - situer une action dans le temps. - établir une chronologie différente selon le personnage et selon les règles de l’intrigue, etc. Ecrire : - Produire un récit à partir d’une bande dessinée ; - Réécrire un récit (une fable, un conte…) : - Reconstituer un récit, - compléter un récit, - raconter à sa manière un conte traditionnel, - écrire à partir d’une affiche … - Projet de classe : atelier d’écriture autour d’un conte. Ecouter / s’exprimer : - Raconter un événement ; - Comprendre un récit oral à partir d’indicateurs temporels … - Ecouter et restituer oralement un récit …. - Lire de manière expressive un conte, des poèmes à dominante narrative… Langue et grammaire : Le groupe verbal : - Verbe et compléments : - verbes sans compléments - verbes à un complément - verbes à deux compléments - verbes à plus de deux compléments - Critères de reconnaissance des compléments : - La conjugaison des verbes irréguliers - L’expression lexicale de l’aspect Langue et communication : - Indiquer un point du temps - Désigner un moment - Ordonner des faits de manière chronologique - Actions ponctuelles et actions continues - Un aspect du discours du conte : la prescription 4- DEUXIEME PERIODE LE NARRATIF ET LE DESCRIPTIF Lire : - Distinguer un passage narratif d’un passage descriptif dans une nouvelle - Dégager les caractéristiques essentielles d’une description - Comprendre les rapports entre la narration et la description - Etudier le récit dans la fable (la composition de la fable, la moralité, les personnages, etc.) - Etudier quelques poèmes narratifs Ecrire - Décrire un personnage, un lieu, un paysage (dans une intention donnée) ; - Enrichir un conte par des descriptions - (Re)écrire une fable - Rendre compte d’une sortie, d’une enquête … - Jeux et créations poétiques Ecouter / s’exprimer - Lecture expressive d’une fable, d’un récit ; - Raconter une fable ; - Ecouter/restituer une chanson ; - Montages poétiques (jouer avec une chanson, etc.) Langue et grammaire Le groupe nominal : - Les déterminants : l’article, l’adjectif possessif, l’adjectif démonstratif, l’adjectif exclamatif, l’adjectif interrogatif, l’adjectif numéral. - Les expansions : l’adjectif qualificatif, le complément de nom et la subordonnée relative - Les catégories du genre, du nombre et de la personne - L’orthographe des noms composés - L’orthographe d’usage - La synonymie, l’homonymie, l’antonymie… Langue et communication : - Décrire en énumérant - Décrire pour mettre en valeur - Localiser dans l’espace - Décrire en établissant des rapports analogiques : la ressemblance et la différence ; la préférence, le choix, l’égalité, l’infériorité, la supériorité ; la gradation croissante et la gradation décroissante ; - Désigner quelqu’un ou quelque chose au hasard … 5- TROISIEME PERIODE LIRE LES MEDIAS Lire - Reconnaître et classifier les différents médias (supports, fonctions…) - Reconnaître et expliquer différentes formes d’écrit dans un journal : l’éditorial, l’article, le fait divers, le reportage, le courrier des lecteurs… - Identifier et analyser les caractéristiques générales d’un texte journalistique Ecrire - Elaborer un journal à partir d’articles recueillis dans des journaux différents, - Rédiger un fait divers d’après un canevas ou un modèle ; - Ecrire la ‘’UNE’’ d’un journal - Projet de classe : élaborer un journal de classe. Ecouter / s’exprimer - Jouer au journaliste - Comprendre une séquence radiophonique - Micro trottoirs (hors classe + compte rendu) - Préparer et réaliser une entrevue (interviewer un camarade, un responsable du collège, etc) ; - Poésie : étude et récitation de poèmes. Langue et grammaire - Le groupe adjectival : - l’adverbe + l’adjectif qualificatif - l’expression de l’intensité - les adjectifs de couleurs - les adjectifs composés - l’orthographe de l’adjectif (genre et nombre) - Si + adjectif + que - Tellement + adjectif + que - Trop / assez + adjectif + pour - La dérivation + adjectif objectif / subjectif - Les verbes d’opinion Le discours rapporté : - Les verbes introducteurs ; - Les transpositions du temps ; - L’emploi du conditionnel et du subjonctif. Langue et communication - La politesse / la déférence : possessif (mon lieutenant, Sa Majesté, Son Excellence, votre honneur,….) + autres moyens ; - Exprimer la quantité ( déterminée, indéterminée) - Qualifier des manières de faire - Accepter, refuser, avertir, mettre en garde - Juger, apprécier, critiquer - Exprimer un choix ; - Rappeler, annoncer une idée 6- QUATRIEME PERIODE LIRE UN TEXTE THEATRAL Lire : - Reconnaître Les personnages - Reconnaître Les lieux et l’espace théâtral (décor, mise en scènes) - Distinguer les genres (comique/tragique) - Distinguer les formes du discours théâtral (dialogue/monologue ; la réplique, la tirade) - Reconnaître les indications scéniques et subdivisions (scène, tableau, acte….) Ecrire : - Ecrire un dialogue - Ecrire un monologue, - Réécrire une page de roman en une scène - Atelier d’écriture : écrire une scène, un tableau Ecouter/s’exprimer - Atelier théâtre - la mémorisation - la diction et le non verbal - les jeux des rôles - Représentation(s) théâtrale(s) - Saisir les spécificités d’un échange verbal (syntaxe, ton, lexique, niveau de langue….) - Poésie et théâtre Langue et grammaire - Les modalités de la phrase (exclamation, interrogation, etc.) - La complétive - la complétive par QUE (indicatif, subjonctif) - style direct / style indirect - la complétive infinitive (verbe de perception/sujet spécifié) - Les déictiques - les registres - Lexique thématique Langue et communication - Apostropher, interpeller - Autoriser, promettre, suggérer - Exprimer une remarque, une observation, un reproche, une constatation - Exprimer une opinion, un désaccord, la certitude et l’incertitude (degrés) 7- CINQUIEME PERIODE LA CORRESPONDANCE ET LE RECIT DE VIE Lire - La correspondance : - littéraire - personnelle - administrative et conventionnelle Le récit de vie - la biographie, - l’autobiographie - le journal intime - les mémoires Ecrire - Ecrire (ou répondre à …) - une lettre de circonstance (vœux, condoléances,….) - une lettre de réclamation - des demandes : d’information, d’inscription… - Pages d’un journal intime, écrire à propos d’un souvenir - Rédiger un CV Ecouter/s’exprimer - Parler de soi en public - Faire une réclamation oralement - Imaginer une page de journal intime et la lire en classe Langue et grammaire - L’expression du sentiment : - le lexique - les modalisations… - La subordonnée relative : - la relative substantive avec antécédent - la relative adjective avec antécédent - l’expression de la circonstance - lexique thématique Langue et communication - Caractériser un objet, un lieu, un processus …. - Se situer, localiser dans le discours et dans l’espace ; - Rapporter un discours - Exprimer un sentiment 8- SIXIEME PERIODE L’ETUDE D’UNE ŒUVRE Lire : - Paratextes, extraits, lectures hors classe + projet - Suivre un personnage - Histoire/narration - Narrateur/auteur/personnage - Suivre l’itinéraire d’une idée et son développement en fonction de l’intrigue Ecrire - Raconter pour informer, pour témoigner - Elaborer une fiche de lecture motivée - Défendre un point de vue à partir d’une situation donnée (contexte du roman : justifier l’action d’un personnage) - Ecrire pour persuader (en mettant en valeur l’intention, les modalisations et les implications possibles de la position de l’élève-auteur) Ecouter / s’exprimer - Rendre compte d’un chapitre - Rendre compte d’une lecture complémentaire - Défendre oralement un point de vue. - Débattre (condamner ou défendre un personnage) Langue et grammaire - L’expression de la coordination - Les subordonnées circonstancielles (causales, consécutives, temporelles, finales, comparatives, concessives, conditionnelles) - Lexique : champs sémantiques à partir de l’œuvre étudiée Langue et communication - Raisonner à partir d’une hypothèse émise (l’implication, l’explication, l’hypothèse, l’exemplification et la conclusion - Situer une action dans le temps réel et romanesque (dire et analyser l’événement, ses causes et ses implications par des moyens logiques et linguistiques appropriés) Quelques opérations logiques et sémantiques nécessaires : la concession, l’inclusion, l’exclusion, la persuasion, etc. DOCUMENT 24 LANGUE FRANCAISE CADRE REFERENTIEL POUR L’EVALUATION CERTIFICATIVE EXAMEN NORMALISE REGIONAL DE LA TROISIEME ANNEE DU CYCLE SECONDAIRE COLLEGIAL Les priorités de l’enseignement de la langue française sont définies selon la progression suivante : • Les cycles primaires sont consacrés à l’initiation à la langue (compétence communicative de base, prise de conscience progressive du fonctionnement de certains mécanismes de la langue, etc.) • Le collège vise la consolidation et l’approfondissement des acquis ainsi que l’appréhension consciente du fonctionnement de la langue (grammaire, formes simples du discours, communication, etc.) • Le lycée est le lieu du perfectionnement et de la maîtrise du français (compétence communicative, français fonctionnel, formes et techniques littéraires, etc.) A l’issue du collège, l’élève doit être capable de comprendre et d’analyser différentes formes simples du discours, d’appréhender et de produire, oralement et par écrit, des messages et des énoncés de plus en plus complexes. L’enseignement collégial permet d’approfondir et de consolider les acquis du primaire et de préparer l’apprenant à la poursuite des études secondaires (au cycle qualifiant) et à la vie active . L’évaluation des apprentissages devrait tenir compte des compétences visées par les activités d’enseignement/apprentissage et des valeurs concernant les choix et les orientations pédagogiques: Les compétences Les valeurs : . La compétence communicative ( utilisation de la langue , adaptation des discours aux situations de communication ,etc.) . La compétence culturelle ( culture générale, faits civilisationnels, etc.) . La compétence stratégique ( connaissance de soi et d’autrui, situation par rapport à l’environnement social, attentes, attitudes et représentations,etc.) . La compétence méthodologique (organisation du travail, gestion du temps et des tâches, méthodes de pensée,etc.) . Valeurs de la foi musulmane . Valeurs de l’identité nationale (culture et civilisation) . Valeurs de citoyenneté . Valeurs des droits de l’homme et de leurs principes universels. L’évaluation des apprentissages dans le cadre de l’examen normalisé régional concerne les domaines suivants : • Compréhension de l’écrit : 25% • Langue et communication : 25% • Production écrite : 50% Etant donné la diversité des manuels en vigueur, l’épreuve de l’examen normalisé régional tiendra compte des compétences, des valeurs et des domaines d’apprentissage cités ci-dessus, ainsi que des indications contenues dans les tableaux suivants : Document 25 Document 26 Source : http://www.segec.be DOCUMENT 27 Critères 3 points 2 points 1 point 0 point Note (continu) Note (interaction) Expression en continu S’exprime de façon construite, avec une certaine aisance. Capable de réagir à une demande de reformulation ou de précision. Parvient à s’exprimer de façon intelligible et cohérente mais manque d’aisance, L’expression est très limitée, faite d’énoncés décousus, mais compréhensibles. Ne s’exprime pas ou de manière incompréhensible. /3 x 2 = 6 points Prendre part à une conversation L’élève est capable de participer à l’échange et de réagir aux sollicitations de l’interlocuteur. Il peut dire qu’il n’a pas compris ou demander à l’interlocuteur de répéter. L’élève effectue les tâches demandées, mais a souvent besoin d’être guidé et aidé par l’interlocuteur. L’échange est très limité. L’élève ne parvient pas à effectuer toutes les tâches demandées. Ne s’exprime pas ou de manière incompréhensible, malgré les sollicitations de l’interlocuteur. Ne comprend pas l’interlocuteur. /3 x 2 = 6 points Phonologie S’exprime avec une certaine aisance et de façon toujours suffisamment claire pour être compris, même s’il doit parfois répéter. S’exprime de façon assez claire pour être compris. Doit parfois répéter un mot ou un énoncé. L’élève est souvent difficile à comprendre. Il faut souvent le faire répéter. La prononciation est telle que le message est souvent incompréhensible. /3 x 1 = 3 points /3 x 1 = 3 points Richesse de la langue Emploie le vocabulaire et les structures qui permettent d’effectuer les tâches demandées, malgré des lacunes ou des confusions. Est capable d’utiliser une périphrase. Dispose d’un vocabulaire et de structures limités, mais suffisants pour effectuer les tâches malgré des lacunes, Vocabulaire et structures très limités, avec beaucoup de maladresses et de répétitions. Vocabulaire et structures très pauvres, qui ne permettent pas d’effectuer les tâches demandées. /3 x 1 = 3 points /3 x 1 = 3 points Correction de la langue Emploie correctement un certain nombre de structures élémentaires. Commet encore des erreurs, même sur des formes simples, mais celles-ci ne gênent pas la compréhension Beaucoup d’erreurs, mais qui ne gênent pas la compréhension. Beaucoup d’erreurs qui, dans certains cas, gênent la compréhension. Les erreurs rendent le message inintelligible. /3 x 1 = 3 points /3 x 1 = 3 points Source : Académie de Créteil, inspection pédagogique régionale (Allemand) Document 28 Source : Centre de ressources de langues, Strasbourg DOCUMENT 29 L'évaluation des compétences à travers des situations complexes François-Marie GERARD Directeur adjoint du BIEF - Place des Peintres, 5 - B 1348 LLN - fmg@bief.be Références : GERARD, F.-M. (2005), L'évaluation des compétences à travers des situations complexes, Actes du Colloque de l’Admee-Europe, IUFM Champagne-Ardenne, Reims, 24-26 octobre 2005. Téléchargez ici l'article en format . 1. Nécessité et difficultés des épreuves par situations complexes L’approche par les compétences, aujourd’hui largement promue dans de nombreux systèmes éducatifs, vise à rendre les élèves capables de mobiliser leurs savoirs et savoir-faire pour résoudre des situations-problèmes (Le Boterf, 1994 ; Rey, 1996 ; Crahay, 1997 ; Perrenoud, 1997 ; Fourez, 1999 ; De Ketele, 2000, 2001 b ; Roegiers, 2000, 2003 ; Tilman, 2000 ; Legendre, 2001 ; Dolz & Ollagnier, 2002 ; Jonnaert, 2002). Dans cette perspective, l’évaluation des acquis des élèves prend une nouvelle dimension : l’élaboration des outils d’évaluation ne peut plus se limiter à prélever un échantillon de contenus et/ou d'objectifs spécifiques et opérationnels représentatif de l'univers de référence en termes de contenus ou d’objectifs, mais propose une ou des situations complexes, appartenant à la famille de situations définie par la compétence, qui nécessitera (ont) de la part de l’élève une production elle-même complexe pour résoudre la situation. (De Ketele, 2001 a ; Roegiers, 2004 ; Rey, Carette, Defrance & Kahn, 2003 ; Scallon, 2004 ; De Ketele & Gerard, 2004 ; Gerard, 2005). L’élaboration, l’utilisation et la validation de tels outils ne sont pas sans difficulté (De Ketele & Gerard, 2004) : • la théorie classique des scores ou les théories de réponse à l’item sont fondées en grande partie sur le postulat d’une distribution normale des résultats et sur l’unidimensionnalité du trait mesuré, ce qui est peu compatible avec une évaluation par situations complexes qui inévitablement exigeront de la part des élèves une production elle-même complexe et flexible, non réductible à une seule et unique démarche ni à un seul et unique produit ; • l’équivalence des situations, leur appartenance à une même famille de situations, n’est évidente ni au moment de leur construction ni pour leur validation. Encore faudrait-il que les auteurs s’entendent sur le concept de « famille de situations », ce qui est loin d’être le cas. Crahay et Detheux (2005) relèvent qu’une conception serait de considérer « qu’une famille de situations correspond à un ensemble de tâches ou de problèmes qui partagent en commun le fait d’être résolus par une (ou un ensemble spécifié de) procédure(s) spécifique(s) et ceci, quelles que soient les caractéristiques de surface ». Cette conception se fonderait sur la relation famille de situations X -> procédure de type X, mais – comme les auteurs le soulignent – « face à certains problèmes, il n’existe pas d’algorithmes de résolution ». C’est justement pour cela que la situation est complexe et nécessite une véritable compétence pour pouvoir la résoudre, celle d’analyser la situation, d’identifier et de mobiliser des ressources pertinentes – qui peuvent être différentes selon les élèves – et de les articuler entre elles de manière inédite, ponctuelle et éphémère et souvent propre à chaque individu ; • les exigences de validité et de fiabilité des épreuves d’évaluation nécessitent de prendre en compte la représentativité de l’échantillon des questions par rapport à l’univers de référence : représentativité en termes de nombres d’items, mais aussi en termes de recouvrement qualitatif des différentes strates contenues dans l’univers de référence. Dans le cas de situations complexes, cette représentativité est quasi impossible à respecter dans la mesure où on ne peut décemment proposer aux élèves qu’une ou deux situations complexes à résoudre. C’est pourtant sur la base de ces quelques situations qu’il faudra inférer la maîtrise de la compétence, c’est-à-dire considérer si l’élève est capable ou non de résoudre toutes les situations de la famille de situations ; • enfin, si l’évaluation par situations complexes est la seule pertinente dans le cadre d’un système éducatif s’étant inscrit dans la perspective de l’approche par les compétences de base (Roegiers, 2000), elle présente certaines difficultés en termes d’acceptabilité sociale, tant pour les élèves et les enseignants que pour les parents. Il n’est pas facile de passer d’une culture du par cœur ou de l’application mécanique à celle de la résolution de problèmes, d’autant plus que celle-ci entraîne d’autres manières de corriger et d’autres manières de communiquer l’information, et qu’elle n’offre pas le même caractère de légitimité que les épreuves classiques où la réponse pseudo-objective conduit trop souvent à la seule sélection. Ces difficultés réelles ne doivent cependant pas empêcher la réalisation et l’utilisation de tels outils d’évaluation des acquis des élèves. En effet, la qualité première d’un outil d’évaluation doit être sa pertinence par rapport au système dans lequel il s’insère. À quoi servirait-il de déclarer vouloir développer des compétences si l’évaluation des acquis, qu’elle soit formative ou certificative, ne se fonde que sur la maîtrise de savoir-reproduire et/ou de savoir-faire isolés, aussi performants soient les outils utilisés ? Inversement, il serait absurde de vouloir évaluer les acquis scolaires par l’intermédiaire de situations complexes si la résolution de problèmes n’a pas fait préalablement l’objet d’un apprentissage systématique, que celui-ci soit permanent ou ponctuel. Cette remarque est particulièrement importante : tout dispositif d’évaluation de compétences par des situations complexes devrait d’abord s’assurer que les élèves ont réellement appris à résoudre des situations appartenant à la famille de situations visée. On peut légitimement penser que la plupart des enseignants ont toujours souhaité que leurs élèves soient compétents en termes de résolution de problèmes. Cependant, peut-on affirmer que ces mêmes enseignants ont mis en œuvre un processus d’enseignement-apprentissage tourné spécifiquement vers la résolution de problèmes ? Il semblerait plutôt que les enseignements se concentrent sur les savoirs et les savoir-faire, sur les connaissances déclaratives et procédurales. Trop rares sans doute sont les moments où les élèves sont confrontés – dans le cadre d’un apprentissage, avec toute la régulation que celui-ci nécessite – à des situations complexes à propos desquelles est réalisé en classe un travail systématique d’analyse de la situation, d’émission d’hypothèses de résolution, d’identification des ressources pertinentes, de mobilisation et de mise en œuvre de celles-ci pour résoudre la situation. Tout se passe comme si les enseignants considéraient qu’à partir du seul apprentissage des ressources, les élèves pouvaient apprendre d’eux-mêmes à identifier celles qui sont pertinentes dans une situation, à les mobiliser et à les intégrer dans une démarche complexe, alors qu’on sait que c’est bien ce fait-là qui est le principal agent de la « reproduction » : certains savent hors école comment faire et l’École ne l’explique pas aux autres (Bourdieu & Passeron, 1970). L’utilisation d’outils d’évaluation fondés sur des situations complexes ne conduit alors qu’à constater que les élèves ne savent pas résoudre celles-ci. Loin de pouvoir en inférer que les élèves ne sont pas compétents, qu’il leur est impossible de résoudre des situations complexes, il faudrait surtout se contenter de constater que les élèves ne savent pas réaliser ce qu’ils n’ont pas appris ! L’évaluation des compétences par des situations complexes ne peut avoir lieu que si un apprentissage systématique de ce type de résolution est préalablement réalisé. En bonne logique, il faudrait d’ailleurs que les situations proposées lors de l’évaluation soient plus simples, plus faciles que les situations proposées lors de l’apprentissage. 2. Une méthodologie pour l’élaboration des épreuves Sollicité par les grands bailleurs de fonds en charge de l’éducation, qu’ils soient multilatéraux (Banque Mondiale, UNESCO, UNICEF…) et/ou nationaux (USAID, ADF, CTB…), le BIEF accompagne en ce sens des projets de réécriture des curriculums et d’élaboration de systèmes d’évaluation scolaire dans une quinzaine de pays, dont notamment la Mauritanie, Djibouti, Madagascar, le Liban, l’Algérie, le Bénin…, depuis la première année de l’enseignement de base jusqu’à la dernière année du secondaire, mais aussi au niveau de la formation initiale et continue des enseignants, des directeurs et des inspecteurs. Si la contextualisation des outils est un souci premier, la démarche méthodologique proposée par le BIEF est globalement la même quel que soit le terrain de réalisation : • des groupes d’enseignants et/ou d’inspecteurs, désignés par le Ministère de l’Éducation, définissent les compétences de base qui sont visées à la fin d’un cycle ou d’une année, à raison de 3 ou 4 compétences par discipline et d’un objectif terminal d’intégration (De Ketele, 1984) ; Exemple de compétence de base, en Chimie, pour la 9e année de l’enseignement de base – Liban : Face à une situation problème, nouvelle et significative pour l’élève, liée à l’utilisation des réactifs et des produits chimiques et leur impact sur l’environnement, l’élève sera capable d’identifier le problème et de proposer une solution appropriée à ce problème tout en faisant appel à ses connaissances concernant : l’atome, la classification, les liaisons chimiques, l’électrochimie, la chimie organique et chimie et environnement. Exemple de compétence de base, en Français oral (2e langue d’enseignement), pour la 6e année de l’enseignement de base – Mauritanie : Produire dans une situation significative pour l'élève un récit oral cohérent, respectant la suite des actions, intégrant la description de certains éléments du contexte et contenant l'explication d'au moins un fait. • ils associent à chaque compétence les ressources (savoirs et savoir-faire) qui peuvent être mobilisées lors de sa mise en œuvre. Ces ressources correspondent le plus souvent aux objectifs qui figurent dans les programmes fondés sur la pédagogie par objectifs, mais ils sont réorganisés en fonction des compétences. C’est donc l’occasion de réaliser un élagage important : tous les objectifs qui ne sont pas directement reliés à une compétence disparaissent du curriculum ; • ils élaborent 2 ou 3 situations qui illustrent la famille de situations susceptibles d’être résolues par l’élève maîtrisant la compétence. C’est une démarche relativement pragmatique : les concepteurs se demandent quelles situations concrètes permettraient de certifier la maîtrise des compétences visées. Ce n’est que sur la base de ces situations concrètes qu’ils dégagent les paramètres de la famille des situations, c'est-à-dire les éléments communs à toutes les situations de la famille. Souvent même, ils reviennent sur la formulation des compétences qui s’expriment alors seulement en termes de résolution de problèmes. Ces paramètres concernent l’univers de référence en termes de ressources, le type de situations, le type et le nombre de supports, le type de tâche attendue, les conditions de résolution, le type de critères utilisés pour évaluer la production… Les paramètres de la famille de situations ne se limitent donc pas aux connaissances ou aux procédures à mobiliser, mais reprennent toute une série d’éléments qui devraient permettre à d’autres concepteurs d’élaborer de nouvelles situations, considérées comme équivalentes ; Exemple (incomplet) de paramètres de la famille de situations de la compétence de base, en Chimie, pour la 9e année de l’enseignement de base – Liban Univers de référence en termes de ressources à mobiliser (savoirs, savoir-faire, savoir-être) : Savoirs : constituants de l’atome, classification des éléments, réactions chimiques, formules et équations, solutions, électrochimie, hydrocarbures, polymérisation et polymères, pollution … Savoir-faire : Exploiter les différents types de supports, trier les informations, les traiter ; analyser ; déduire, communiquer par écrit (et/ou oral), tracer des courbes, des schémas et des diagrammes…, réaliser des activités expérimentales en utilisant un protocole Savoir-être : se comporter positivement envers l'environnement, avoir un sens critique, être autonome. Type de situations : Situation-problème liée à la vie quotidienne, environnementale (urbaine et/ou rurale) technologique ou industrielle et au travail au laboratoire, pollution, dégradation des sols, alimentation, polymères, etc., faisant intervenir l’exploitation d’un ou de plusieurs supports nécessitant d’identifier un problème et de le résoudre. Type et nombre de supports : Texte, photo, schéma et tableau. Nombre : entre 2 et 4 ... Type de tâche attendue : Identifier un problème, exploiter un document, un graphe…, traiter des résultats expérimentaux, et résoudre le problème. Conditions de résolution : Temps : 30 minutes Travail individuel en classe ou au laboratoire Critères utilisés pour évaluer la production : I- Critères minimaux (note 1) : 1. Adéquation de la production de l’élève à la situation 2. Utilisation correcte des outils de la discipline 3. Cohérence de la production de l’élève. II- Critère de perfectionnement : 4. Qualité de la présentation de la production de l’élève. • sur la base de ces paramètres, les épreuves d’évaluation sont élaborées en veillant d’une part à ce que les situations respectent les paramètres de la famille de situations et puissent donc être considérées comme équivalentes les unes aux autres et d’autre part à ce que la règle dite des 2/3 soit respectée (De Ketele, 1996 ; Roegiers, 2000). Cette règle consiste – au moment de l’élaboration de l’épreuve – à s’assurer que l’élève aura au moins 3 occasions indépendantes de vérifier chaque critère, et – au moment de la correction – à considérer qu’un critère est maîtrisé si au moins 2 occasions sur 3 sont positives. Les deux dimensions de cette règle – au moins 3 occasions présentes et au moins 2 occasions réussies – contribuent à éviter les échecs abusifs, car elles permettent d’éviter de mettre en échec un élève sur la base d’une seule erreur ; • les critères d’évaluation sont détaillés pour chaque situation en indicateurs sur la base desquels un barème de notation est élaboré consistant avant tout à déterminer quand le critère sera ou non considéré comme maîtrisé. Cette phase est particulièrement importante et présente plusieurs difficultés auxquelles nous reviendrons plus loin ; • chaque situation d’évaluation est préexpérimentée auprès de quelques élèves, essentiellement à des fins de régulation, et ensuite expérimentée dans un échantillon représentatif afin de permettre sa validation empirique ; • à côté de ces épreuves « compétences » fondées sur des situations complexes, des épreuves « ressources » semblables aux épreuves classiques sont également élaborées non seulement pour accroître l’acceptabilité de l’évaluation, mais surtout pour en accroître le sens : si un élève ne parvient pas à résoudre une situation complexe, il est important de savoir si cela est lié au fait qu’il ne maîtrise pas les ressources à mobiliser ou qu’il ne parvient pas à les mobiliser ni à les intégrer pour résoudre la situation-problème (note 2). Durant toute la mise en œuvre de ce dispositif, de fréquents allers-retours entre les équipes de concepteurs et le terrain sont indispensables, tout en prenant en compte que les compétences ne sont souvent pas encore travaillées en tant que telles dans les classes. L’évaluation porte donc – durant la phase d’élaboration des outils – sur des compétences qui n’ont pas toujours été développées : si les ressources ont, la plupart du temps, été travaillées par les enseignants des classes concernées, ce n’est pas le cas de leur mobilisation ni de leur intégration dans la résolution de problèmes. C’est donc avec prudence qu’il faut traiter et analyser les résultats et procédures de validation. 3. Quelques étapes-clés du processus d’élaboration et de validation 3.1. La définition des paramètres de la famille de situations Ce travail est essentiel parce que c’est lui qui permet de délimiter de manière concrète et précise quelle est la famille de situations concernée par la compétence. De sa qualité dépendra fortement la validité de l’inférence qui sera réalisée à partir d’une ou deux situations d’évaluation sur la maîtrise de la compétence. Si la famille de situations est délimitée de manière très vague, elle ne permettra pas d’élaborer des situations suffisamment équivalentes et la seule conclusion acceptable au terme de l’évaluation serait que les élèves sont capables de résoudre ou non la situation particulière sur laquelle ils ont travaillé, sans pouvoir élargir le champ d’inférence. Le paramétrage de la famille des situations n’est pas à confondre avec l’habillage des situations. Le paramétrage permet de définir les invariants entre toutes les situations qui devraient pouvoir être résolues dans le champ de la compétence, alors que l’habillage d’une situation est ce qui caractérise chaque situation en particulier. Normalement, l’habillage ne devrait pas avoir d’influence sur le pouvoir de résolution d’une situation, de la même manière qu’une personne reste elle-même quels que soient ses habits du jour. Il est parfois difficile de savoir si un élément fait partie du paramétrage ou de l’habillage. Par exemple, dans les petites classes, on peut légitimement émettre l’hypothèse que les éléments affectifs liés à une situation particulière ont une grande influence sur la capacité de l’élève de s’investir dans la résolution de cette situation et pourraient donc être inclus dans le paramétrage. La qualité de l’inférence sur la maîtrise de la compétence dépend donc non seulement de la précision des paramètres de la famille de situations qui lui est liée, mais aussi du moment de la phase de formation. Moins on est avancé dans le processus de formation, plus la précision des paramètres devra être grande et détaillée. En 1re année de l’enseignement fondamental, on précisera, en mathématiques, que « les situations problèmes nécessitent une addition de nombres compris entre 1 et 10, sous la forme a + b = x », alors qu’en 6e année, on se contentera de dire que « les situations problèmes feront appel à des additions, des soustractions, des multiplications et/ou des divisions ». De la même manière, en formation professionnelle, les paramètres de la famille de situations seront plus ou moins précis selon que l’on vise à évaluer un « compétent novice » ou un « compétent expert ». Pour ce dernier, et pour autant qu’il faille l’évaluer, on se contentera d’une définition très vague de la famille de situations qu’il est appelé à résoudre – du style « situations relatives à l’ingénierie de la formation » – parce que sa compétence d’expert est justement de pouvoir résoudre toutes les situations relatives à son champ d’expertise. 3.2. La définition des critères d’évaluation Les critères d’évaluation sont un des paramètres essentiels de la famille de situations puisque c’est à travers eux que toutes les situations relatives à la compétence vont être analysées. Un critère est un point de vue auquel on se place pour évaluer un objet d'évaluation, une qualité attendue de cet objet. Les critères doivent permettre d'évaluer la production de l'élève, c'est-à-dire « d'en faire sortir la valeur » (e-valuere). Il est aussi indispensable que ces critères soient indépendants l’un de l’autre afin de ne pas évaluer deux fois la même chose (et donc de ne pas pénaliser deux fois l'élève pour la même erreur). Par exemple, un élève qui est « hors sujet » ne peut être pénalisé qu'une fois, à travers un critère de « pertinence » (adéquation de la production à la situation). Il faut absolument qu'on puisse évaluer positivement sa production pour d'autres critères – par exemple sa correction orthographique –, même s'il est « hors sujet ». Au bout du compte, cet élève sera vraisemblablement en échec, parce qu'il ne satisfait pas à un critère minimal, mais au moins ce qu'il aura réussi sera reconnu. Il est sans doute impossible et inutile de proposer une liste de critères qui seraient pertinents et exhaustifs pour toutes les disciplines et tous les niveaux. Néanmoins, il est possible d’identifier — de manière non exhaustive — quelques critères auxquels on peut se référer (voir aussi Roegiers, 2004). Deux critères – ou plutôt « ordres de critères » – semblent devoir s’imposer quels que soient les disciplines, les compétences ou les niveaux évalués : • la pertinence, ou adéquation de la production à la situation (et notamment à la consigne), qui consiste à répondre aux questions « est-ce que l’élève fait bien ce qu’il doit faire ? n’est-il pas hors sujet ? » ; • la correction ou utilisation correcte des concepts et des outils de la discipline, qui concerne la question « est-ce que l’élève fait correctement ce qu’il fait ? », même si ce n’est pas cela qu’il doit faire. Ce critère portera ainsi sur l'orthographe correcte (d'usage et grammaticale), l'utilisation correcte des techniques de calculs (même si l’opération concernée ne devait pas être effectuée), l’exactitude scientifique d’une justification, etc. À côté de ces deux critères de base, on peut identifier deux critères importants, mais dont la pertinence varie en fonction de la discipline concernée, du niveau des élèves, etc., tout en étant le plus souvent considérés comme minimaux s’ils sont retenus : • la cohérence, c'est-à-dire l'utilisation d'une démarche logique, qui ne présente pas de contradictions internes (même si elle n'est pas pertinente), le choix cohérent des outils, l'enchaînement logique de ceux-ci, l'unité de sens de la production, etc. (note 3) ; • la complétude, c'est-à-dire le caractère complet de la réponse, pour autant bien entendu qu’il soit possible de déterminer ce qu’est une réponse complète. Enfin, on peut identifier un certain nombre de critères dont la pertinence variera en fonction des objectifs que l’on poursuit, des valeurs qu’on souhaite privilégier, d’exigences spécifiques, etc. La plupart du temps, ces critères seront considérés comme critères de perfectionnement, c'est-à-dire qui ne doivent pas nécessairement être maîtrisés pour certifier la compétence, mais dont la maîtrise est néanmoins préférable et attendue. Parmi ces critères, on peut identifier, de manière non exhaustive : • la qualité de la langue, pour les disciplines non littéraires ; • la qualité de la présentation du travail, de la copie de l’élève ; • l’utilité sociale ou la profondeur des propositions émises, par exemple dans l’analyse de problèmes sociaux, historiques, géopolitiques, d’environnement… ; • l'originalité de la production, spécialement pour les disciplines littéraires ou sociales ; • … Ces critères n’ont bien sûr pas tous toujours le même poids ni la même pertinence. Par exemple, selon les disciplines et/ou selon les niveaux, le critère de « qualité de la présentation » sera • parfois retenu comme un critère minimal, c'est-à-dire qui doit absolument être maîtrisé pour considérer que la compétence est maîtrisée (par exemple dans la formation d’une secrétaire, lorsqu’elle doit écrire une lettre) ; • parfois considéré comme un critère de perfectionnement, lorsqu’il s’agit d’une qualité attendue de la part de l’élève, mais sans que cela ne détermine sa réussite ; • parfois non retenu comme critère du tout, par exemple lorsqu’on privilégie la quantité de production ou la spontanéité. Le mot qu’on utilise pour désigner le critère n’est pas toujours uniforme : il peut varier notamment en fonction des disciplines. Par exemple, le critère de « pertinence » pourra signifier et/ou être appelé : • en langues, « adéquation de la production avec l'énoncé » (ou encore une autre appellation), • en mathématiques, « interprétation correcte du problème » ou « choix des bons outils », • en sciences sociales, « correspondance avec ce qui est demandé », etc. Le critère de correction (ou utilisation correcte des concepts et des outils de la discipline) est proposé au sens de « qualité de ce qui est correct, conforme aux règles et aux convenances ». Il n’est pas à confondre avec « l'exactitude de la réponse ». Dans l’évaluation traditionnelle ou l’évaluation des ressources, ce critère d’exactitude de la réponse est quasiment le seul utilisé. Dans l’évaluation des compétences, ce critère – qui ne fonctionne que dans le cas d'une production fermée à réponse unique – est à éviter, car il s’agit d’un critère englobant. Il n'est réellement utilisable que d'une seule manière : pour effectuer un premier tri de copies. Toutes les copies qui ont la réponse exacte au bout d'une production à réponse unique satisfont inévitablement aux critères de pertinence, de cohérence, de correction et de complétude. Dans ce cas, il n’est pas nécessaire de se demander si ces autres critères sont maîtrisés ou non : ils le sont inévitablement et de manière parfaite (pour autant bien sûr que l'élève n'a pas « copié », mais toute évaluation ne fonctionne évidemment que si l'élève n'a pas copié...). Si par contre, l'élève n'a pas au bout du compte la réponse exacte, alors il faut absolument passer en revue tous les autres critères. Et il est possible, selon le barème de correction, que l'élève ait au bout du compte une note maximale, même en n'ayant pas la « réponse exacte »... Le critère « correction » n’est donc pas à comprendre comme « exactitude de la réponse », mais il indique qu’il faut regarder si l'élève utilise correctement les outils de la discipline, des concepts, des techniques, etc. La complétude est un critère qui — s’il est retenu — s'ajoute aux autres et est donc bien indépendant : l'élève peut produire quelque chose de pertinent, de cohérent et de correct, mais ne pas être complet... C'est un peu le cas du mécanicien qui face à un pneu crevé, fait tout ce qu'il faut dans les règles de l'art, mais qui par manque de temps « oublie de resserrer les 4 boulons ». Sa réparation est tout à fait pertinente, cohérente et correcte, sauf qu'il n'a pas été complet... avec des conséquences dramatiques ! Ce critère n’est à retenir que lorsqu’il se justifie vraiment, notamment parce qu’il se situe sur un autre plan que les autres critères : on aborde ici un aspect plutôt quantitatif, alors que les autres critères se situent plutôt sur un plan qualitatif. À nouveau, ce critère de complétude se déclinera différemment selon les disciplines : • en langues, on se demandera si l'élève a répondu à toutes les questions de la situation de communication, s'il a présenté tous les arguments à envisager..., • en sciences (sociales ou exactes), s'il a étudié toutes les facettes du phénomène en question..., • en maths, s'il est arrivé au bout de sa démarche et a répondu à toutes les questions, etc. La liste des critères découle toujours d’un choix des concepteurs-évaluateurs. Ce choix sera effectué en fonction de leurs objectifs (et de ceux de leur système éducatif), des accents qu’ils souhaitent mettre, en tenant compte bien sûr de la spécificité de chaque discipline et de chaque niveau. En d’autres termes, il n’y a pas de liste idéale de critères, pas de modèle qui s’imposerait de manière absolue. La réalité est toujours complexe. Une modélisation vise à introduire un peu de simplicité, mais elle ne peut jamais être au détriment de la complexité de la réalité. D’autres critères que ceux proposés ici peuvent être utilisés, avec d’autres formulations, mais il faut alors toujours s’assurer que le critère est pertinent par rapport à la compétence et vérifier l'indépendance intercritères. Cette affirmation d’absence de modèle absolu au niveau des critères ne va pas à l’encontre des efforts légitimes d’harmonisation nationale ou internationale des critères. Par exemple, les partenaires libanais du BIEF qui élaborent un nouveau système d’évaluation fondé sur l’approche par les compétences ont insisté sur leur souhait d’avoir le plus de cohérence possible entre les disciplines et au sein de celles-ci dans le choix des critères, alors que ce projet porte sur toutes les disciplines tout au long des 12 premières années de scolarisation. Dans un contexte international, l’équivalence des diplômes nécessiterait également une harmonisation des critères d’évaluation. 3.3. La définition et la gestion des indicateurs L’évaluation critériée est complexe, et il ne faut pas la rendre plus complexe qu’elle ne l’est. Tout le monde en est conscient, et tout tourne finalement autour des indicateurs et de ce que l’on décide de faire avec eux. Si le critère est général et abstrait, l’indicateur est contextualisé et concret. C’est lui qui – dans la production de l’élève – apporte de l’information sur sa maîtrise de la compétence. Il apporte de l’information et, à ce titre, ne donne jamais qu’une indication. Un des dangers, fréquemment observé, est d’accorder à l’indicateur plus de valeur qu’il n’en a. Dans l’évaluation d’une situation complexe en vue d’inférer la maîtrise d’une compétence, ce que l’on évalue, c’est la maîtrise du critère, mais pas la maîtrise de l’indicateur. Celui-ci n’est qu’un élément parmi d’autres qui permet à l’évaluateur d’estimer, d’apprécier (par un jugement de valeur) le degré de maîtrise du critère. Dans ce cadre, un indicateur ne devrait pas être un « indicateur minimal », c'est-à-dire quelque chose qui devrait absolument être présent pour décider de la maîtrise du critère. C’est le critère qui est minimal. Pas l’indicateur. Celui-ci ne fait que donner une indication. Certains indicateurs sont bien sûr plus importants que d’autres, mais cela ne devrait jamais rendre un indicateur indispensable pour attester de la réussite d’un critère (et donc de la réussite de la compétence, et donc de la réussite de la discipline, et donc de la réussite du cycle…). D’autre part, la gestion des indicateurs ne doit pas transformer l’évaluation critériée en évaluation sommative. En d’autres termes, il ne faut pas accorder 1 point à tel indicateur, 0,5 point à tel autre, etc. Non seulement cela risque fort de déboucher sur un système impraticable, impossible à gérer pour les correcteurs, mais plus fondamentalement, cela revient à nouveau à évaluer les indicateurs, et non pas le critère. La question évidemment est de savoir comment passer de l’identification et de l’analyse des indicateurs à l’appréciation du critère… Il n’y a sans doute pas de bonne et unique solution. Mais des solutions. Il faut néanmoins éviter de déboucher sur un système infaisable, parce que trop difficile à gérer par les correcteurs. S’ils doivent tout le temps se référer à leur grille de correction, à leur barème, on peut être sûr que très rapidement, ils ne le feront plus… et finiront même par revenir à une évaluation classique. L’expérience nous a montré que l’acte de correction d’épreuves constituées de situations complexes est une opération difficile et reste fortement influencé par la personnalité, les valeurs et l’histoire des correcteurs. Lors de la correction d’épreuves classiques constituées d’items, il suffit – dans la plupart des cas – de constater si la réponse est exacte ou non. Au bout du compte, on fait la somme du nombre de points attribués à chaque item réussi pour obtenir la note finale. Le seul critère utilisé, de manière plus ou moins implicite, est « l’exactitude de la réponse » et la réponse à chaque item peut être évaluée de manière séparée. L’évaluation critériée d’une production complexe nécessite de la part des correcteurs une sorte de révolution culturelle dans la manière de considérer les copies des élèves. Prenons l’exemple d’une épreuve de français dans laquelle il est demandé aux élèves, après avoir lu un fait divers, de raconter par écrit un événement tragique auquel ils ont assisté afin d’en faire une publication dans le journal du collège. Les productions devraient être évaluées à travers 3 critères : l’adéquation de la production à la situation, la cohérence et la correction orthographique, chacun de ces critères étant noté sur 3 points, ainsi qu’un critère de perfectionnement : la qualité de la présentation. Voici deux copies : Copie 1 Un accident rackettait à decallare le jeudi 1 mai 03 dernier à 8h30. A l’établissement Abdi. Une fille (qui) traversait la rue foilée traverse la route, un grand voiture qui veneée derrière elle a cassée. Et elle venée de chez sa soeure et après elle voilée partir chez s’elle. La fille est sour palasément mort, ses corp est devenu comme la sable et tous la rue est devenu de sens. Après tous les gens sont ramassée le corp de la fille. Après, quelque seconde, tous ses parents et ses famielle en venus eux qui sont inqueur et ont pleurent. Ils s’étaient ont été tursétée. Copie 2 Mon père, il est policier et quand il voit des voleurs il les met en prison. Il a un revolver à sa ceinture et parfois il doit s’en servir. Il fait des patrouilles dans les rues de la ville, deux fois par jour. Il aide les personnes qui ont besoin de lui, mais il donne aussi des contraventions. Le dimanche, il ne se repose pas toujours. Souvent il doit travailler, et la famille doit aller chez les cousins sans lui. Heureusement, ma mère ne travaille pas et elle peut s’occuper de nous. Lors de corrections de ces copies, un correcteur a accordé 2/10 aux deux copies. Selon lui, la première copie était quasi illisible et bourrée de fautes d’orthographe. La seconde était « hors sujet ». Même après discussion, il a été impossible de faire admettre à ce correcteur que certes les élèves ne maîtrisaient pas un critère minimal – pour la copie 1, la correction orthographique, et pour la copie 2, l’adéquation de la production à la situation – mais que chacun maîtrisait parfaitement l’autre critère. Au bout du compte, la maîtrise de la compétence n’est effectivement atteinte par aucun de ces deux élèves, puisque tous les deux ne maîtrisent pas un critère minimal, mais l’évaluation critériée devrait pouvoir mettre en avant les qualités de chacun de ces copies. Cet exemple illustre en tous les cas combien il est difficile pour un correcteur du terrain de faire abstraction de ses habitudes de correcteur classique. Notamment, on voit bien que le correcteur utilise consciemment deux critères – le fond et la forme, qui sont connus depuis longtemps par la plupart des correcteurs, spécialement dans les disciplines littéraires –, mais que cette utilisation n’est pas faite de manière cohérente dans la mesure où ce n’est pas toujours le même critère qui prime. La « logique » de ce correcteur est de privilégier ce qui pénalise l’élève, alors que la logique critériée de l’évaluation, surtout en termes de certification, devrait être au contraire de privilégier les réussites des élèves (Gerard, 2004). Ce travail de définition et de gestion des indicateurs est fondamental, car il permet de réguler les exigences attendues dans le cadre de l’approche par les compétences. Il faut en effet avoir conscience que, si l’approche par les compétences de base poursuit explicitement des objectifs d’équité, elle place la barre très haut en termes pédagogiques : • d’une part, elle se situe aux niveaux taxonomiques les plus élevés : la mobilisation et la résolution de problèmes sont les deux niveaux supérieurs de la taxonomie des opérations cognitives proposées par D’Hainaut (1983) ; • d’autre part, elle établit un seuil de réussite élevé puisque – dans son application stricte – elle conduit à ne considérer une compétence comme maîtrisée que lorsque tous les critères minimaux sont maîtrisés. En bonne logique, la réussite dans une discipline devrait être liée à la maîtrise de toutes les compétences de base (note 4) et la réussite d’une année ou d’un cycle scolaire devrait se fonder sur la réussite dans toutes les disciplines… • enfin, l’expérience nous montre que les concepteurs de situations ont souvent tendance à élaborer des situations plus complexes, voire plus compliquées, que les paramètres de la famille de situations ne le requièrent. L’idée que les situations utilisées dans les évaluations devraient être d’un niveau plus faible que les situations travaillées en classe a parfois du mal à s’imposer ! Il faut donc introduire un peu de souplesse quelque part. Cela peut se faire principalement dans la définition des indicateurs et dans leur gestion définie au sein d’un barème de notation et concrètement utilisée au moment de la correction. Il ne s’agit évidemment pas d’être laxiste, mais de définir des seuils de réussite suffisamment souples – ce n’est pas la perfection qui est recherchée – et d’orienter le processus de correction – surtout au moment de la certification – vers la valorisation de ce qui a été réussi plutôt que vers la sanction de ce qui a été raté. 4. Résultats d’études évaluatives de la maîtrise de compétences par des situations complexes Dans la plupart des pays engagés dans une réforme d’évaluation des acquis scolaires par des situations complexes, cette innovation s’accompagne ou est précédée par une réécriture des curriculums selon l’approche par les compétences, par une formation des inspecteurs et des enseignants et/ou par une élaboration de manuels scolaires et autres outils didactiques conformes à l’approche. Avant généralisation des nouveaux outils, une phase expérimentale permet de les tester dans une perspective de régulation sur un échantillon représentatif. Des séries de données ont ainsi pu être récoltées à Djibouti, en Mauritanie et à Madagascar auprès d’un échantillon expérimental d’élèves ayant bénéficié de l’approche par les compétences de base et d’un échantillon témoin équivalent constitué d’élèves poursuivant leur parcours avec les anciens curriculums. Ce qui différencie le plus les deux échantillons, c’est l’organisation de « modules d’intégration » dans les classes expérimentales. Les apprentissages des ressources, c'est-à-dire les objectifs pédagogiques classiques, sont réalisés de la même manière dans toutes les classes, mais après 5 ou 6 semaines, les élèves des classes expérimentales sont confrontés pendant une semaine à des situations complexes appartenant à la famille de situations de la compétence travaillée. Dans le meilleur des cas, les élèves sont confrontés à 3 situations équivalentes : la première de manière collective et/ou par des travaux de groupes, la deuxième de manière individuelle avec accompagnement de l’enseignant suivi d’une résolution collective, et la troisième de manière individuelle afin de permettre une évaluation formative débouchant sur des remédiations. Ensuite, les apprentissages ponctuels reprennent de manière classique pendant 5 ou 6 nouvelles semaines avant un nouveau travail d’intégration pendant une semaine. Il n’est ici ni possible ni pertinent de présenter de manière détaillée les résultats issus de ces travaux (Aden & Roegiers, 2003 ; O/ Didiye, El Hadj Amar, Gerard & Roegiers, 2005 ; Rajonhson, Ramilijaona, Randrianirina, Razafindralambo, Razafindranovona, Ranorovololona & Gerard, 2005) réalisés dans des contextes et des niveaux très différents. Nous nous contentons donc de faire une présentation sur des données conglomérées, en ayant conscience des limites d’une telle présentation. Notamment, les seules comparaisons possibles sont celles au sein d’un même pays à l’exclusion de comparaisons interpays. Tableau 1 - Moyennes sur 10 aux épreuves par situations complexes (APC = Échantillon expérimental, bénéficiant de l’approche par les compétences, (N-APC = Échantillon témoin, ne bénéficiant pas de l’approche par les compétences) Pays Niveaux évalués Échantillon Nombre d’élèves Langue 1 (note 5) Français (L2) Mathématiques Moyenne générale Djibouti 2e AF APC 161 / 5,13 4,51 4,82 N-APC 174 / 3,76 3,09 3,43 Mauritanie 6e AF APC 133 4,38 3,74 4,97 4,36 N-APC 104 3,95 2,51 2,81 3,09 Madagascar 1re AF APC 676 5,46 / 3,29 4,38 N-APC 352 4,54 / 2,03 3,29 Une première remarque s’impose eu égard à l’ensemble des données : le niveau des notes est relativement bas puisque toutes les moyennes générales sont inférieures au seuil de 50%. D’une part, il faut relever que ces trois pays sont parmi les plus défavorisés de toute la planète : à l’Indicateur de développement humain (note 6) (PNUD, 2004), sur 177 pays référencés, Madagascar se place à la 150e place, la Mauritanie à la 152e et Djibouti à la 154e. D’autre part, tant à Madagascar qu’en Mauritanie, des épreuves « ressources » ont également été appliquées permettant d’évaluer les objectifs spécifiques de manière séparée (note 7) : les résultats obtenus par les élèves à ces épreuves sont tout aussi faibles, tant pour les échantillons expérimentaux « APC » que pour les échantillons témoins « Non-APC » (note . Ces faibles résultats se retrouvent d’ailleurs dans les études internationales et doivent – pour mieux les comprendre – être mis en relation avec les tailles des classes de ces pays, où il n’est pas rare de rencontrer des classes de 100, voire de 200 élèves ! En termes d’efficacité, ces résultats convergent vers le même constat : la mise en œuvre de modules d’intégration permettant un travail systématique sur des situations complexes permet de gagner environ 1,5 point sur 10 – soit 15% – dans des épreuves d’évaluation des compétences constituées de situations complexes. Toutes les différences observées sont (très) significatives. Dans deux cas – le Français à Djibouti et le Malgache à Madagascar – les scores moyens des échantillons expérimentaux passent au-dessus de la barre des 50%. De manière générale, il faut d’ailleurs constater qu’un gain moyen de 15% présente pour ces pays défavorisés un caractère exceptionnel : en effet, il signifie que de nombreux élèves qui étaient en échec auparavant peuvent réussir grâce à l’approche par les compétences de base, et cela même sur la base d’épreuves de niveau taxonomique supérieur. 5. Conclusion Pour des pays ayant inscrit leur système éducatif dans la perspective de l’approche par les compétences de base, l’évaluation des acquis scolaires par des situations complexes est la seule pertinente puisqu’elle est la seule à susciter la mobilisation et l’intégration de ressources pour résoudre des problèmes. Même dans une perspective strictement formative – et nous sommes convaincu que c’est cette évaluation-là qui est la plus importante –, l’utilisation de situations complexes permet d’optimiser le diagnostic des difficultés puisqu’elles permettent de disposer et de traiter des informations non seulement sur la maîtrise ponctuelle d’objectifs spécifiques, mais aussi sur leur mobilisation et leur intégration dans la résolution de problèmes. L’élaboration, l’utilisation et la correction de telles épreuves présentent cependant un ensemble de difficultés qui nécessitent encore de nombreux travaux pour pouvoir être pleinement résolues. Les difficultés principales tiennent : • à la définition claire et précise des paramètres de la famille de situations permettant de garantir la meilleure équivalence possible entre les différentes situations complexes, même si cette équivalence ne sera jamais totale ; • à la définition des critères d’évaluation qui doivent être à la fois pertinents et indépendants ; • à la définition des indicateurs et de leur mode de gestion pour apprécier les critères dans un système qui soit à la fois pertinent et faisable ; • au processus de correction des productions des élèves et d’appréciation des critères qui nécessite de la part des correcteurs un détachement par rapport à leurs pratiques habituelles ainsi qu’un travail spécifique pour réduire au mieux l’inévitable désaccord intercorrecteurs. Ces difficultés réelles n’empêchent pas l’élaboration et l’utilisation d’épreuves par situations complexes. Elles invitent à la vigilance et à la recherche de solutions. Puisse cette intervention y contribuer. Notes (1) Les critères minimaux sont ceux qui doivent absolument être maîtrisés pour certifier la maîtrise de la compétence alors que les critères de perfectionnement concernent des qualités dont la présence est préférable, mais non indispensable. En termes de certification, ce n’est que sur la base des critères minimaux que la réussite est décidée ou non. Retour (2) Ces épreuves « ressources » contribuent ainsi au diagnostic de l’évaluation des compétences. Il y a plusieurs approches en ce qui concerne l’évaluation des compétences : certains la limitent à des épreuves par situations complexes, d’autres présentent d’abord des situations complexes et ensuite des épreuves visant à évaluer la maîtrise des procédures particulières ((Rey, Carette, Defrance & Kahn, 2003 ; Crahay & Detheux, 2004), alors que d’autres évaluent d’abord la maîtrise des ressources avant de s’occuper des compétences par situations complexes (Allal, Rouiller, Saada-Robert & Wegmuller, 1999). La position du BIEF est qu’il est nécessaire d’évaluer les compétences et les ressources, sans se prononcer sur l’opportunité d’évaluer les unes avant les autres. Il est d’autre part évident que les ressources peuvent et doivent également être évaluées en tant que telles, essentiellement dans une perspective formative, pour permettre leur régulation lors des apprentissages ponctuels. Retour (3) Il peut aussi correspondre aux questions : est-ce que les idées sont convenablement organisées ? est-ce que la production est de qualité quant au fond ? est-ce que le travail est bien organisé ? est-ce que la réponse est de bon sens ?... Retour (4) Rappelons que dans le cadre de l’approche par les compétences de base, il n’y a que 3 ou 4 compétences de base qui sont définies pour chaque discipline et chaque niveau. Retour (5) Mauritanie : langue arabe ; Madagascar : langue malgache. Retour (6) L’Indicateur de développement humain, publié par le PNUD chaque année, prend en compte l’espérance de vie à la naissance, le taux d’alphabétisation des adultes, le taux brut de scolarisation combiné (du primaire au supérieur) et le PIB par habitant. Retour (7) Ce sont des épreuves correspondant à la « phase 3 » des travaux effectués à l’ULB par l’équipe de Bernard Rey (Rey, Carette, Defrance & Kahn, 2003) permettant d’évaluer ce que ces auteurs appellent des « procédures de base ou compétences élémentaires ». Retour (8) Dans ces épreuves « ressources », les élèves des échantillons expérimentaux obtiennent des résultats soit équivalents soit supérieurs à ceux des échantillons témoins. On ne constate donc pas de déperdition au niveau des apprentissages classiques. Retour Références Aden, H.M. & Roegiers, X. (2003), À quels élèves profite l’approche par les compétences de base ? Étude de cas à Djibouti. Inédit accessible sur http://www.bief.be. Allal, L., Rouiller, Y., Saada-Robert, M. & Wegmuller, E. (1999). « Gestion des connaissances orthographiques en situation de production textuelle », Revue Française de Pédagogie, n°126, janvier-février-mars 1999, 53-69. Bourdieu, P. & Passeron, J.-C. (1970). La reproduction. Éléments pour une théorie du système d’enseignement. Paris : Éditions de Minuit. Crahay, M. (1997). Une école de qualité pour tous. Bruxelles : Labor. Crahay, M. & Detheux, M. (2005). « L’évaluation des compétences, une entreprise impossible ? (À propos de la résolution de problèmes mathématiques complexes) », Mesure et évaluation en Éducation, Vol.28, n°1, 57-78. De Ketele, J.-M. (1984). « Objectif et évaluation : comparaison et confrontation de quelques terminologies utilisées », Bulletin de Pédagogie Universitaire, Kinshasa. De Ketele, J.-M. (1996). « L’évaluation des acquis scolaires : quoi ? pourquoi ? pour quoi ? », Revue Tunisienne des Sciences de l’Éducation, 23, 17-36. De Ketele, J.-M. (2000). En guise de synthèse : Convergences autour des compétences, in Bosman, C., Gerard, F.-M., Roegiers, X. (Éds). Quel avenir pour les compétences ?Bruxelles : De Boeck Université, pp.187-191. De Ketele, J.-M. (2001a). Place de la notion de compétence dans l’évaluation des apprentissages, in Figari, G., Achouche, M. (Éds). L’activité évaluative réinterrogée. Regards scolaires et socioprofessionnels.Bruxelles : De Boeck Université, pp. 39-43. De Ketele, J.-M. (2001b). Enseigner des compétences : repères, in Jadoulle, J.-L. & Bouhon, M. (Eds). Développer des compétences en histoire, Louvain-la-Neuve-Bruxelles : Université catholique de Louvain et Ministère de l’Éducation, de la Recherche et de la Formation, 13-22. De Ketele, J.-M. & Gerard, F.-M. (2004). « La validation des épreuves d’évaluation selon l’approche par les compétences », Mesure et évaluation en Éducation, à paraître. D’Hainaut, L. (1983). Des fins aux objectifs, Bruxelles-Paris : Labor-Nathan. Dolz, J. & Ollagnier, E. (Éds) (2002). L’énigme de la compétence en éducation, Bruxelles : De Boeck Université. Fourez, G. (1999). « Compétences, contenus, capacités et autres casse-têtes », Forum des pédagogies, mai, 26-31. Gerard, F.-M. (2004). Tout dépend de ce qu’on veut évaluer, Inédit, publié sur www.bief.be. Gerard, F.-M. (2005). « Évaluer des compétences, ou ne pas se tromper de cible », Liaisons, n°40, Février 2005, Beyrouth, Liban, 7-9. Jonnaert, Ph. (2002). Compétences et socioconstructivisme - Un cadre théorique, Bruxelles : De Boeck. Le Boterf, G. (1994). De la compétence. Essai sur un attracteur étrange. Paris : Éditions de l’organisation. Legendre, M.-F. (2001). « Sens et portée de la notion de compétence dans le nouveau programme de formation ». Revue de l'AQEFLS, 23(1), 12-30 O/ Didiye, D., El Hadj Amar, B., Gerard, F.-M. & Roegiers, X. (2005). Étude relative à l’impact de l’introduction de l’APC sur les résultats des élèves mauritaniens, Inédit, accessible sur http://www.bief.be. Perrenoud, Ph. (1997). Construire des compétences dès l’école. Paris : ESF. PROGRAMME DES NATIONS UNIES POUR LE DÉVELOPPEMENT (2004). Rapport mondial sur le développement humain 2004, Paris : Economica. Rajonhson, L., Ramilijaona, F., Randrianirina, P., Razafindralambo, M.H., Razafindranovona, O., Ranorovololona, E. & Gerard, F.-M. (2005). Premiers résultats de l’APC : invitation à continuer…, Inédit, accessible sur http://www.bief.be. Rey, B. (1996). Les compétences transversales en question. Paris : ESF. Rey, B., Carette, V., Defrance, A. & Kahn, S. (2003). Les compétences à l'école — Apprentissage et évaluation, Bruxelles : De Boeck. Roegiers, X. (2000). Une pédagogie de l’intégration. Bruxelles : De Boeck. Roegiers, X. (2003). Des situations pour intégrer les acquis, Bruxelles : De Boeck. Roegiers, X. (2004). L’école et l’évaluation, Bruxelles : De Boeck. Scallon, G. (2004). L'évaluation des apprentissages dans une approche par les compétences. Bruxelles : De Boeck Université. Tilman, F. (2000). « Qu’est-ce qu’une compétence ? », Exposant neuf, n°2/2000, 28-31. DOCUMENT 30 DECLARATION DES DROITS DE L’ELEVE A L’EVALUATION 1. Tout élève a droit à l’évaluation. C’est donc un devoir pour les enseignants de l’informer régulièrement sur la qualité de son travail scolaire et de lui donner les moyens de l’améliorer. 2. Nul ne peut être arbitrairement évalué. Tout élève a donc le droit de connaîtr les objectifs qui lui sont proposés et les critères qui président à son évaluation. 3. Afin d’être évalué de la manière la plus exacte et la plus juste, tout élève a le droit de ne pas tricher sur l’état de ses connaissances et de ses compétences au cours des tests de contrôle. 4. Tout élève a le droit d’exprimer son opinion sur l’évaluation qui a été faite de son travail. 5. Tout élève est éducable et possède certaines capacités et aptitudes qui lui sont propres. Il a le droit d’être accompagné dans ses apprentissages par toute information et encouragement nécessaires à sa réussite. 6. Tout élève doit être respecté dans son intégralité personnelle et le sentiment de sa propre valeur, quels que soient ses résultats et son comportement scolaire. Il est indigne d’un éducateur d’humilier physiquement ou psychologiquement un enfant qui lui est confié. 7. Nul enfant ne doit être arbitrairement étiqueté ou a fortiori dévalorisé ; surtout sur des critères ne relevant pas du domaine scolaire. 8. Tout élève a droit à la reconnaissance de son identité et à une parole éducative qui s’adresse à lui personnellement. En aucun cas, son évaluation ne peut se résumer en une comparaison avec autrui ou un niveau théorique d’aptitude. 9. Tout enfant a droit à l’avenir et à de l’espoir d’un épanouissement raisonnable et approprié à ses capacités. Aucune appréciation scolaire ne doit donner l’impression que l’état actuel de son développement est définitivement figé et que des progrès lui sont à jamais interdits. ***************************** DOCUMENT 31 DOCUMENT 32 FICHE D’EVALUATION Pour participer à l’évaluation de la présente formation vous êtes prié de remplir les composantes du questionnaire en entourant la valeur appréciative appropriée. 1= insatisfait 2= peu satisfait 3= Moyennement satisfait 4 = satisfait 5 = très satisfait A- Généralités Durée de la formation 1 2 3 4 5 Commentaires : ……………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………… Ambiance durant la formation 1 2 3 4 5 Commentaires : ……………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………… Lieu de formation 1 2 3 4 5 Commentaires : ……………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………… Restauration 1 2 3 4 5 Commentaires : ……………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………..………… Hébergement (pour formation résidentielle) 1 2 3 4 5 Commentaires : …………………………………………………………………………………………………………………………………………………………………..……………………………… …………………………………………………………………………………………………………………………………………………………………………….……………………… B- Accueil et communication - On m’a communiqué que j’étais sélectionné (e) suffisamment à l’avance pour me permettre de planifier ma participation à cette formation : Oui Non Commentaires : ……………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………. - J’ai eu suffisamment d’informations pour me permettre de planifier correctement ma participation à cette formation : Oui Non Commentaires : ………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………. - La formation * Clarté des objectifs 1 2 3 4 5 Commentaires : …………………………………………………………………………………………………………………………………………………………………………………………………… - Les supports pédagogiques utilisés * Présentation générale 1 2 3 4 5 Commentaires : …………………………………………………………………………………………………………………………………………………………………………………………………… * Qualité de reproduction 1 2 3 4 5 Commentaires : …………………………………………………………………………………………………………………………………………………………………………………………………… * Articulation des parties 1 2 3 4 5 Commentaires : …………………………………………………………………………………………………………………………………………………………………………………………………… * Relation du contenu de la formation avec le curriculum 1 2 3 4 5 Commentaires : …………………………………………………………………………………………………………………………………………………………………………………………………… - Les outils didactiques utilisés * Etat du fonctionnement 1 2 3 4 5 Commentaires : …………………………………………………………………………………………………………………………………………………………………………………………………… * Maîtrise de l’utilisation par le formateur 1 2 3 4 5 Commentaires : …………………………………………………………………………………………………………………………………………………………………………………………………… - Précision des instructions durant la formation 1 2 3 4 5 Commentaires : ……………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………… - La méthodologie du cours 1 2 3 4 5 Commentaires : ……………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………… - Temps par activité 1 2 3 4 5 Commentaires : …………………………………………………………………………………………………………………………………………………………………………………………………… - Rythme de la formation 1 2 3 4 5 Commentaires : …………………………………………………………………………………………………………………………………………………………………………………………………… C- Assimilation 1. Je pense que ma participation à cette formation m’a permis d’acquérir des outils qui peuvent m’aider à améliorer mes performances 1 2 3 4 5 Commentaires : ………………………………………………………………………………………………………………………………………………………………………………………………………………………… …………………………………………………………………………………………………………… 2. Ce que j’ai le plus appris pendant cette formation: ……………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………… 3. Ce que je dois encore approfondir : ……………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………… 4. Je vais rencontrer des difficultés pour mettre en pratique les points suivants : ……………………………………………………………………………………………………………………………………………………………………………………………………………………………… D- Appréciation des formateurs - Le formateur XXXXXX 1 2 3 4 5 Commentaires : …………………………………………………………………………..……………………………………………………………………………………………………………………………………………… ……………………………………………………………………………………………..…… - Le formateur YYYYY 1 2 3 4 5 Commentaires : ……………………………………………………………………………………………………………………………………………………………………………………………………………………………… E- Recommandations Seriez-vous intéressé (e) par d’autres formations du même type sur d’autres cours ? ………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………….. ………… - La formation aurait été meilleure si : ………………………………………………………………………………………………………………. ………………………………………………………………………………………………………………. ……………………………………………………………………………………………………………… - Cette formation a-t-elle répondu à vos attentes 1 2 3 4 5 Commentaires : ………………………………………………………………………………………………………………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………