Evalués ?

Je réalise que j'ai oublié de parler de notre par l'AERES. En fait le processus n'est pas tout à fait fini mais la visite du comité d'évaluation a eu lieu il y a environ un mois.

Somme toute, ce n'est pas très différent de ce qui se faisait avant sous l'égide du CNRS. Nous rédigeons un rapport qui est transmis à un comité de visite qui se pointe durant deux jours. Les principales différences du processus proviennent en pratique du calendrier qui est plus étalé et en théorie de la méthodologie suivie (mais entre la théorie et la pratique, il y a souvent une distance).

L'autre grosse différence, c'est que l'AERES met les rapports d'évaluation en ligne. 

En fait, la principale difficulté tient à la complexité de la situation à analyser au regard du temps disponible pour le faire. Les membres du comité ne restent que 48 heures au labo et doivent appréhender la réalité d'une unité de 100 personnes travaillant sur un très large éventail de thèmes (consultez un de nos vieux rapports d'activité pour en savoir plus). En pratique, je doute qu'ils aient le rapport très longtemps à l'avance (notre comité d'évaluation n'était pas constitué fin décembre pour une visite début février!). Et enfin, nous sommes encore marqués en France par une culture de la "chasse aux bons points". Donc forcément, le but c'est d'avoir la meilleure note possible là où le vrai interêt d'une évaluation, c'est d'arriver à une caractérisation admise par tous des points forts et des points faibles de notre organisation collective.

Bref, autant dire que sortir de l'aspect un peu "messe" de l'exercice n'est pas gagné... 

Je crois que ces ecceuils pourraient être plus probablement évités si certaines étapes du processus étaient menées différemment. La visite finale est un moment trop dense pour aller forcément au fond des choses, surtout dans un gros labo. Je pense qu'elle devrait être préparée par des prévisites des experts qui rencontreraient déjà les gens dans leur domaine d'expertise. De telles prévisites permettraient déjà d'avoir une première vision fine de l'activité et des points forts et faibles et surtout d'établir le dialogue entre évaluateurs et évalués et donc de diminuer l'effet "chasse aux bons points". Dans ce contexte, la visite complète serait le temps de l'intégration de ces divers élements à l'échelle du labo.

Evidemment, on va dire que ça couterait plus cher encore. Mais je crois qu'il ne faut pas oublier qu'en matière d'évaluation, le cout doit toujours être évalué au regard des retombées concrètes. Les batteries d'indicateurs, les rapports de plusieurs centaines de pages, le déplacement d'un comité d'une quinzaine de personnes sont des choses qui ont un cout. Mais si en sacrifiant un peu de temps sur l'autel du cout, on aboutit à des exercices un peu formels, je ne suis pas sur que l'argent public soit bien dépensé.

L'énorme effort d'évaluation, analyse et incitation fait dans le domaine de l'éducation secondaire et primaire aux Etats-Unis nous fournit un exemple intéressant à méditer et qui incite à une humilité pragmatique. Après des décennies de pratiques d'évaluation de la performance et probablement des milliards de $ dépensés, on commence à peine à réaliser les facteurs qui influent significativement sur le résultat du système éducatif.

Prenons garde qu'il n'en soit de même en matière de recherche et d'enseignement supérieur...