Étape 4 : Détermination des critères d’appréciation
Les critères d’appréciation sont une condition préalable à toute appréciation systématique et équitable, elle-même indispensable à toute évaluation. Les critères sont définis lors de la quatrième étape du processus d’évaluation.
Les critères constituent la base de référence pour apprécier le mérite ou l’aptitude d’un objet de l’évaluation. Les aspects de l’appréciation jugés pertinents doivent être mesurables, c’est-à-dire opérationnalisés. En outre, pour chaque critère opérationnalisé, un point de critère (seuil) doit être défini. Ce « tournant », au cours duquel l’appréciation passe de positive à négative ou de positive à très positive, etc., peut être décrit soit par un chiffre, soit par une indicateur de statut (cible ou intermédiaire) sous forme de texte. Des critères opérationnalisés doivent être définis avant le début de la collecte des données, mais au plus tard avant le début de l’analyse des données. On évite ainsi que la pondération des critères soit ajustée ou que les points des critères soient changés à cause de la collecte et de l’analyse des données ou des intérêts de certains groupes, par exemple dans un but de justification. Cela est particulièrement important si l’évaluation doit être utilisée en vue d’une décision de principe ou pour rendre des comptes.
La définition de critères pour une appréciation appropriée d’un objet de l’évaluation constitue souvent un défi. En aucun cas, les critères d’appréciation ne doivent être fixés de manière ad hoc, purement intuitive, incompréhensible et sans vérification méthodologique.
La liste ci-après contient quatre sources génériques de critères ; elle peut être utilisée comme une liste de contrôle pour identifier des critères :
- le cadre de référence dans lequel les acteurs situent l’objet de l’évaluation (p. ex. la charte d’une organisation ou une théorie des sciences sociales).
- le consensus social ou le discours sur le droit, l’éthique et les valeurs sociales.
- un cadre logique qui permet de fixer des critères concernant la cohérence des concepts, la conformité de la mise en œuvre et la possibilité d’un effet.
- les ouvrages spécialisés en matière d’évaluation qui utilisent divers critères, dont la transférabilité dans l’évaluation prévue peut être vérifiée.
Il est nécessaire d’avoir au moins un critère opérationnalisé pour chaque question évaluative et causale. Idéalement, la liste définitive des critères (étendue et pondération) est établie avec la participation des différentes parties prenantes. Les points de critère doivent également être définis de manière compréhensible, en tenant compte du contexte et des spécificités de l’objet de l’évaluation.
Il est essentiel que les appréciations reposent sur des critères opérationnels avec des points de critères s’ils sont utilisés pour une décision de principe ou pour rendre des comptes. Pour chaque évaluation, il faut déterminer qui fixe les critères d’appréciation et quel rôle les évaluateurs jouent dans ce contexte. L’un des principaux défis de l’évaluation est de trouver un équilibre entre les différentes exigences d’appréciation et de créer la transparence à ce sujet.