Étape 3 : Définition des buts de l’évaluation et des questions d’évaluation

Les buts de l’évaluation peuvent être répartis dans différentes catégories selon leur fonction et l’usage prévu.

On distingue cinq fonctions d’évaluation :

• L’évaluation proactive examine dans quelle mesure un besoin existe au niveau de l’objet de l’évaluation et si ce dernier peut être mis en œuvre avec les ressources à disposition et dans le délai imparti.
• Dans l’évaluation éclaircissante, le concept d’un objet de l’évaluation est examiné sur la base de données quant à sa rigueur et à sa cohérence avec les besoins et les exigences définis.
• L’évaluation interactive s’intéresse aux forces et aux faiblesses d’un objet de l’évaluation et au potentiel d’optimisation qui peut en découler.
• L’évaluation de suivi se concentre sur des données relatives à des indicateurs clés, qui sont régulièrement collectées de manière standardisée sur une période relativement longue.
• L’évaluation d’impact vise à constater dans quelle mesure les objectifs de l’objet de l’évaluation ont été atteints et, le cas échéant, dans quelle mesure ce dernier a contribué à l’atteinte des objectifs.

Alors que l’évaluation proactive et l’évaluation éclaircissante sont réalisées avant le début possible de l’objet de l’évaluation, l’évaluation interactive se déroule en même temps que l’objet de l’évaluation, notamment lors de la phase de développement d’une première mise en œuvre ou dans une phase de refonte. En revanche, l’évaluation de suivi et l’évaluation d’impact ne peuvent être mises en œuvre que si l’objet de l’évaluation est suffisamment mûr.

La classification selon l’usage prévu fait une distinction entre l’orientation vers l’amélioration (création d’une base d’informations en vue d’une optimisation ou d’une stabilisation), l’obligation de rendre des comptes (preuve de qualité vis-à-vis des personnes/institutions responsables), la décision de principe (collecte de données en vue d’une décision pour ou contre l’exécution/la poursuite d’un objet de l’évaluation) et la génération de savoir (génération de nouvelles conclusions applicables de manière générale).

La combinaison des fonctions et des usages prévus fait apparaître deux rôles des évaluations :

• Les évaluations formatives ont généralement une approche interactive ou éclaircissante et visent à améliorer un objet de l’évaluation.
• Les évaluations sommatives ont souvent une approche proactive, de suivi ou d’impact et sont conçues pour rendre des comptes ou soutenir des décisions de principe.

Il existe des formes hybrides entre les deux rôles d’évaluation, mais, afin de garantir l’utilité et l’équité des évaluations, il est souhaitable qu’au moins un des deux rôles soit clairement prioritaire. Dans les évaluations de longue durée, une première évaluation formative peut être suivie d’une seconde évaluation sommative de l’objet d’évaluation alors mûr.

Par ailleurs, les évaluateurs peuvent être confrontés à des buts d’évaluation cachés (p. ex. à des fins de marketing ou de légitimation d’une décision déjà prise), dont l’identification et la clarification constituent un défi particulier.

Lors de l’élaboration des questions d’évaluation, l’objectif est de déterminer de quelles informations les usagers attendus ont besoin afin de remplir le but de l’évaluation. Cette étape se déroule en général dans le cadre d’un échange entre les évaluateurs, les mandants et les parties prenantes concernées.

De bonnes questions d’évaluation doivent remplir les caractéristiques ci-après :

• Questions « ciblées » (axées sur une partie spécifique de l’objet de l’évaluation)
• Questions « ouvertes » (demandent dans quelle mesure un élément est présent afin d’éviter les réponses fermées oui/non)
• Questions « réalistes » (se rapportent à des faits qui sont liées à l’objet de l’évaluation ou qui peuvent en découler)
• Questions « claires » (formulées de manière compréhensible)
• Questions « empiriques » (auxquelles on peut répondre avec des données)
• Questions « adaptées aux ressources » (qui peuvent être traitées avec les ressources disponibles)
• Questions « utiles » (par rapport aux intérêts d’information des parties prenantes)

On peut distinguer différents types de questions d’évaluation :

• Les questions descriptives concernent la description des conditions et des caractéristiques de l’objet de l’évaluation.
• Les questions évaluatives examinent dans quelle mesure l’objet de l’évaluation répond à des critères prédéfinis.
• Les questions causales vérifient dans quelle mesure des changements ou des stabilisations sont attribuables à l’objet de l’évaluation.