Abstract
Evaluation units provide essential information for administrators of public programs. Canada’s 2016 Policy on Results emphasizes evaluating “effectiveness,” with a focus on outcomes. However, it is unclear if evaluation units use this or more implementation-oriented definitions in practice, which has implications for the information evaluations will provide. This study examines 370 evaluation reports published by the largest federal departments to determine how evaluation functions are approaching effectiveness, using a combination of text mining and manual thematic analysis. Since 2014, evaluation reports have increasingly adopted implementation-oriented approaches, with variations across departments. Explanations for these patterns are discussed, along with policy implications.
Sommaire
Les unités d’évaluation fournissent des informations essentielles aux administrateurs des programmes publics. La Politique sur les résultats de 2016 du Canada met l’accent sur l’évaluation de l’« efficacité », en se concentrant sur les résultats. Cependant, on ne sait pas clairement si les unités d’évaluation utilisent cette définition ou des définitions plus axées sur la mise en œuvre dans la pratique, ce qui a des implications pour les informations que fourniront les évaluations. Cette étude examine 370 rapports d’évaluation publiés par les plus grands ministères fédéraux afin de déterminer comment les fonctions d’évaluation abordent l’efficacité, en combinant l’exploration de textes et l’analyse thématique manuelle. Depuis 2014, les rapports d’évaluation ont de plus en plus adopté des approches axées sur la mise en œuvre, avec des variations d’un ministère à l’autre. Les explications de ces tendances sont examinées, ainsi que leurs implications politiques.