Vérification des mesures ministérielles sur le rendement

Sommaire

La vérification des mesures ministérielles sur le rendement était prévue dans le Plan de vérification axé sur les risques approuvé pour 2011-2014 de Diversification de l’économie de l’Ouest Canada.

Le but de la vérification consiste à déterminer dans quelle mesure le Ministère a conçu et mis en œuvre des contrôles s’appliquant à la collecte et à l’utilisation de l’information ministérielle sur le rendement, et à la production de rapports à cet égard. La collecte de données fiables permettant de mesurer les résultats à l’échelle du Ministère, et la communication de ces résultats sont essentielles pour appuyer les décisions en matière de planification. Cette vérification repose sur les résultats de la vérification interne sur l’information relative au rendement des projets qui s’est terminée en novembre 2011.

Cette vérification portait sur les processus et systèmes pertinents mis en place pour l’exercice 2010-2011. La vérification tient compte des changements qui sont progressivement mis en œuvre depuis ce temps.

Résultats et conclusions

De façon générale, le Ministère dispose d’un cadre adéquat lui permettant de recueillir de l’information sur le rendement à l’échelle du Ministère. Le Ministère procède actuellement à l’examen de son cadre de mesure du rendement dans le but de réduire le nombre de ces mesures et de les simplifier.

Le Ministère peut améliorer la façon dont il documente les écarts observés par rapport aux cibles et en assurer le suivi. En outre, le Ministère devrait accélérer la collecte des rapports finaux auprès des bénéficiaires afin que les rapports ministériels annuels sur le rendement reflètent l’information la plus à jour possible.

Énoncé d’assurance

Selon mon jugement professionnel en tant que dirigeant principal de la vérification, les procédures de vérification suivies et les éléments de preuve recueillis sont suffisants et permettent de corroborer les conclusions auxquelles j’en suis venu.

Cette assurance repose sur une comparaison des conditions, telles qu’elles existaient au moment de la vérification, et des critères de vérification préétablis qui ont été approuvés par la direction. Elle s’applique aux politiques et processus examinés. Les éléments probants ont été recueillis conformément aux politiques, directives et normes de vérification interne du Conseil du Trésor pour le gouvernement du Canada. Ils sont suffisants pour prouver aux membres de la haute direction la justesse des conclusions tirées de cette vérification.

Donald MacDonald
Dirigeant principal de la vérification

Introduction

Contexte

Les ministères fédéraux doivent produire des résultats mesurables concernant leurs dépenses et leurs investissements. Le Ministère recueille de l’information sur le rendement afin de pouvoir faire la preuve qu’il a atteint ses objectifs stratégiques. Cette vérification porte sur les mesures du rendement à l’échelle du Ministère et repose sur une vérification antérieure de l’information relative au rendement des projets. Les deux vérifications ont été coordonnées afin d’éviter tout chevauchement. Les résultats de la vérification de l’information relative au rendement des projets ont été intégrés à la planification de cette vérification.

Objectifs de la vérification

L’objectif de ce mandat était d’évaluer les processus et les contrôles internes s’appliquant :

• au développement de cibles et de mesures liées au rendement du Ministère;
• à l’utilisation des résultats sur le rendement et à leur communication.

Principaux risques

La direction élabore des contrôles qui visent à atténuer les risques. La vérification vise à fournir l’assurance que la direction a réellement mis en œuvre des contrôles efficaces dont le but est d’atténuer les risques suivants :

• les cibles ne sont pas bien définies;
• l’information sur le rendement est incorrectement recueillie et communiquée;
• l’information sur le rendement n’est pas exacte ou n’est pas fiable;
• les indicateurs ne sont pas interprétés de façon uniforme;
• l’information sur le rendement n’est pas prise en compte dans les décisions.

Portée et méthode

La vérification portait sur les mesures ministérielles sur le rendement mises en place pour l’exercice 2010-2011. La vérification visait également les processus établis pour fixer les cibles, la collecte de l’information ministérielle sur le rendement et la communication de cette information.

La vérification tenait compte d’une vérification antérieure portant sur l’information relative au rendement des projets. Les résultats et conclusions de cette vérification ont été intégrés à la planification de cette vérification.

Le travail de vérification a été mené par le truchement d’entrevues et de l’étude de la documentation et des bases de données.

Remerciements

L’équipe de la vérification tient à remercier la direction et les employés de l’administration centrale et des régions pour leur coopération et leur aide tout au long de ce mandat.

Observations et recommandations

Établissement des cibles

Critère : Les attentes en matière de rendement sont claires et concrètes. Il existe un processus permettant d’établir des indicateurs et des cibles.

La Politique du Conseil du Trésor sur la structure de la gestion, des ressources et des résultats de 2010 oblige tous les ministères à se fixer des objectifs stratégiques, à élaborer une Architecture d’activités de programmes (AAP) et à se doter d’une structure de gouvernance appropriée pour encadrer la prise des décisions. Le Ministère a élaboré une Architecture d’activités de programmes qui sert de cadre pour lier les résultats des projets à ceux du Ministère. L’AAP forme la base du cadre de mesure du rendement du Ministère. L’AAP actuelle comprend cinq activités de programmes et 21 sous-activités. Au total, l’AAP compte 108 indicateurs, dont 70 sont des mesures de résultats et 39, des mesures de production. Des cibles sont établies pour les 108 mesures et les résultats obtenus à cet égard sont ensuite communiqués par le truchement du processus d’évaluation du cadre de responsabilisation de gestion et du rapport ministériel sur le rendement. Le Ministère procède actuellement à l’examen de son AAP et du cadre de responsabilisation de gestion afin de mieux refléter les activités et résultats actuels du Ministère. Dans la vérification de l’information sur le rendement des projets, nous avons recommandé que le Ministère simplifie son cadre de mesure du rendement et réduise le nombre d’indicateurs. L’examen actuel de l’AAP et du cadre de responsabilisation de gestion constituent un pas dans la bonne direction.

Chaque année, les cibles en matière de résultats et de production sont établies et présentées aux membres du Comité exécutif, qui doit les approuver. À la mi-année, au troisième trimestre et à la fin de l’exercice, les résultats obtenus (et comparés aux cibles) sont communiqués au Comité exécutif. Le Rapport ministériel sur le rendement sert de fondement pour communiquer les résultats de l’année précédente au Parlement et aux Canadiens. Dans certains cas, il s’est révélé impossible de communiquer les résultats obtenus relativement à certains indicateurs macroéconomiques du rapport ministériel sur le rendement, car les données n’étaient pas disponibles; dans d’autres cas, le Ministère a été obligé de recourir à des données datant de deux ans et plus. En outre, les cibles pour les années à venir étaient souvent fixées avant que les résultats de l’année précédente n’aient été déterminés, ce qui ajoutait ainsi à la difficulté d’établir des cibles réalisables.

L’AAP actuelle et le cadre de mesure du rendement sont lourds et comprennent de trop nombreux indicateurs et de trop nombreuses sous-activités. Les agents de projets recueillent des données non seulement sur les indicateurs de l’AAP, mais également sur des indicateurs propres à un projet donné. Ces indicateurs permettent aux agents de suivre l’évolution d’un projet; cependant, les données qui y ont trait ne sont pas intégrées aux rapports sur le rendement ministériel. Par conséquent, une grande quantité d’information est recueillie, sans être utilisée pour la production des rapports ministériels sur le rendement. Le Ministère doit mettre l’accent sur les indicateurs qui reflètent exactement les résultats obtenus, qui sont simples, valides, fiables et mesurables, et qui permettent au Ministère d’établir véritablement les faits sur son rendement.

Il est vrai qu’il est bien plus facile de mesurer la production (ou les extrants) que de mesurer les résultats. Pour le Ministère, la difficulté consiste à trouver une façon de mesurer les résultats attribuables à un projet et qui peuvent servir à la production des rapports ministériels. Les mesures du rendement liées aux objectifs stratégiques et aux activités de programme sont souvent trop vagues et influencées par des facteurs externes sur lesquels le Ministère n’exerce aucun contrôle. Il est souvent plus facile de mesurer des éléments que l’on peut recueillir, plutôt que ce qui est réellement important.

Les résultats rapportés étaient souvent soit très supérieurs aux cibles fixées, soit bien en deçà. Même si certaines précisions relatives à ces écarts ont été rapportées, les motifs de ces écarts ont été peu analysés et aucun plan d’action n’a été prévu pour remédier aux écarts importants. En outre, on a demandé aux fonctionnaires de tenir compte des écarts observés pour établir les cibles de la période suivante; cependant, il ne semble pas que les tendances à plus long terme aient été étudiées. Afin de tirer le maximum des rapports sur les écarts, le Ministère doit prendre des mesures de redressement pour remédier aux écarts importants.

Recommandation 1 : Le Ministère devrait documenter les motifs justifiant les écarts importants observés et élaborer des plans d’action pour y remédier.

Exactitude des résultats rapportés

Critère : Les résultats obtenus par rapport aux attentes ont été rapportés. L’information sur le rendement est complète et étayée par des sources fiables et des données de qualité.

Même si cela n’est pas obligatoire, le Ministère remet chaque année au Parlement un rapport sur son rendement cumulatif au niveau des sous-activités, par le truchement de son rapport ministériel sur le rendement. En outre, le Ministère transmet ses résultats cumulatifs annuels sur le rendement au Secrétariat du Conseil du Trésor en vue du processus d’évaluation du cadre de responsabilisation de gestion. Ces deux rapports annuels distincts et séparés alourdissent le fardeau administratif du Ministère, mais ils permettent de préciser ses résultats en matière de rendement.

Nous avons étudié 48 projets afin de déterminer à quel moment les résultats ont été enregistrés. Nous avons observé que la date de réalisation de l’objectif était en fait la date à laquelle le rapport final était saisi dans le système de production de rapports ministériel, plutôt que la date à laquelle l’objectif a réellement été atteint. Il fallait souvent jusqu’à trois mois avant que les résultats ne soient saisis dans le système. Les résultats définitifs de 38 des 48 projets sélectionnés (ou 79 %) ont été rapportés au cours d’un exercice différent de celui qui était ciblé à l’origine. Les retards administratifs importants ont une incidence sur la communication des résultats en temps voulu.

Nous avons étudié 68 projets afin de vérifier si les clients déposaient leur rapport final au bon moment. Des 68 rapports étudiés, 39 (ou 57 %) ont été remis après la date d’échéance précisée dans l’entente de contribution pour le dépôt du rapport final. Lorsqu’il y a des retards quant au dépôt des rapports finaux ou au téléchargement de ces rapports, il existe un risque que le rendement soit rapporté pour une autre période que celle qui était ciblée à l’origine. Des 39 rapports déposés après la date d’échéance, 36 % avaient un mois de retard, 28 % avaient deux mois de retard et 36 % avaient entre 3 et 6 mois de retard. Un des rapports de l’échantillon a été déposé deux ans après la date d’échéance. Cela a forcément des répercussions négatives sur l’exactitude des rapports ministériels sur le rendement. Le Ministère doit déployer des efforts supplémentaires pour faire respecter les dates d’échéance établies afin de s’assurer que le rendement obtenu relativement aux cibles est rapporté au cours de la bonne période.

Recommandation 2 : Le Ministère doit veiller à ce que les clients remettent leurs rapports finaux à temps pour lui permettre d’améliorer l’exactitude et la présentation de ses propres rapports sur le rendement en temps voulu.

Utilisation de l’information sur les résultats pour la prise des décisions

Critère : Le Ministère utilise l’information sur le rendement afin de prendre des décisions.

Actuellement, l’information sur le rendement est à la base des rapports ministériels transmis aux organismes centraux pour faire le point sur les résultats obtenus. Cependant, au sein du Ministère, le suivi continu semble reposer davantage sur les indicateurs financiers (p. ex. les dépenses) que sur les mesures du rendement, qui servent à la planification et à la prise des décisions. Au cours de l’exercice 2011-2012, les rapports produits pour le Comité exécutif ont été améliorés grâce à l’établissement d’un tableau de bord permettant de faire le suivi des cibles non financières sur une base trimestrielle. Avec la mise en œuvre complète de la nouvelle stratégie d’investissement et les changements apportés aux processus de planification, le Ministère continuera d’améliorer son utilisation (et la fiabilité) de l’information sur le rendement pour prendre ses principales décisions en matière de planification.

Lorsque le Ministère disposera d’une série de données de base plus complète pour mesurer son rendement, il pourra alors améliorer ses processus de suivi et de production de rapports grâce à l’utilisation d’analyses des tendances. Ces analyses permettent de dégager les succès obtenus et de cerner les secteurs vers lesquels le Ministère pourrait rediriger ses ressources.

Conclusion

Le Ministère s’est doté d’un cadre adéquat pour communiquer son rendement et il continue de l’améliorer. Afin de présenter la situation réelle du Ministère, ce dernier devrait poursuivre son travail visant à simplifier son cadre, réduire le nombre d’indicateurs qui représentent des valeurs importantes à mesurer et veiller à ce que l’information recueillie serve à la prise des décisions.

Stratégies et démarche de la vérification

Planification

La planification du travail de vérification a commencé en novembre 2011 et le travail de terrain s’est terminé en janvier 2012. Des réunions préalables à la vérification et des enquêtes préliminaires ont été menées afin de faciliter l’identification des principaux risques et de définir les critères de la vérification, les éléments de contrôle et les stratégies de vérification. Le personnel du Ministère a participé au processus de vérification, selon les besoins.

Normes et méthodes

L’équipe a utilisé les normes de vérification interne du gouvernement du Canada pour la planification et l’exécution de la vérification, et la production du rapport. La vérification est fondée sur des données probantes et fournit une certitude de vérification entièrement corroborée. Toutes les données probantes ont été examinées et analysées à la lumière des critères de vérification afin de faire le point sur les résultats obtenus. Les sources utilisées étaient les suivantes : entrevues et étude de la documentation, examen et analyse des politiques, documents de référence et pratiques de gestion, examen des vérifications antérieures ou d’études réalisées par d’autres certificateurs, examens analytiques et développement sur les causes et les effets des conditions observées, et suivi des vérifications internes précédentes.

Échantillonnage

L’équipe de la vérification interne a sélectionné, en se fiant à son seul jugement, un échantillon de 48 projets complétés pour lesquels les résultats ont été communiqués en 2010-2011, afin d’évaluer l’exactitude et la validité des données. En outre, 68 autres projets complétés entre mars 2011 et janvier 2012 ont été sélectionnés et examinés afin de vérifier leur conformité aux dates fixées quant à la production des rapports.

Donald MacDonald, Dirigeant principal de la vérification

Kathy Locke, Gestionnaire de la vérification

Wilfred Dimailig, Vérificateur