Les conclusions et recommandations concernant la collecte de données et de rapports de performance

Nous rappelons que notre mandat est d'effectuer une analyse concernant la collecte de données et les rapports de performance soumis par les OFVE à DEO. DEO utilise par la suite ces informations pour faire ses rapports aux Canadiennes et aux Canadiens.

Dans cette section, nous présentons les conclusions et recommandations concernant la collecte de données et les rapports de performance pour les programmes Planification communautaire et Développement des collectivités et Amélioration de la productivité des entreprises.

Les conclusions et recommandations concernant la collecte de données et de rapports : planification communautaire et développement des collectivités

Les conclusions

Toutes les OFVE produisent une documentation détaillée concernant leur travail dans ces deux programmes. La documentation prend la forme de demandes de fonds adressées à DEO ou à d'autres bailleurs de fonds, de correspondance et protocoles d'ententes avec des partenaires qui font leurs propres demandes de fonds, de rapports remis aux conseils d'administration des OFVE et de rapports publics.

La dimension quantitative est relativement facile à capter. Les OFVE documentent les noms des partenaires, le nombre d'activités réalisées, le nombre de projets réussis ou en cours d'exécution, ainsi de suite.

En termes de preuve objective, la seule critique entendue lors de certains groupes témoins provenait de quelques personnes qui indiquaient que les OFVE parfois « prennent le crédit » pour des projets qui ne sont pas les leurs. Les discussions avec ces personnes nous ont permis de comprendre leurs perspectives. Selon eux, les OFVE devraient rapporter à DEO uniquement les projets qu'elles ont initiés elles-mêmes et qu'elles dirigent et non tous les projets auxquels elles participent.

Les définitions des indicateurs reflètent une réalité importante : les OFVE initient rarement des projets par elles-mêmes. La grande majorité des projets mentionnés par les groupes témoins et analysés dans la revue de la documentation sont initiés par des individus ou des groupes locaux. Suite à une communication en provenance de la communauté locale, un agent de l'OFVE se rend sur place et le processus s'enclenche.

C'est pourquoi les définitions des indicateurs se lisent : nombre de projets ou d'activités ou d'améliorations de services auxquels l'OFVE a participé ou qu'elle a facilité ou organisé. Dans ce sens, les indicateurs mesurent la sphère d'influence des OFVE. Cela est confirmé par les commentaires de certains groupes témoins qui affirment que la présence de l'OFVE dans leur dossier ajoute à la crédibilité de leur démarche leur permet un plus grand accès à des expertises et des ressources. Pour ces derniers, la participation de l'OFVE à leur projet est importante. L'indicateur est donc valide et les OFVE rapportent les données correctement.

La qualité et la richesse de la documentation reliée aux activités de planification communautaire varient d'une OFVE à l'autre. Selon nous, il s'agit en Alberta et au Manitoba d'une documentation produite dans une optique plutôt commerciale, qui présente des analyses d'affaires. En Saskatchewan et en Colombie-Britannique, les descriptions sont rédigées dans une optique plutôt communautaire, donc plus détaillées et élaborées. Dans tous les cas, l'information est complète et permet de déterminer aisément les travaux réalisés par les OFVE en termes de développement des collectivités.

En dernier lieu, les conclusions que nous devons tirer, selon notre mandat, peuvent comprendre une comparaison des impacts entre les quatre régions. Nous avons noté que les quatre OFVE utilisent des approches de planification communautaire identiques. Les réalités sur le terrain font en sorte que les résultats atteints varieront d'une province à l'autre même si chaque OFVE dispose du même budget de base.

L'étude ne peut pas comparer les impacts en planification communautaire entre les quatre régions pour les raisons suivantes.

La grande majorité de la population francophone au Manitoba est concentrée dans un rayon d'environ deux heures de route de Winnipeg. Il est donc facile de rejoindre toutes les communautés qui sont concentrées dans les municipalités bilingues avec une équipe située à Winnipeg.

La population francophone de la Saskatchewan est la plus petite des quatre provinces de l'Ouest, la plus rurale et la plus dispersée. Lors de la tenue des groupes témoins en mai 2008, durant trois jours en Saskatchewan, nous avons ajouté 1 300 kilomètres à l'odomètre d'une voiture de location et avons rejoint 26 personnes dans trois groupes témoins. En plus, les gens de Willow-Bunch et Ponteix ont accepté de se déplacer pendant une heure de route pour que le groupe témoin puisse avoir lieu dans un endroit central, à Limerick, ce qui a nous a évité quelques centaines de kilomètres supplémentaires de déplacement. (Le groupe témoin à Regina a eu lieu en juin.) Dans ces circonstances, il faut comprendre qu'un organisme disposant d'une somme fixe de ressources financières obtiendra relativement moins de résultats puisque les déplacements et les frais de location de bureaux en région exigeront plus de ressources qu'au Manitoba et que la population est moins nombreuse.

La population francophone de l'Alberta est grandement dispersée sur le territoire de la province. Par exemple, il faut cinq heures pour se rendre de la ville d'Edmonton à Falher et trois heures pour se rendre à Bonnyville. Tout comme en Saskatchewan, une partie plus importante des sommes fixes en ressources financières sont utilisées pour les déplacements et la délocalisation des équipes de travail.

La Colombie-Britannique connaît une situation semblable. Comox est à quatre heures de route de Vancouver et Nelson est à sept heures de route. À toutes fins pratiques, il faut voyager en avion, ce qui augmente substantiellement les dépenses. Les gens dans ces deux régions déploraient le fait que l'OFVE n'ait plus de personnel local.

Vu ces circonstances, l'étude ne peut pas déterminer si telle OFVE a des meilleurs résultats que telle autre, puisque les éléments de comparaison sont tellement différents.

La recommandation

Les résultats obtenus par la mise en œuvre de ces deux programmes sont forcément d'ordre qualitatif puisqu'il s'agit de planification communautaire et de développement des collectivités.

Les indicateurs utilisés depuis 2006 donnent un bon portrait des extrants des OFVE - nombre de partenariats mis sur pied, nombre d'accroissement de la capacité des organismes communautaires, etc.

Ils sont utiles mais ces indicateurs ne donnent pas un aperçu des résultats quantitatifs que les groupes témoins eux-mêmes ont notés. Le plus important de ceux-ci est la valeur des investissements en immobilisation générés dans les projets qui ont reçu un appui important des OFVE et les emplois créés par la suite.

Comme exemples, nous avons repéré trois projets communautaires lors des groupes témoins qui, à eux seuls, ont généré un investissement total de plus de 10 millions de dollars en immobilisation. Dans ces trois cas, les promoteurs du projet affirmaient que l'appui de l'OFVE a été le principal déterminant de succès.

Chacun de ces trois centres génère des nouveaux emplois permanents. L'impact de huit ou dix emplois permanents créés dans un petit village est très significatif. En plus, ces projets génèrent des emplois temporaires. La construction d'un centre de 2 millions de dollars peut générer 30 emplois pendant une période de 3 mois comme exemple.

Ce sont des effets significatifs quantitatifs qui n'apparaissent pas dans les rapports actuels.

Recommandation un (1) : Que les OFVE et DEO développent les instruments pour capter la valeur des investissements différentiels, les emplois temporaires et les emplois permanents générés par les projets d'immobilisation communautaires qui ont reçu un appui substantiel des OFVE.

Pour éviter les dédoublements, il serait nécessaire de bien différencier les projets mis sur pied dans le cadre de ces deux programmes par rapport aux projets réalisés par des entrepreneurs dans le cadre du programme d'amélioration de la productivité des entreprises.

Haut de la page

Les conclusions et recommandations concernant la collecte de données et de rapports : amélioration de la productivité des entreprises et de l'entrepreneuriat

La réalisation de ce volet de l'étude a présenté plusieurs défis en termes de collecte et de validation des données remises à DEO par les OFVE.

Nous avons terminé le sondage auprès des entrepreneurs et l'analyse de la documentation fournie par les OFVE en mai et juin 2008, tel que prévu.

Nous avons par la suite analysé les données fournies par les OFVE à DEO. Nous avons constaté très rapidement des écarts importants d'information dans certaines rubriques entre nos observations sur le terrain lors de la tenue des groupes témoins, les résultats du sondage, la documentation des OFVE et les résultats rapportés à DEO.

Avec l'appui des responsables de DEO et les directions générales des OFVE, nous avons travaillé avec ténacité durant les mois de juillet, août, septembre et octobre pour corriger certaines données qui étaient clairement erronées et pour mieux comprendre la cause des écarts.

Certaines données semblaient disproportionnées comparativement à la réalité sur le terrain pour les années 2003 à 2006. Cela n'est pas évident en analysant les données de chaque OFVE sur une base individuelle, ni en analysant seulement les données cumulatives pour les quatre OFVE.

Cela devient évident uniquement après avoir effectué une analyse des données de chaque OFVE et du total cumulatif pour chacune des rubriques.

Voici quatre exemples.

Les OFVE ont remis des chiffres sous la rubrique Nombre d'entreprises recevant de l'aide à la planification, les flux de trésorerie, l'information sur le marché, etc. durant les années 2003 à 2006. Le total cumulatif rapporté est 880, 958 et 1 047 pour ces trois années. A priori, ce total ne pose pas de problèmes.

Ce n'est seulement qu'après une analyse des données de chaque OFVE que l'on peut constater que ce chiffre est vide de sens.

En 2004-2005, la Saskatchewan a rapporté le chiffre 257 sous cette rubrique. Dans la même année, le Manitoba a rapporté le chiffre 139 sous cette rubrique.

Toute personne qui connaît un peu les réalités sur le terrain pourrait légitimement remettre en question la précision de ces données, puisque la population fransaskoise est beaucoup plus petite que la population franco-manitobaine. De ce fait, une telle donnée peut affecter la crédibilité de l'OFVE dans sa communauté.

Le fait est que la Saskatchewan a bien rapporté ses données selon la définition, soit le nombre de fois qu'un service à été donné. La même entreprise pouvait être comptée 20 fois, comme exemple, s'il fallait 20 interactions pour compléter une planification. Le Manitoba a fourni uniquement le nombre d'entreprises servies et non le nombre d'interactions avec chaque entreprise. Dans le cas de la Saskatchewan, les discussions tenues ultérieurement avec les employés de l'OFVE ont permis de comprendre qu'en moyenne, ils ont eu 10 interactions avec chaque entreprise. Ils auraient donc travaillé avec environ 25 entreprises durant l'année. Si le chiffre sous cette rubrique reflétait le nombre d'entreprises, soit 25 en Saskatchewan et 139 au Manitoba, il serait exact. Si le chiffre reflétait le nombre d'interactions dans les deux cas, soit 257 en Saskatchewan et 1 390 au Manitoba (en présumant 10 interactions par entreprise), le chiffre serait exact.

En combinant les deux, le chiffre est vide de sens, il ne reflète pas l'impact des OFVE et n'est pas utilisable.

Voici le second exemple. Les OFVE et DEO voyaient ces difficultés et ont changé le système en 2006 en créant la rubrique Nombre de clients servis.

Le cumulatif rapporté par les quatre OFVE en 2007-2008 est 2 593, réparti ainsi entre les quatre provinces :

• Manitoba : 172 clients;
• Saskatchewan : 375 clients;
• Alberta : 899 clients;
• Colombie-Britannique : 1 147 clients.

Nous rappelons la définition de cette rubrique : Le nombre total de clients identifiables servis durant la période visée par le rapport. Inclut les personnes qui ont reçu un prêt, l'aide aux travailleurs autonomes, les services consultatifs et les demandes de renseignements. Chaque client n'est compté qu'une seule fois, peu importe le nombre de services qu'il a reçu durant la période visée. Les clients anonymes ne sont pas inclus afin d'éviter le double comptage.

Encore une fois, nous savons que le Manitoba travaille avec plus de 172 clients entrepreneurs au total en une année. Il rapporte ici uniquement les nouveaux clients servis. Les autres provinces rapportent, correctement selon la définition, tous les clients qui entrent dans leurs portes et demandent un service qui dépasse une petite information ponctuelle, incluant les anciens clients qui reviennent chercher un service.

Puisque les OFVE n'utilisent pas la même méthodologie, le total cumulatif est de cette rubrique est aussi vide de sens.

Voici le troisième exemple, sous la rubrique Demandes pour les renseignements. Nous rappelons la définition : cette rubrique peut inclure les demandes de « renseignements généraux » et les demandes de « renseignements de base ».

1. Renseignements généraux : le nombre de services de renseignements généraux (sur l'économie, le milieu des affaires, etc.) fournis aux clients. Inclut les particuliers et les entreprises, ainsi que les demandes par téléphone, en personne, par courrier électronique ou lors de séances de groupe (multipliez par le nombre de participants). Comptabilisez uniquement les services qui touchent aux activités principales de l'OFVE (p. ex. ne pas inclure les demandes telles que « Où est l'hôtel de ville », etc.)
   
   
2. Renseignements de base : le nombre de services consultatifs liés à des compétences précises et fournis à un entrepreneur ou à une entreprise sur une base individuelle. Nous avons comptabilisé chaque interaction avec un client comme un seul service, peu importe la durée de l'interaction ou le nombre de services individuels différents fournis durant l'interaction.

Le total des données rapportées par les quatre OFVE sous cette rubrique pour l'année 2007 2008 est 15 039 demandes de renseignements. La répartition par province est la suivante :

• Manitoba : 676 demandes;
• Saskatchewan : 517 demandes;
• Alberta : 5 038 demandes;
• Colombie-Britannique : 8 808 demandes.

Encore une fois, nous voyons que l'immense disparité des résultats rapportés indique une compréhension différente de la définition de cette rubrique et le cumulatif rapporté pour les quatre OFVE. En utilisant comme hypothèse qu'il y a 220 jours de travail par année, le Manitoba donnerait 3,07 renseignements par jour et la Colombie-Britannique en donnerait 40,04. Comme toutes les OFVE n'ont pas la même compréhension de cette rubrique, le total n'est pas utilisable pour démontrer l'impact des quatre OFVE. D'ailleurs, la Colombie-Britannique rapportait le chiffre 0 sous la même rubrique pour l'année 2006-2007. Il y a clairement des écarts de compréhension importants.

Voici le quatrième exemple. Il s'agit de la rubrique - Investissements suscités par effet de levier grâce à l'aide aux entreprises ($). La définition est la suivante : Investissements suscités par effet de levier des clients de l'OFVE résultant de prêts accordés par une autre institution financière ou par l'entrepreneur, et ce, grâce à l'aide aux entreprises. Les sources peuvent inclure les institutions financières, autre gouvernement, autres sources (p. ex. capital-risque), et capitaux propres.

Pour leur part, le CDEM au Manitoba et le CDEA en Alberta rapportent ces données, mais utilisent deux façons différentes de les calculer.

Haut de la page

Le CDEM rapporte uniquement les investissements différentiels suite aux services-conseils offerts aux entrepreneurs - il s'agit donc de prêts ou subventions obtenues par les entrepreneurs en plus des investissements des entrepreneurs eux-mêmes. C'est ce que la définition demande. Le total rapporté est de 36 265 559 $. Nos analyses détaillées réalisées dans le cadre de cette étude identifiaient la somme de 38 939 515 $. Nous n'avons pas pu déterminer la cause de cette disparité. Le sondage confirme l'impact du CDEM à ce niveau. Au total, 51 des 58 répondants ont confirmé qu'ils avaient obtenu un financement public ou privé grâce à l'aide du CDEM.

Le CDEA rapporte tous les effets de levier, toute source confondue, incluant les valeurs d'immobilisation de projets communautaires obtenus suite à son intervention. Comme exemple, il rapporte la somme de 8 867 913 $ en 2006-2007. Cela comprend la part des subventions d'immobilisation d'un centre communautaire obtenues suite à l'intervention de l'organisme ainsi que des revenus de commerçants à des foires commerciales et autres effets de levier.

Pour leur part, nous avons noté que deux OFVE, le CCS en Saskatchewan et la SDECB en Colombie-Britannique ne rapportent pas les investissements différentiels qui découlent de leur travail. Ils ne posent pas cette question aux entrepreneurs qui reçoivent leurs services. Nous avons confirmé qu'un agent en Saskatchewan a provoqué un effet de levier de 12 254 529 $, tel que défini sous cette rubrique au courant des cinq années examinées. Onze répondants au sondage de la Saskatchewan, qui représentent 44 % du nombre total de répondants au sondage de la province, ont donné l'effet de levier causé par le CCS. Dans plus d'un cas, la somme dépassait les 100 000 $. Ce sont des impacts importants qui ne sont pas captés par l'organisme, donc sous-rapportés.

Encore une fois, l'addition des données fournies sous cette rubrique donne un chiffre cumulatif vide de sens et ne démontre pas l'impact réel des OFVE dans l'Ouest.

Nonobstant ces difficultés pour ces rubriques, l'étude d'impact conclut que les données rapportées concernant le nombre d'entreprises créées ou améliorées sont valides. Le total rapporté par les quatre OFVE pour les cinq années est de 716. Nous avons vu 649 noms d'entreprises ayant reçu des services au courant des cinq dernières années. Ces noms ne constituaient pas la banque de données totale des OFVE, mais ils ont constitué à la fondation de la banque de données pour réaliser le sondage. Tous les répondants ayant complété le sondage ont confirmé qu'ils avaient bien reçu un service de l'OFVE.

L'étude d'impact conclut aussi que les données rapportées concernant le nombre d'emplois créés ou améliorés sont aussi valides. Le total rapporté pour la période 2003 à 2008 est 1 610, réparti de la façon suivante entre les provinces :

• Manitoba : 940 emplois;
• Saskatchewan : 127 emplois;
• Alberta : 140 emplois;
• Colombie-Britannique : 403 emplois.

Le résultat du Manitoba, qui a créé un gabarit simple qui permet la collecte de données fiables, constitue 58 % de ce total. Nous avons vu les noms des entreprises ayant créé ou maintenu ces emplois. Le sondage a atteint exactement 20 % du total des entreprises ayant reçu une aide; ces entrepreneurs rapportent une augmentation de 203 emplois. En supposant que le résultat du sondage peut être extrapolé sur l'ensemble des entreprises ayant reçu une aide, le total d'emplois créés serait 1 015 (203 * 5) et le Manitoba en rapporte 940, un résultat qui s'approche de l'extrapolation. L'analyse de la banque de données du CDEM confirme la création ou l'amélioration de 1 028 emplois.

La Saskatchewan n'a pas encore développé un gabarit de collecte de données complet et utilisé par tous les agents de la même façon. Le CCS fait état de 127 emplois créés ou améliorés pour les cinq ans. En Saskatchewan, les entrepreneurs au sondage ont indiqué que le nombre d'employés est passé de 22 avant le recours à l'aide de l'OFVE à 103 après, ce qui donne une augmentation de 81 emplois. Nous rappelons que 40 % de toutes les entreprises ayant reçu une aide du CCS ont été rejointes lors du sondage. Si le montant rapporté peut être extrapolé sur l'ensemble des personnes ayant reçu un service, le total serait 203. L'agent qui conserve ces données pour ses clients nous a remis une base de données présentant le nombre d'emplois créés ou maintenus suite au travail effectué. Nous avons vu 114 emplois à temps plein et 61 emplois à temps partiel. Nous avons pu valider une partie de ces données lors du sondage, avec ces entrepreneurs qui ont accepté de participer à l'entrevue. L'étude conclut que le total rapporté par la Saskatchewan pour les cinq années est valide. Puisque le CCS n'a pas développé une méthodologie rigoureuse à cet égard et que les autres agents n'ont pas rapporté de chiffre, il est raisonnable de croire que ce total est probablement sous-rapporté.

L'Alberta rapporte 140 emplois créés, maintenus ou améliorés au courant des cinq années. Soixante-six pour cent (66 %) de ce total (93 emplois), est rapporté pour les années 2006 à 2008 seulement, après que le CDEA ait implanté une nouvelle méthode de collecte de données plus précise. Pour les années antérieures, les chiffres rapportés étaient 15, 25 et 7. Le sondage indique que le nombre d'employés en Alberta est passé de 90 avant le recours au service du CDEA à 114 après le recours au service. C'est une augmentation de 14 emplois. Au total, 40 % de toutes les entreprises servies par le CDEA ont participé au sondage. Si on pouvait extrapoler ce total sur l'ensemble, le total serait 35 emplois, moins de la moitié du total rapporté à DEO. Par contre, l'Alberta fut la seule province ou les entrepreneurs ont indiqué que 100 % de l'augmentation des emplois est due à l'aide reçue par l'OFVE. Aussi, 90 % des entrepreneurs qui ont répondu à la question ont affirmé que le CDEA a contribué à augmenter leur chiffre d'affaires. C'est le taux le plus élevé des quatre provinces. La moitié de ces répondants disaient que l'augmentation était de 11 % et plus. Cinquante-sept pour cent (57 %) de tous les répondants ont affirmé que le CDEA les a aidés à augmenter la masse salariale de leur entreprise. L'Alberta a connu des difficultés techniques et du changement de personnel dans les dernières années. Les listes d'entrepreneurs ont dû être reconstituées aux fins de ce sondage. Pour les cinq années visées, nous avons reçu 89 noms de l'Alberta aux fins du sondage, dont seulement 15 du Sud de la province. Ni la documentation fournie, ni les résultats du sondage ne nous permettent de valider le total rapporté par l'Alberta. Nous pouvons valider environ une quarantaine d'emplois du total rapporté.

La Colombie-Britannique rapporte 403 emplois créés, maintenus ou améliorés durant les cinq années. La SDECB a créé un réseau de femmes entrepreneures francophones en 2003. La documentation concernant les activités de ce réseau est complète et précise. Nous avons revu les activités réalisées auprès de ce réseau. Au total, 116 femmes entrepreneures francophones ont créé, maintenu ou amélioré 226 emplois entre 2003 et 2008. Les femmes entrepreneures constituaient 44 % du total des entrepreneurs que nous avons appelés aux fins du sondage. Ces chiffres donnent déjà un indice que le total d'emplois pour l'ensemble de la SDECB pourrait se situer aux environs de 500. Le total rapporté par la Colombie-Britannique nous semble raisonnable même si la documentation est moins précise pour les catégories d'entrepreneurs autres que les femmes entrepreneures.

La preuve objective que représentent le sondage et l'analyse de la documentation fournie permettent de conclure que les totaux du nombre d'emplois créés, maintenus ou améliorés sont bien rapportés au Manitoba, probablement sous-rapportés en Saskatchewan et probablement bien rapportés en Colombie-Britannique. L'étude ne peut pas poser de jugement à cet égard sur l'Alberta.

Sommairement l'étude peut valider 93 % du total rapporté des emplois maintenus, créés ou améliorés, soit environ 1 500 emplois sur le total de 1 610 rapportés.

L'étude d'impact conclut que les totaux rapportés par le Ministère démontrant les effets cumulatifs des quatre OFVE dans le programme amélioration de la productivité ne sont pas assez fiables. Les totaux de certaines rubriques sont vides de sens puisque les OFVE rapportent les données différemment. Les totaux de la valeur des investissements différentiels sont sous-rapportés puisque deux OFVE ne captent pas l'information et une OFVE la capte de façon incorrecte. Seuls les totaux du nombre d'entreprises et du nombre d'emplois créés, maintenus ou améliorés sont bien rapportés.

Certes ce sont les deux données les plus importantes. Vue dans son ensemble, la méthode de collecte de données utilisées par les OFVE en matière de la productivité des entreprises affecte la crédibilité des résultats rapportés par chaque OFVE ainsi que les résultats totaux des quatre OFVE rapportés par DEO aux Canadiennes et Canadiens.

Cela est d'autant plus sérieux du fait que les quatre OFVE obtiennent de bons résultats, tels que confirmés par les preuves objectives.

Ce n'est pas une question d'erreur humaine, mais bien une question de fissures systémiques. Pour l'ensemble du gabarit actuel, il faut procéder à une analyse croisée du contenu de quelque 950 totaux différents pour une période de 5 ans. Aux fins de l'étude d'impact, nous en avons analysé 125. Nous rappelons que les écarts dans les rapports peuvent être remarqués uniquement si une personne analyse les données de chaque province et le total cumulatif, et ce, pour chacune des rubriques.

Or, personne dans le système n'effectue ce type d'analyse croisée.

Les directions générales des OFVE analysent leurs propres totaux et le total cumulatif, mais n'analysent pas en détail les données de leurs homologues. En ce qui concerne DEO, chaque agent analyse les données de l'OFVE de sa province et les employés au bureau central additionnent les totaux de chaque province pour obtenir le cumulatif. Les agents provinciaux ne sont pas outillés pour analyser les données des OFVE des autres provinces et le bureau central n'est pas outillé pour décomposer le total de chaque province dans chaque rubrique et assurer que chaque OFVE respecte les définitions communes.

Haut de la page

Trois difficultés ont été notées au niveau des OFVE :

• Les outils de collecte de données utilisés par les quatre OFVE ne sont pas les mêmes; parfois, les outils utilisés par les agents au sein d'une OFVE ne sont également pas les mêmes. A priori, il est évident que les données rapportées ne seront pas exactes si chaque OFVE utilise un outil différent de celui de ses homologues.
• La compréhension des définitions n'est pas la même au niveau des quatre OFVE.
• La méthodologie pour effectuer des suivis auprès des entrepreneurs afin de déterminer la valeur des investissements différentiels et le nombre d'emplois créés, maintenus ou améliorés n'est pas la même pour les quatre OFVE.

Les difficultés suivantes ont été notées au niveau de DEO :

• L'agent de DEO responsable d'une OFVE revoit les données soumises sur une base trimestrielle et les approuve; le gestionnaire de cet agent les approuve par la suite et elles sont inscrites dans le système de DEO. L'agent de DEO n'a pas de moyen de contre-vérifier les données soumises par l'OFVE; son approbation, ainsi que celle de son gestionnaire, sont une expression de confiance dans le chiffre soumis par l'OFVE et non une authentification de ce chiffre.
• Le système informatisé utilisé par DEO souffre de pépins électroniques. Par exemple, les données du Manitoba pour l'année 2006-2007 indiquaient 0 emploi créé grâce à l'aide aux entreprises. Le CDEM avait rapporté un total de 225 emplois et l'agente de DEO avait bien transmis cette information dans le système. Nonobstant cette diligence, le tableau cumulatif indique toujours 0 à ce jour. (Nous avons inscrit le bon chiffre aux fins de ce rapport.)

Nous concluons que ce n'est pas la performance des OFVE qui doit faire l'objet d'une recommandation suite à cette étude d'impact, mais bien :

• la méthodologie de collecte de données des OFVE, qui doit être plus rigoureuse;
• la méthodologie de DEO pour authentifier les données soumises par les OFVE;
• le système informatisé de DEO qui cumule les rapports de performance des OFVE.

Suite à ces analyses, nous proposons la recommandation suivante.

Recommandation deux (2) : Que DEO et les OFVE développent et mettent en œuvre une approche complètement renouvelée pour rassembler les données pertinentes et présenter des rapports sur les extrants réalisés et les résultats atteints dans le programme Amélioration de la productivité des entreprises et de l’entrepreneuriat.

Cette recommandation a cinq incidences majeures.

1. Nous avons examiné de près les extrants et les résultats des quatre OFVE. Nous constatons que même si les situations de chaque communauté francophone varient d’une province à l’autre, les méthodes de travail et les approches des OFVE sont fort semblables. D'ailleurs, c’est cette ressemblance qui permet la réalisation des projets collectifs tels que le Corridor touristique de l’Ouest ou le Camp des jeunes entrepreneurs en Saskatchewan.
   
   L’étude d’impact conclut qu’un seul instrument de collecte de données devra être utilisé par les quatre OFVE. Cet instrument permettrait à tous les employés des OFVE de disposer du même outil pour faire le rapport à leurs gestionnaires et à leurs directions générales. Cet outil doit permettre de déterminer, entre autres, le nombre d’emplois créés, maintenus ou améliorés et les valeurs des investissements différentiels générés après l’aide reçue d’une OFVE. Les directions générales utiliseraient ces données pour faire le rapport par la suite à leurs conseils d’administration et à leurs communautés.
   
   Les quatre OFVE devraient utiliser un format commun, dont toutes les parties constituantes sont comprises de la même façon, pour préparer leurs rapports de performance à l’intention de DEO. Pour une certaine période de temps, les directions générales de chaque OFVE devraient revoir les rapports quantitatifs soumis par leurs homologues. Elles pourraient ainsi repérer les disparités causées par une interprétation différente des rubriques et les corriger.
   
   
2. Les OFVE devraient demander à chaque personne entrepreneur constituant sa clientèle de signer un formulaire autorisant une tierce partie de communiquer ultérieurement avec elle pour des fins d’évaluation.
   
   
3. DEO doit identifier des méthodes de contre vérification des données soumises par les OFVE, tout en respectant l’anonymat des entrepreneurs. Ce travail pourrait être effectué par une tierce partie, à titre d’exemple, ou encore, DEO pourrait commander la tenue d’une étude d’impact par période de trois ans. Au minimum, les agents de DEO devraient vérifier les instruments de collecte de données utilisés par les OFVE ainsi que les processus de collecte de données pour assurer que toutes les parties utilisent les mêmes définitions sous les mêmes rubriques et que les données recueillies sont fiables. Cela suppose que les agents de DEO ont la même compréhension des définitions de chaque rubrique.
   
   
4. En dernier lieu, l’étude d’impact a analysé en détail 18 rubriques d’informations de la banque de données de DEO. Cette banque de données, améliorée en 2006, contient 36 rubriques au total. La question qui se pose est la suivante : quelle est la valeur ajoutée de la collecte d’informations pour autant de rubriques? Les analyses qui s’effectueront suite à cette étude d’impact pourront déterminer quelles sont les rubriques essentielles pour mesurer les progrès en lien avec les indicateurs du programme.
   
   
5. L’évaluation réalisée en septembre 2004 avait noté l’observation suivante au sujet des rapports de performance : l’exactitude des rapports trimestriels est douteuse puisqu’il y a des écarts d’une OFVE à l’autre dans le rendement dont ils font état. Selon les OFVE, les rapports ne reflètent qu’en partie leurs succès. Elles souhaitent travailler avec DEO pour améliorer le modèle de rapport.
   
   L’étude d’impact constate que des progrès ont eu lieu à cet effet, particulièrement avec la précision apportée aux définitions en 2006. Nonobstant ces efforts, il est évident que les OFVE et DEO devront investir les sommes nécessaires pour assurer que le personnel de DEO et le personnel des OFVE soient formés dans l’utilisation de l’outil de collecte des données et à la préparation des rapports de performance.