Diversification de l'économie de l'Ouest Canada
www.wd-deo.gc.ca
Liens de la barre de menu commune
La méthodologie et les limitations de l'étude
Les constats et conclusions de cette étude sont fondés sur trois lignes d'évidence.
Nous avons analysé toute la documentation pertinente fournie par chaque OFVE et DEO. Cette documentation, qui constituait une ligne d'évidence subjective, incluait notamment :
- les rapports annuels des OFVE;
- des rapports d'activités et de projets réalisés sous les volets planification communautaire et développement des collectivités : il s'agissait de 124 projets dont 46 projets différents répartis entre les trois OFVE de la Colombie-Britannique, de l'Alberta et de la Saskatchewan; une firme externe a préparé un rapport détaillé pour le CDEM qui faisait état de 78 projets communautaires réalisés entre les années 2004 à 2007.
- la documentation fournie par les OFVE concernant l'appui offert aux entrepreneurs sous le volet amélioration de la productivité des entreprises et l'entrepreneuriat : l'étude a pu identifier 649 entreprises ou organismes ayant reçu un service significatif entre les années 2003 et 2008; cette clientèle est répartie comme suit :
- Manitoba - 315 entreprises;
- Saskatchewan - 81 entreprises et organismes communautaires ayant reçu un appui pour un projet créant des emplois;
- Alberta - 89 entreprises et organismes communautaires ayant reçu un appui pour un projet créant des emplois;
- Colombie-Britannique - 162 entreprises;
- les gabarits et méthodologies utilisés par les OFVE pour recueillir les données concernant l'appui offert à leurs clientèles.
Nous avons aussi effectué une analyse des dossiers des OFVE au bureau régional de DEO à Edmonton; il s'agissait surtout de dossiers administratifs couvrant la période allant d'avril 2003 à mars 2008.
Les données soumises par les OFVE ont été validées en utilisant deux lignes d'évidence comportant la preuve objective de l'étude :
- la tenue de groupes témoins dans des communautés ayant reçu un appui dans le cadre des programmes Planification communautaire et Développement des collectivités;
- la tenue d'un sondage à l'intention des clients entrepreneurs ayant reçu un appui sous le programme Amélioration de la productivité des entreprises et de l'entrepreneuriat.
La méthodologie des groupes témoins
Quinze groupes témoins dans les quatre provinces ont regroupé des partenaires communautaires des OFVE ou des parties prenantes qui connaissaient bien les travaux réalisés par les OFVE. Au total 105 personnes ont participé aux séances qui duraient chacune environ deux heures.
Pour être valide, un groupe témoin devait réunir un minimum de cinq participantes et participants. Le tableau suivant présente la participation aux groupes témoins dans chaque province. Nous avons constitué trois catégories de participantes et participants, soit les entrepreneurs, les représentantes et représentants d'organismes communautaires ou de développement économique et des élus municipaux. Dans plusieurs cas, des individus pouvaient appartenir à plus d'une catégorie (entrepreneurs et élus municipaux, par exemple). Nous avons alors placé l'individu dans une seule catégorie, en fonction de l'invitation qu'il avait reçue.
Ces groupes témoins ont servi surtout à valider les données des OFVE concernant les programmes Planification communautaire et Développement des collectivités. La forte présence d'entrepreneurs dans certaines provinces a permis de rassembler des données qualitatives concernant l'aide reçue des OFVE.
| Province | Entrepreneur | Organismes | Élu municipal | Total |
|---|---|---|---|---|
| Manitoba | ||||
| St-Pierre Jolys | 2 | 3 | 1 | 6 |
| Ste-Agathe | 3 | - | 2 | 5 |
| Notre-Dame-de-Lourdes | 3 | 1 | 1 | 5 |
| St-Boniface | 2 | 3 | - | 5 |
| Total | 10 | 7 | 4 | 21 |
| Saskatchewan | ||||
| Debden | - | 9 | - | 9 |
| St-Isidore-de-Bellevue | - | 9 | 1 | 10 |
| Regina | - | 5 | - | 5 |
| Limerick 2 | - | 4 | 3 | 7 |
| Total | - | 27 | 4 | 31 |
| Alberta | ||||
| Edmonton | 5 | 2 | - | 7 |
| Calgary | 4 | 1 | 1 | 6 |
| Bonnyville, St. Paul, Cold Lake | 6 | 4 | - | 10 |
| Plamondon, Lac la Biche | - | 11 | 2 | 13 |
| Total | 15 | 18 | 3 | 36 |
| Colombie-Britannique | ||||
| Nelson | 1 | 5 | - | 6 |
| Comox | 4 | 2 | - | 6 |
| Victoria | 1 | 4 | - | 5 |
| Total | 6 | 11 | - | 17 |
| Grand Total | 31 | 63 | 11 | 105 |
Haut de la pageLa méthodologie du sondage auprès des entrepreneurs
Les OFVE nous ont remis, sous le sceau de la confidentialité, les noms et les coordonnées d'entrepreneurs à qui ils avaient offert un service et une brève description du type de produit ou service vendus par l'entreprise. En ce qui concerne le Manitoba, il s'agissait uniquement d'un échantillon d'entreprises ayant reçu une aide dans la préparation d'un plan d'affaires. Nous avons reçu 430 noms au total.
Les OFVE ont tenté de rejoindre chacune de ces personnes, soit par téléphone ou par courriel, pour leur indiquer que la firme communiquerait avec elles. Nous avons appelé les 430 personnes dont les noms avaient été soumis. Trois cent trois (303) numéros de téléphone étaient encore valides. Nous avons réussi à rejoindre 186 personnes, soit 61 % de ce total. De celles-ci 165 ont accepté de participer au sondage, soit 87 % des gens rejoints. Les 21 personnes qui n'ont pas participé ont émis des commentaires expliquant le motif de leur refus. Nous avons noté ces commentaires.
Le tableau suivant présente la participation au sondage pour chaque province.
Deux analyses ont été effectuées en vue de déterminer la fiabilité des résultats du sondage. Le taux de réponse sur le total des noms fournis (165/430) donne une marge d'erreur de ±6 %, 19 fois sur 20. Nous ne savons pas si les 430 personnes reflètent l'ensemble de la population servie. Par souci de rigueur méthodologique, nous utilisons plutôt le taux de réponse sur le total de l'ensemble de la population desservie (165/716). Cette méthode permet d'établir la marge d'erreur à ±6,7 %, 19 fois sur 20 lorsque les réponses ont une distribution 50-50.
Pour compléter la collecte d'information, nous avons tenu des entrevues avec les directions générales et autres membres du personnel des OFVE et avec des employés de DEO pour valider ou clarifier certaines données.
Les limites méthodologiques
Malgré son étendue, cette méthodologie présente certaines limites dont il faut tenir compte.
D'abord, les rubriques et les définitions utilisées par DEO dans sa collecte de données ont changé après l'année 2005-2006. DEO a investi passablement de temps pour assurer la plus grande concordance entre les données 2003-2006 et les données 2006-2008, mais cela ne fut pas toujours possible. Nous signalons les écarts dans ce rapport.
Ensuite, l'étude a permis de déceler certains écarts importants dans les données rapportées par certaines OFVE et ce que nous avons observé sur le terrain. Des discussions subséquentes ont permis de constater que certaines OFVE ont connu des difficultés techniques ou humaines dans leurs processus de rapport sur le rendement remis à DEO. Les agents de DEO affectés à chaque OFVE n'ont pas les outils nécessaires pour contre vérifier les données remises chaque trimestre par les OFVE. DEO et les OFVE ont donc mis à jour et corrigé le plus possible les données clés utilisées dans cette étude. Ce travail s'est échelonné sur les mois de juillet, août, septembre, octobre et novembre 2008. La fiabilité des données présentées dans cette étude est donc très élevée puisque toutes les données ont été validées par notre firme et DEO. Nonobstant cela, certains écarts persistent et nous les notons.
L'impact de ces écarts entre ce qui était rapporté et la réalité sur le terrain est moins sérieux qu'aux premières impressions puisque, dans plusieurs cas, les OFVE avaient sous-rapporté leurs résultats. Nous avons noté cette situation dans les catégories clés du nombre d'emplois créés ou améliorés et la valeur des investissements différentiels. L'impact réel de leur travail est donc plus grand que ce qui était documenté au courant des 5 dernières années. Dans d'autres cas, le cumulatif des données rapportées pour les quatre OFVE n'est pas fiable puisque les OFVE n'ont pas interprété de la même manière les définitions élaborées pour chaque rubrique dans le gabarit de collecte des données. Cette étude note ces écarts.
La méthodologie pour l'organisation des groupes témoins était la suivante. La firme a choisi les endroits où devaient avoir lieu les groupes témoins, suite à une analyse de la documentation des OFVE. Les OFVE ont invité directement les participants à ces groupes, après avoir soumis les noms des invités à notre firme. Ces derniers représentaient des entrepreneurs, des organismes communautaires, des organismes de développement économique communautaire ou d'autres partenaires tels des conseils scolaires. Tous connaissaient les OFVE et avaient participé à un projet ou à des projets de développement en collaboration avec les OFVE.
Pour être valide, un groupe témoin devait avoir un minimum de 5 participants. Les données de 3 groupes témoins ont été complétées par des entrevues téléphoniques auprès d'individus qui connaissaient des conflits d'horaire au moment de la tenue du groupe témoin dans leur région. Un groupe témoin a eu lieu par l'entremise d'une conférence téléphonique.
Ces groupes donnent un bon aperçu du rôle joué par l'OFVE dans ces régions, mais cette méthodologie comporte des limites. Les participants peuvent répondre aux questions en fonction de leurs biais personnels. Ensuite, les gens ne peuvent partager que leurs connaissances et leurs perceptions. Aucun participant ne peut connaître toutes les activités des OFVE. Pour contrer ces limites, nous avons organisé la tenue d'un nombre suffisant de groupes témoins pour vérifier s'il y avait convergences d'opinions ou même si des consensus émergeaient. À notre requête, DEO a augmenté les ressources de déplacements disponibles pour assurer la tenue d'un plus grand nombre de groupes témoins que prévu dans l'offre de services originale. Nous avons tenu les groupes témoins dans cinq villes et dans dix régions rurales pour assurer des points de vue représentatifs des diverses régions géographiques où vivent les francophones de l'Ouest. L'appui supplémentaire de DEO a permis la tenue des groupes témoins dans les localités où vivaient les gens.
Les OFVE ont remis 430 noms d'individus, d'entrepreneurs ou d'entreprises francophones qui avaient reçu un service pour la préparation d'un plan d'affaires ou un autre service au courant des cinq années de l'étude. Nous avons tenté de rejoindre toutes ces personnes. De ce nombre, 127 avaient des numéros de téléphone hors service et ne pouvaient être rejointes. Nous avions donc en main 303 numéros de téléphone valides. Nous avons rejoint 186 personnes, soit 61 % du total potentiel. De celles-ci, 21 personnes ont décliné l'entrevue. Nous avons noté les raisons de leur refus. Dans certains cas, les gens ne voulaient pas donner d'information concernant leur firme; dans d'autres cas, leur entreprise était fermée. À quelques reprises, les personnes n'étaient pas des entrepreneurs, mais plutôt des représentants de groupes communautaires. Le pourcentage de refus par province donne un indice de la relation établie entre l'OFVE et les entrepreneurs de cette province. Certaines personnes ont refusé de faire l'entrevue, mais ont tout de même donné des commentaires concernant l'OFVE. Nous avons noté ces commentaires.
À notre connaissance, c'est la première fois qu'un sondage de cette envergure est réalisé auprès des entrepreneurs francophones de l'Ouest. Malgré ce taux élevé de réponse, il est important de noter que les constats tirés de ce sondage ne s'appliquent qu'à la population des entrepreneurs qui ont reçu des services des OFVE et non à l'ensemble des entrepreneurs francophones de l'Ouest canadien. Personne ne connaît avec précision le nombre total d'entrepreneurs francophones dans l'ouest du Canada. Nous ne savons donc pas quel pourcentage des entrepreneurs francophones de l'Ouest canadien utilise les services des OFVE. Le sondage n'est donc pas aléatoire par rapport à l'ensemble de la population des entrepreneurs francophones de l'Ouest canadien, mais il est aléatoire par rapport à la population des entrepreneurs ayant reçu un service d'une OFVE.
Ce sondage permet de générer des constats valides par rapport à la population des entrepreneurs desservis par les OFVE puisque nous avons rejoint une proportion importante de l'ensemble des entreprises ayant été créées, maintenues ou en expansion suite à l'aide d'une OFVE.
Le tableau suivant donne les informations pertinentes à cet égard. Au total, 23 % du total de toutes les entreprises rapporté par les OFVE sous cette rubrique pour les années 2003 à 2008 ont participé au sondage.
Nous avons décidé de ne pas pondérer les résultats dans les analyses globales en raison des petits nombres par province.
L'étude ne vise pas à mesurer l'impact des OFVE par rapport à l'impact potentiel qui pourrait être réalisé auprès de l'ensemble de la population francophone de l'Ouest. À l'intérieur des limites méthodologiques, les constats de ce sondage sont valides puisqu'ils permettent de mesurer l'impact des OFVE auprès de leur clientèle desservie et le taux de fiabilité du sondage est significatif pour l'ensemble des quatre provinces.
Ces limitations ne sont pas uniques à cette recherche. Toute méthode de collecte de données quantitative et qualitative connaît de telles limitations.
La méthodologie a permis de générer des constats et de tirer des conclusions fiables qui seront utiles à DEO, aux quatre OFVE et aux communautés francophones de l'Ouest.
En dernier lieu, il est important d'avertir tout lecteur que cette étude ne concerne que l'impact des fonds versés par DEO aux quatre OFVE de l'Ouest canadien. Il s'agit d'une somme de l'ordre de 2 millions de dollars par année. Cette somme est parfois plus élevée lorsque les OFVE obtiennent des projets spéciaux.
En plus de ces fonds, DEO investit annuellement d'autres sommes dans les communautés francophones par l'entremise, entre autres, des Ententes de partenariat pour le développement économique de l'Ouest, des programmes de stagiaires, des projets pilotes et des projets d'infrastructures. En 2007-2008, les sommes investies par DEO par l'entremise des OFVE représentaient approximativement 33 % du total des sommes qu'il investit dans les communautés francophones. Notre étude n'a pas analysé l'impact de ces autres investissements.
Parallèlement, les OFVE sont aussi les organismes délégués qui abritent les quatre Regroupements de développement économique et d'employabilité (RDÉE) francophones de l'Ouest canadien. Chaque RDÉE reçoit annuellement une somme de l'ordre de 500 000 $ de la part de Ressources humaines et Développement social Canada. Dans la mesure du possible, nous avons distingué les activités des OFVE de celles des RDÉE dans les analyses. Les extrants analysés dans cette étude d'impact et les constats générés ne concernent que les fonds investis par DEO et non les fonds investis par RHDSC.
Ce rapport est constitué des parties suivantes.
- Une vue d'ensemble qui présente les impacts combinés des quatre OFVE;
- Les conclusions de l'étude et les recommandations en matière de la collecte de données et des rapports de rendement;
- Les chapitres présentant les résultats de chaque province.
2 La séance à Limerick regroupait deux villages – Ponteix et Willow-Bunch.
