Agence de la consommation en matière financière du Canada

www.acfc-fcac.gc.ca

Liens de la barre de menu commune

• English
• Accueil
• Contactez-nous
• Aide
• Recherche
• canada.gc.ca

Breadcrumb

1. Accueil
2. > Ressources
3. > Recherche, sondages, études et rapports

L’éducation financière au Canada est-elle sur la bonne voie? Recherche et pratiques exemplaires recommandées pour évaluer les programmes d’éducation financière

Partie III : Quelle peut être l’utilité d’un cadre?

Les fournisseurs de programmes d’éducation financière ont soulevé de nombreuses questions et présenté de nombreux défis à propos de l’évaluation de programme, notamment le manque de données de base et l’absence de définitions pour comprendre la nature des problèmes. De nombreuses questions ont surgi car les évaluations sont faites de façon improvisée, sans protocole commun identifiable pour établir les paramètres ou analyser les données. Pour la plupart d’entre eux, la frustration tient au fait qu’ils n’obtiennent pas les résultats dont ils ont besoin pour évaluer la mesure dans laquelle leurs programmes fonctionnent et, à plus forte raison, apporter des améliorations. Parallèlement, étant donné que les approches sont bien souvent élaborées après la création et le lancement des programmes, il n’y a qu’une faible adéquation entre les objectifs généraux du programme et ce qui est mesuré.

Cette partie du document a un triple objectif :

1. montrer comment un cadre comme celui élaboré par M^me O’Connell et approuvé par l’OCDE doit être modifié pour être utile aux fournisseurs de programmes au Canada;
   
   
2. faire des recommandations sur la façon dont l’ACFC peut intervenir pour favoriser l’utilisation de pratiques exemplaires dans le domaine de l’évaluation des programmes d’éducation financière au Canada;
   
   
3. recommander des façons de modifier le cadre pour répondre aux besoins en matière d’évaluation de l’ACFC en tant qu’organisation.

Tirer profit des travaux de M^me O’Connell

À première vue, le cadre établi par M^me O’Connell présente quelques bons points. Elle pose des questions précises pour amener les organisations à réfléchir à leurs objectifs — « est‑ce pour améliorer les connaissances financières, les compétences ou les attitudes (de façon générale ou spécifique) et/ou pour encourager un comportement spécifique, par exemple épargner davantage dans un régime de retraite ou rembourser une dette? » Elle stimule également la réflexion au sujet des mécanismes de prestation — « Une analyse plus détaillée établirait un lien entre l’évaluation des divers modes d’enseignement et les mesures de l’incidence ». Elle recommande également que les objectifs consistent en une liste de mesures et en des délais pour l’atteinte des objectifs. Elle préconise également une certaine réflexion au sujet de la situation globale, sans tenir compte des répercussions organisationnelles prises isolément — de quelle façon le programme est‑il lié à une politique générale ou à d’autres programmes éventuels?

Le cadre dressé par M^me O’Connell est un point de départ, mais il n’est pas complet : il présente des lacunes, en particulier lorsqu’on le situe dans un contexte canadien. Il doit être modifié et élargi pour être plus complet. Il pourrait aussi être un peu plus convivial et permettre aux fournisseurs de programmes d’éducation financière de définir certaines des questions complexes posées par l’établissement d’un processus d’évaluation et y répondre (dont un grand nombre sont abordées à grands traits dans le rapport de M^me O’Connell). En fin de compte, le cadre d’Alison O’Connell risque d’être d’un niveau trop élevé et trop difficile pour les fournisseurs de programmes, qui sont peu versés dans les pratiques d’évaluation de programmes exemplaires, pour le mettre en pratique. Parallèlement, il pourrait être clarifié selon une terminologie et des pratiques largement acceptées en matière de recherche et d’évaluation.

Une première étape consisterait à reformuler certains concepts en des termes davantage normalisés et à orienter plus clairement les utilisateurs du cadre dans un contexte accepté de recherche ou de planification opérationnelle. Par exemple, le mot « besoin » est un peu vague — il serait préférable d’utiliser le mot qui explique ce à quoi la présente partie veut en venir : « objectif ». Deuxièmement, au lieu de parler « d’obligation » de rendre compte, on devrait parler de « coûts‑avantages » car c’est bien de cela qu’il s’agit. Les titres doivent refléter plus clairement ce qui se fait dans chaque domaine.

On pourrait aussi apporter des éclaircissements au sujet des questions auxquelles il faut répondre dans chaque section, afin de faire du cadre une feuille de route plus conviviale et facile à utiliser. Par exemple, M^me O’Connell considère les difficultés que présente la collecte des données comme un problème auquel font face les fournisseurs de programmes d’éducation financière, et malgré tout le cadre ne propose aucune mesure concrète pour résoudre ce problème ou n’utilise aucun terme pour aider les spécialistes à étudier soigneusement la question (par exemple, un aide‑mémoire concernant les façons de s’y prendre pour recueillir les données serait utile pour amener les utilisateurs à réfléchir aux approches possibles). La professeure Angela Lyons, Université de l’Illinois à Urbana‑Champaign, commence à travailler en ce sens pour certains des outils et ressources qu’elle a récemment mis au point et dont elle m’a fait part. Ils ne sont pas encore du domaine public, mais ils seront offerts gratuitement aux utilisateurs qui veulent les télécharger du site Web du Center for Economic and Financial Education. Ses feuilles de travail en évaluation sont assez détaillées et donnent une orientation claire aux utilisateurs qui répondent aux questions qui y sont posées. Je les ai utilisées pour proposer le cadre révisé.

Le document de M^me O’Connell présente une autre lacune : l’absence de références, même si le cadre proposé préconise une analyse des répercussions aux niveaux micro et macro. Là encore, il serait fort utile de donner davantage d’instructions à propos des questions que les fournisseurs devraient se poser dans ce domaine. Par exemple, faute de stratégie nationale, y a‑t‑il une façon d’aborder la question des répercussions au niveau macro? Il conviendrait d’inclure ou de mieux traiter la question.

Redéfinir les étapes

Comme nous l’avons vu dans la partie II, chaque section présente son lot de questions difficiles à aborder par les fournisseurs de programmes d’éducation financière. Faute de consentement et de discussion concernant les grandes questions, il est difficile de répondre aux questions touchant les effets qu’ils souhaitent avoir sur leurs populations cibles. Un meilleur point de départ consiste à définir le problème. En d’autres termes, « Quel est le problème? » Le point a été soulevé par un spécialiste canadien chevronné : « Nous n’avons pas encore défini le problème », a‑t‑il déclaré.

Le cadre pourrait également traiter des pratiques exemplaires en matière de collecte de données. Par exemple, on pourrait poser les questions suivantes : Quelle approche utiliserez‑vous pour recueillir les données? Comment les données seront‑elles utilisées ou interprétées? À l’étape de l’établissement des objectifs, quels indicateurs seront utilisés pour révéler les effets produits? Comment saurez‑vous que votre programme a atteint ses objectifs?

Il doit également être convivial — si les fournisseurs de programmes connaissent mal la terminologie de l’évaluation et n’ont pas de compétence dans ce domaine, alors, quel que soit le cadre qu’ils adopteront, celui‑ci doit présenter une démarche claire et logique, qui illustre les étapes à franchir. Par exemple, le cadre d’action d’Angela Lyons prévoit des approches pour la collecte des données et une analyse. Il présente clairement les étapes que les utilisateurs doivent franchir en matière d’évaluation, et il fait une utilisation très claire de la terminologie. Angela Lyons a élaboré des feuilles de travail beaucoup plus détaillées qu’un cadre de haut niveau n’a besoin de l’être, mais elles contiennent davantage de questions pour amener les organisations à réfléchir non seulement au sujet du programme, mais aussi au sujet de ce qu’elles veulent tirer de l’évaluation. Son approche est résumée dans les paragraphes qui suivent.

• Définir les objectifs du programme — but de l’évaluation, objectifs du programme; que voulez-vous connaître et montrer? quel est le groupe cible? quelle est la méthode de prestation? qui utilisera l’évaluation et comment?
  
  
• Choisir les bonnes méthodes de collecte de données — comprend un aide‑mémoire sur les méthodes possibles, le genre de questions auxquelles vous voulez répondre, ce que vous voulez savoir au sujet du programme et quels indicateurs vous utiliserez pour en montrer les effets, y compris une liste de vérification, une liste des indicateurs que vous utiliserez pour évaluer les effets du programme, les changements de comportements escomptés et réels.
  
  
• Définir les défis liés à l’évaluation et les surmonter — énumérez les trois grands défis que pose l’évaluation, les mesures qui peuvent être prises pour les surmonter, les ressources qui sont à votre disposition, l’aide que vous pouvez obtenir.
  
  
• Établir un calendrier — établir les principales échéances.
  
  
• Analyser et communiquer les constatations — de quelle façon les données seront analysées et par qui?, qu’espérez‑vous apprendre?, rédigez un énoncé des répercussions possibles de votre programme, comment utiliserez‑vous les constatations pour apporter des améliorations?, comment communiquerez‑vous les constatations?
  
  

Le cadre d’Angela Lyons est plus discursif : il inclut des questions précises qui s’inscrivent dans un processus d’examen pour aider les fournisseurs de programmes à cerner leurs besoins et à progresser en matière d’évaluation. Il n’est pas recommandé que le cadre de M^me O’Connell aille autant dans le détail, mais certaines des questions pourraient être abordées et le cadre pourrait bénéficier de ces concepts.

Réviser le cadre

Nous avons soigneusement réfléchi aux défis que présentent le domaine de l’évaluation au Canada et le cadre de M^me  O’Connell. Nous avons décelé certains domaines où le cadre pourrait être réorienté et renforcé pour pouvoir donner suite aux préoccupations et aux difficultés des fournisseurs de programmes d’éducation financière au Canada. Les paragraphes qui suivent présentent ce à quoi pourrait ressembler un cadre révisé davantage réalisable et plus clair. À noter que cette version s’appuie dans une large mesure sur le document de M^me O’Connell et la feuille de travail en évaluation de M^me Lyons (Annexe B).

1. Définir le problème — La définition doit se situer à l’étape de la conception du programme ou de l’initiative. Le fait de comprendre dès le début ce que nous voulons réaliser contribuera largement à nous assurer que nous évaluons/mesurons les bonnes choses. Les questions n’ont pas besoin d’être compliquées, mais les fournisseurs de programmes devraient être capables d’y répondre. Par exemple, « Quel est le problème que vous essayez de résoudre? Qui essayons‑nous de joindre? Quelles sont leurs difficultés (c.‑à‑d. faible taux d’épargne, haut taux de faillite, niveaux d’endettement élevés par carte de crédit, perte d’emploi).
   
   
2. Établir les objectifs — Les objectifs offrent l’occasion de créer des mesures pertinentes. De quelle façon votre programme s’attaquera‑t‑il au problème présenté à la première étape? Quels objectifs essayez‑vous d’atteindre? Des mesures qualitatives et quantitatives sont de mise. Plus précisément, il faut se pencher sur les résultats qui pourraient être obtenus en ce qui touche les comportements et les attitudes. Les objectifs doivent être énoncés pour le programme dans son ensemble et pour les divers publics auxquels il s’adresse.
   
   
3. Recueillir les données — La sélection des bons indicateurs doit faire suite aux objectifs énoncés à l’étape 2. Quelles données voulons‑nous recueillir et quelle méthode de collecte apportera les meilleurs résultats? La collecte des données doit être dictée par les questions suivantes : à quelles questions devons‑nous répondre? quels résultats voulons‑nous mesurer et avec qui? quels seront les bons indicateurs à appliquer à ces résultats? et quelles techniques d’évaluation (qualitatives et quantitatives) donneront les meilleurs résultats (p. ex. des groupes de consultation, des sondages auprès des utilisateurs, des données de tierce partie, etc.)? Un aide‑mémoire, qui contient de l’information sur les méthodes de collecte des données, les questions auxquelles il faut répondre et les indicateurs à utiliser pour mesurer les effets d’un programme, les changements de comportements escomptés et réels, constitue un soutien efficace à apporter aux fournisseurs (comme le laisse entendre M^me Lyons).
   
   
4. Évaluer les coûts‑avantages/l’optimisation des ressources — C’est particulièrement important au Canada, étant donné le sous‑financement dont ont parlé les fournisseurs de programmes (partie II). Ce type d’évaluation peut servir à présenter de bons arguments aux bailleurs de fonds (gouvernement, fondations, bailleurs de fonds du secteur privé) et à évaluer l’efficacité des organismes tiers qui offrent les programmes (p. ex. le Collège George‑Brown). Il convient également d’analyser le coût du programme ainsi que les résultats escomptés par rapport aux résultats réels. Il est important de poser des questions concernant les chiffres et les mesures à obtenir pour faire état de la valeur du programme.
   
   
5. Mesurer les effets — L’idée est d’examiner ce que M^me O’Connell appelle la micro-incidence et la macro-incidence des programmes. On peut aussi parler des effets sur l’organisation et sur le marché. Le programme a‑t‑il atteint ses objectifs à cet égard? Quelle incidence a‑t‑il par rapport au contexte stratégique global? Ou, s’il n’existe aucune politique ni stratégie nationale, dans quelle mesure le programme complète‑t‑il les initiatives existantes? Évite-t-il le double emploi?
   
   
6. Peaufiner le programme — Comment les données d’évaluation peuvent‑elles aider à améliorer le programme et à le peaufiner? La question de fond porte en particulier sur la conception et l’exécution du programme et sur la façon dont les données recueillies peuvent être analysées, interprétées et appliquées pour peaufiner et rajuster les programmes afin d’en accroître l’efficacité. Une analyse plus détaillée établirait un lien entre l’évaluation des divers modes d’exécution des programmes d’éducation et les résultats.

Créer un cercle d’apprentissage

Ce cadre réorganisé n’est en aucun cas définitif. Le but est de faire fond sur les travaux de M^me O’Connell. Les travaux doivent se poursuivre pour établir un cadre qui peut être utilisé à grande échelle au Canada — c’est le sujet de l’une de mes recommandations. À ce propos, il pourrait être envisagé d’abandonner une approche linéaire à l’égard de l’évaluation pour adopter une approche qui reflète la nature plus fluide des programmes qui sont évalués — le but étant d’améliorer et de répondre constamment aux besoins et aux demandes des Canadiens, nous pourrions considérer les pratiques d’évaluation exemplaires comme un soutien à cet égard. En fait, un cercle est peut‑être la meilleure façon d’illustrer l’interdépendance de toutes les étapes (ci‑dessous).

Cadre vu comme un cercle d'apprentissage continu

Recommandations :

D’après les entrevues et les documents dont il est question dans les parties I et II, plusieurs recommandations peuvent être faites sur les étapes suivantes à franchir par l’ACFC pour améliorer ses propres pratiques exemplaires concernant les programmes d’éducation financière et promouvoir des pratiques exemplaires à l’échelle nationale.

Utiliser un cadre de pratiques exemplaires à l’ACFC

L’ACFC ne possède aucun cadre en bonne et due forme pour orienter ses pratiques d’évaluation et pourtant elle offre de nombreux programmes d’éducation financière. Un cadre peut l’aider à établir des objectifs et des paramètres pour ses propres programmes, à l’étape de la planification. Pour qu’un tel cadre fonctionne à l’ACFC en tant qu’organisation, il faut tenir compte du fait que l’ACFC est un organisme gouvernemental, tenu de suivre ses propres pratiques types concernant l’évaluation. Certaines peuvent servir à renforcer et à élargir le cadre dont il est question précédemment. En outre, comme la plupart des organisations au Canada, l’ACFC ne possède pas, dans son personnel, un membre qui a suivi une formation complète dans le domaine de l’évaluation des programmes d’éducation financière. Par conséquent, l’ACFC pourrait suivre les étapes recommandées suivantes pour utiliser le cadre à l’interne :

1. Se doter d’une capacité interne — Former un membre du personnel ou engager un nouvel employé qui possède l’expérience de l’évaluation des programmes d’éducation financière. La formation d’un membre du personnel n’a pas besoin d’être coûteuse — d’ailleurs, on compte un nombre croissant de programmes de formation dans ce domaine (l’Université de l’Illinois à Urbana offre gratuitement des séminaires de formation à l’intention des fournisseurs de programmes d’éducation financière).
   
   
2. Peaufiner le cadre — Recourir à cette expertise pour revoir le cadre dont il est question précédemment et déterminer la meilleure façon de l’utiliser et de le modifier pour les programmes de l’ACFC.
   
   
3. Situer le cadre dans le contexte du gouvernement fédéral — L’ACFC est également tenue de respecter un ensemble type de pratiques en matière d’évaluation. Certaines peuvent servir à renforcer et à élargir le cadre de M^me O’Connell pour pouvoir l’utiliser à l’ACFC. Plus précisément, les directives qui accompagnent la Politique sur la structure de gestion, des ressources et des résultats contiennent un module sur l’élaboration d’un cadre de mesure du rendement pour les résultats stratégiques et l’architecture des activités de programme. Un élément clé de cette approche consiste à élaborer et à formuler le « contexte » du programme et à énoncer clairement ses objectifs, à identifier les intervenants et les bénéficiaires, et à définir les ressources requises. Ces points peuvent être abordés dans un cadre de haut niveau (c.‑à‑d. que le contexte pourrait être amorcé dans la partie du cadre qui traite de l’établissement des objectifs).
   
   

Diffuser les meilleures pratiques d’évaluation au Canada

Afin d’élaborer avec succès une approche normalisée en matière d’évaluation de programmes au Canada, nous devons établir les normes à l’échelle du pays — ce qui veut dire s’entendre et s’accorder sur les principaux sujets et les principales questions qui s’inscriraient dans un cadre. Cela veut également dire faire avancer la recherche au Canada pour favoriser l’adoption d’une meilleure approche pour ce qui est de la collecte des données et, par ricochet, une évaluation plus efficace et exacte. Voici quelques points en particulier :

1. Consensus au sujet des problèmes qu’il faut aborder.
   
   
2. Consensus au sujet des objectifs : nous n’avons pas de stratégie nationale pour la littératie financière qui dicte les programmes — nous n’avons pas de définition de base ni de définition commune, il n’existe aucun consensus à propos des objectifs, de ce que nous mesurons et des effets que nous souhaitons produire à l’échelle du pays. Quels groupes de la population nationale devraient être visés? Quels sont les secteurs dans lesquels il y a des besoins à combler?
   
   
3. Consensus au sujet des indicateurs : à quels indicateurs devrions‑nous nous intéresser? Par exemple, est‑ce que des taux d’épargne plus élevés signifient vraiment que la population est plus instruite en matière financière? Probablement pas. Nous sommes sur le point d’obtenir des renseignements de base sur les niveaux de connaissance — mais en tant que pays, comment allons‑nous les utiliser pour offrir des programmes d’éducation financière? Quels indicateurs utiles les programmes devraient‑ils viser?
   
   
4. Des recherches et des données de meilleure qualité : les organisations doivent être sensibilisées aux nouvelles idées concernant les pratiques d’évaluation qui peuvent les aider à améliorer leurs pratiques de collecte des données et de recherche. Elles doivent savoir à qui s’adresser pour obtenir de l’aide et elles doivent avoir accès à des spécialistes expérimentés et informés.
   
   
5. Examen de l’analyse des coûts‑avantages en fonction d’objectifs communs : les coûts sont‑ils une mesure convenable? Une campagne média nationale coûte cher et l’évaluation des répercussions prend du temps — comment les coûts‑avantages peuvent‑ils être évalués convenablement sans se situer dans un contexte plus vaste?
   
   
6. Dialogue et partage de l’information sur les mécanismes qui fonctionnent et ceux qui ne donnent aucun résultat : utilisons‑nous les bons modes de prestation et évitons‑nous le double emploi? Pour le moment, la plupart des fournisseurs de programmes d’éducation financière utilisent les mêmes mécanismes de prestation (brochures, séminaires, Web, documents utilisés en classe, etc.). Quels mécanismes fonctionnent bien et lesquels fonctionnent mal? Quelles occasions sont manquées? Le dialogue et le partage de l’information offriront des possibilités à cet égard.
   
   

L’ACFC pourrait prendre plusieurs mesures pour aider les organisations au Canada à se doter d’une capacité. Et surtout, elle ne devrait pas le faire seule — elle devrait remplir un rôle consistant à favoriser le dialogue, à sensibiliser à ces questions et à fournir de l’information, et à assurer l’accès partagé aux outils et aux compétences. À cette fin, l’organisation pourrait :

1. Élaborer, de concert avec d’autres fournisseurs de programmes, un conseil de leadership éclairé ou un conseil consultatif sur l’évaluation de programme — réunir des penseurs influents (universitaires et spécialistes) pour examiner les pratiques exemplaires proposées et établir un plan détaillé pour l’évaluation des programmes d’éducation financière canadiens. Ce conseil ferait part de ses commentaires sur l’ébauche d’un cadre devant être diffusé à grande échelle, l’élargirait et le renforcerait, et il contribuera à la réflexion sur le mode d’évaluation des indicateurs. Il apportera un contexte et une expertise théoriques pour éclaircir la vision canadienne de l’évaluation de programme.
   
   
2. Élaborer, de concert avec d’autres fournisseurs de programmes, des définitions et des résultats communs — au moyen d’une conférence ou d’un symposium dans le cadre duquel les constatations seraient rendues publiques, un ensemble de définitions pourrait être établi et diffusé (y compris la réponse à la question de savoir en quoi consiste le problème). Une telle conférence pourrait tenir lieu de point de lancement des travaux de recherche de l’ACFC ou Statistique Canada par exemple.
   
   
3. Faire connaître ses propres pratiques d’évaluation exemplaires.
   
   
4. Faciliter, de concert avec d’autres fournisseurs de programmes, la recherche et la communication suivies dans le domaine de l’évaluation, parmi les fournisseurs de programmes, aux fins de comparaisons et d’analyses, par des groupes de pairs, de ce qui fonctionne et de ce qui ne fonctionne pas, soit en ligne ou dans le cadre de réunions régulières ou de groupes de travail.
   
   
5. Diffuser largement les résultats d’enquêtes de référence — et élaborer une meilleure approche pour diffuser l’information et en assurer l’utilisation continue. Comment la présentera‑t‑on? De quelle façon peut‑elle servir de ligne directrice ou de référence aux autres fournisseurs de programmes? L’ACFC doit mettre au point un produit de communication ciblé à ce propos afin de tirer profit des données pour aider les autres à se faire une idée de la « situation globale » de la littératie financière au Canada. La tenue d’une conférence serait un bon départ.
   
   

Date de modification :

2011-05-03