Petit déjeuner 8 novembre 2018 : Mesure d’impact

Déc 14, 2018 | Espace membre, Vie de l'association

La mesure d’impact, tout le monde en parle. Mais concrètement, comment l’appliquer ?

Le 8 novembre 2018, une trentaine de fonds et fondations membres d’Un Esprit de Famille se sont réunis autour de quatre intervenants aux profils variés. Interviewés par Sabine Roux de Bézieux, ils ont partagé leurs expériences et répondu aux interrogations des membres.

Un académique : Kévin André, cofondateur de Kawaa et expert associé à la Chaire entrepreneuriat social de l’Essec.
Kévin André, cofondateur de Kawaa et expert associé à la Chaire entrepreneuriat social de l'Essec,

D’un point de vue académique, il existe trois manières d’aborder l’étude d’impact :

  1. approche philosophique : D’un côté, de nombreux économistes considèrent que le développement humain ne peut être mesuré. De l’autre, ce qui n’est pas mesuré n’existe pas. Sans céder à la “mythologie du chiffre”, comme disait Edgar Morin, l’Indice de Développement Humain doit être mesuré pour faire exister les valeurs sociales à côté des valeurs financières. L’IDH est parfaitement imparfait mais néanmoins nécessaire.
  2. approche méthodologique : Il existe de nombreuses méthodes adaptées à chaque stade d’avancement et d’enjeu stratégique :
    • d’abord le contrôle quantitatif pour comprendre le besoin auquel au répond,
    • puis lorsque le projet financé est très mur, une approche de randomisation par groupes de comparaisons et d’échantillonnage,
    • et entre les deux, la méthode classique de suivi par indicateurs pour comprendre la rentabilité sociale du projet, et une approche de monétarisation pour mesurer le coût évité (SROI).
  3. approche stratégique : La mesure d’impact challenge la raison d’être de l’entreprise et l’oblige à se poser la question de son utilité.

Vous avez fondé une entreprise sociale : une mise en pratique concrète de ce vous avez enseigné à l’Essec pendant des années ?

Kawaa est une start up qui se propose de préserver et développer le lien social dans un monde de plus en plus numérique qui paradoxalement nous connecte mais ne nous relie pas. Notre enjeu est d’abord de stabiliser notre modèle économique et nous mettons pour l’instant de côté la mesure d’impact. En revanche, en tant qu’entreprise sociale, il nous faudra bien se prouver à nous même, à la société, et à nos investisseurs qu’on est utiles au regard de cet sujet sociétal.

Une praticienne : Emeline Stievenart, directrice associée de Kimso, cabinet de stratégie et impact social.
Emeline Stievenart, directrice associée de Kimso, cabinet de stratégie et impact social

Concrètement, comment faire simple et utile quand on a un projet ?

  • Avec un porteur de projet :
    • On commence par une phase de cadrage descriptive et qualitative : se projeter dans la restitution des résultats et clarifier la raison pour laquelle on va se lancer dans une démarche d’impact social qui est chronophage et coûte cher.
    • Ensuite on clarifie les parties prenantes et les effets attendus : comprendre qui sont les bénéficiaires, leurs besoins et la valeur ajoutée de la solution apportée (renforcer ces structures, améliorer leur capacité à lever des fonds, à se professionnaliser).
    • Ce rapport qualitatif est nécessaire mais pas suffisant; il faut mettre en place un indicateur quantitatif. Comme on a rarement les moyens de mener des études lourdes avec des groupes de comparaison, on reste dans le pragmatisme avec des enquêtes auprès des bénéficiaires ou la comparaison des résultats avec les statistiques disponibles. La question centrale de l’impact social : en quoi on a vraiment été utile ? A qui on aurait manqué si on avait pas été là ? Vigilance : toujours se demander si les changements que vivent nos bénéficiaires sont vraiment dus à nous ou à d’autres facteurs.
  • Avec des fondations (financeurs) au travers de 3 exemples :
    • Les fondations d’entreprise qui co-construisent un projet avec une association peuvent évaluer l’impact de ce collectif d’actions entre les différentes parties prenantes (bénéficiaires et collaborateurs).
    • De plus en plus de fondations financent les études d’impact pour les associations ou les aident à s’outiller pour qu’elles soient autonomes dans leur mesure d’impact.
    • D’autres fondations financent des formations pour les porteurs de projets qui agissent sur une même thématique (Sida, précarité energétique) avec la richesse que représente l’échange de pratiques.

Combien coûte une étude d’impact, quel est le montant minium ? Une étude d’impact externe mobilisant les consultants d’un cabinet de conseil coûte autour de 20 000 €. On réduit le coût en outillant et formant les associations.

On cherche avant tout à éviter la déception du “rapport sur étagère” dû aux processus de décision pas toujours rationnels en politique et dans l’entreprise.

Et deux membres d’Un Esprit de Famille :

L’une représente une approche quantitative qui consiste à mettre en oeuvre une mesure qui vise à améliorer en permanence

et l’autre qui a une approche plus qualitative qui est de développer un projet et de montrer que ça marche pour que ça puisse être ensuite être déployé de manière plus large, voire nationale, avec éventuellement le soutien des pouvoirs publics.

 

Eléonore de Lacharrière, déléguée générale de la Fondation Culture & Diversité

Hélène Vareille, fondatrice et présidente de The Vareille Foundation, projet “Un violon dans mon école”.

 

Éléonore de Lacharrière, déléguée générale de la Fondation Culture & Diversité

Culture & Diversité est une fondation d’entreprise familiale, Fimalac, créée, dirigée et détenue entièrement par Marc de Lacharrière il y a 12 ans avec comme mission l’accès aux arts et à la culture pour les jeunes des milieux modestes. La réflexion sur l’évaluation s’est posée dès sa création.

Nous avons développé des programmes de démocratisation culturelle sur lesquels nous avons décidé de ne pas faire d’évaluation en tant que telle (progression des résultats scolaires, différence entre filles et garçons). Nous avions envie d’axer notre action sur le plaisir et l’épanouissement des jeunes qui participaient à nos programmes avec un postulat de partage de valeurs culturelles. En tant que financeur, nous n’avons aucun objectif de réplication de prise en main par les pouvoirs publics et donc pas d’obligation d’évaluer.

Par contre, sur nos programmes d’égalité des chances, de suivi individualisé de jeunes pour les amener vers des études et une vie professionnelle culturelle, nous avons mis en place dès le départ une évaluation totalement systématisée, chaque année avec les mêmes questions, ce qui nous a permis pour les 10 ans d’agglomérer toutes ces évaluations. Cette évaluation en 360 est un formidable outil de conduite du changement qui permet année après année d’améliorer nos programmes et de les orienter vers les besoins réels des bénéficiaires.

Je suis plutôt très critique sur les évaluations en particulier dans le domaine de la culture et dans les fondations d’entreprise :

  • Dans le domaine de la Culture, le manque ou le trop d’évaluation fait dire n’importe quoi : “nous avons emmené des jeunes en très grande difficulté à Versailles, il ont vu le beau et leur vie a été transfigurée” ou “des études montrent que par 1€ mis dans l’atelier théâtre au lycée on réussirait mieux son bac, on réussirait son premier entretien d’embauche car on saurait mieux parler, on ne serait pas au chômage, on ne deviendrait pas dealer, on irait pas en prison et on coûterait beaucoup moins à la société”.
  • Les fondations d’entreprise ont de plus en plus besoin de chiffres car ce qui n’est pas comptabilisé n’existe pas. Elles ont à justifier de l’argent qui va à la fondation et pas à la participation, à l’augmentation de salaire, aux actionnaires. Cette montée de l’évaluation engendre une double dérive :
    • Les sommes alloués à l’évaluation sont croissantes et souvent disproportionnées par rapport aux sommes mises sur les programmes.
    • La diminution de la prise de risque et la convergence des financements vers les grosses associations qui ont déjà eu plusieurs évaluations et sur lequel le risque est limité car tous les autres y sont allés.

Dans ce contexte, les fondations familiales ont un rôle important à jouer pour toute une frange des associations qui peinent à percevoir des financements car elles ne sont pas en mesure d’assurer l’évaluation et la minimisation du risque. Un bon projet n’est pas forcement celui dont l’évaluation montre que les bénéfices sont bons.

Hélène Vareille, fondatrice et présidente de The Vareille Foundation, projet "Un violon dans mon école".

Notre fondation, crée en 2014, est exclusivement familiale. Dès le début, nous étions polarisés sur le bon usage de notre financement et l’évaluation de nos actions pour obtenir un résultat utile.

Le décrochage scolaire est un fléau : En France 100.000 jeunes sortent chaque année du système scolaire sans diplôme ; le coût total pour la société d’un décrocheur scolaire est estimé à 230.000 € (étude BCG/MENJVA, 2012, rapport final 2016). La pratique d’un instrument a un impact scientifiquement prouvé dans les progrès des enfants.

Le projet majeur de la Fondation, « un violon dans mon école » est un programme d’enseignement intensif du violon à l’école. Il permet aux enfants de 4 à 8 ans, situés dans des zones défavorisées de développer de nombreuses capacités d’apprentissage fondamentales pour l’acquisition efficace des connaissances et la prévention du décrochage scolaire.

En chiffres : à la rentrée 2018, près de 900 enfants bénéficient du programme au sein de 8 écoles (4 en France et 4 en Suisse). À plein régime, dès 2020, ces 8 écoles représenteront un contingent de 1600 enfants qui pratiquent le violon.

La mesure d’impact fait partie intégrante du projet. Nous avons mis en place une évaluation sur le long terme et de manière systématique avec des groupes de comparaison d’enfants du même quartier et de la même tranche d’âge pour comprendre les changements.

Notre démarche s’appuie sur des projets de recherche en lien avec les neurosciences. Elle est justifiée par cet enjeu de changement d’échelle et par la conviction d’être dans un enjeu de politique publique.