Méthodes

L’Institut des politiques publiques (IPP) regroupe des chercheurs qui utilisent différentes méthodes d’analyse et d’évaluation des politiques publiques reposant principalement sur l’exploitation de données statistiques. Le choix de la méthode d’évaluation la plus adaptée parmi l’ensemble des techniques disponibles est au cœur de l’expertise de l’IPP.

Les défis de l’évaluation

L’objectif de l’évaluation des politiques publiques est de mettre en évidence l’impact d’une politique (mise en place ou envisagée) sur une variété d’indicateurs qui capturent les objectifs affichés par les décideurs ou les citoyens (par exemple l’emploi, la pauvreté, le niveau d’éducation, etc.).

L’un des principaux défis auquel est confrontée l’évaluation est d’identifier le contrefactuel, c’est-à-dire la situation qui aurait prévalu sans cette politique ou avec une politique alternative. Le problème fondamental de l’évaluation est que ce contrefactuel n’est, en pratique, jamais observé.

En particulier, il ne suffit pas d’observer que certains comportements sont corrélés avec la mise en œuvre d’une politique pour démontrer que les changements observés ont bien été causés par cette politique. Par exemple, le fait de constater que le nombre d’heures travaillées par les individus à bas revenus a augmenté à la suite d’une revalorisation de la Prime pour l’emploi (PPE) ne permet pas d’affirmer que cette réforme est à l’origine du phénomène. D’autres facteurs pourraient expliquer l’amélioration du taux d’emploi de la population ciblée par la PPE : une embellie de la conjoncture économique au moment de la mise en place de la réforme, l’entrée sur le marché du travail de générations ayant un niveau d’études plus élevé ou encore l’adoption simultanée d’autres politiques publiques destinées à soutenir l’emploi peu qualifié.

L’autre défi de l’évaluation est de mesurer quel serait le bénéfice pour la société d’un dispositif ponctuel, en cas de montée en charge ou de généralisation. En particulier, l’impact d’une mesure peut dépendre de l’échelle à laquelle elle est mise en place. Par exemple, il est possible qu’un dispositif d’accompagnement des chômeurs dans leur recherche d’emploi soit très utile lorsqu’il vise un nombre limité de chômeurs mais n’ait que peu d’effet sur le taux de chômage lorsqu’il est généralisé. Ce sera le cas si les chômeurs ainsi accompagnés sont en compétition pour un faible nombre d’emploi. Par ailleurs, les bénéfices d’une politique doivent être mis en regard de son coût.

Un panel de méthodes disponibles

Pour relever les défis de l’évaluation, plusieurs types d’approches peuvent être utilisés.

Lorsqu’il s’agit d’identifier le contrefactuel, la méthode la plus rigoureuse est l’expérience dite « contrôlée », qui est possible lorsque l’évaluation est prévue dès la mise en place de la politique dont on souhaite mesurer l’impact. Lorsque la politique a été mise en œuvre dans le passé, on peut recourir aux expériences dite « naturelles », ou à une approche structurelle.

Lorsqu’il s’agit d’apprécier le bénéfice d’une politique pour la société, deux types de méthodes peuvent être utilisées.

À l’inverse, lorsqu’il s’agit de mesurer précisément la manière dont les agents économiques réagissent à la mise en place d’une politique, en contrôlant pour les effets de contexte, on peut recourir à l’économie expérimentale.