1. Introduction aux Résultats et Monitoring

L'UE est un acteur mondial majeur du développement qui met en œuvre la plupart de ses dépenses d'aide extérieure par le biais d'un vaste réseau décentralisé de Délégations de l'UE nationales et régionales. Les Délégations jouent donc un rôle crucial dans la traduction des objectifs de l'UE en matière de coopération internationale et de politique de développement en actions et résultats efficaces sur le terrain.

Les Délégations de l'UE, ainsi que les services opérationnels du Siège de la Commission Européenne, travaillent dans un cadre global pour mettre en œuvre la coopération internationale et l'aide au développement de l'UE.

En ce qui concerne la mise en œuvre des projets et programmes financés par l'UE (nécessitant un flux d'informations organisé à des fins de gestion, de responsabilité et d'apprentissage), ce cadre repose sur les principes suivants de la chaîne de monitoring, de reporting et d'évaluation :

i) Informations sur la performance des projets et des programmes tout au long de leurs mises en œuvre et sur leurs résultats au niveau des produits (output) et des effets directs (outcome) via monitoring et reporting ainsi qu'une analyse plus approfondie (si nécessaire) à travers des Evaluations de Projets à mi-parcours (Mid-term) ;

ii) Évaluation approfondie des résultats tant au niveau des effets directs que des impacts, ainsi que de la durabilité des projets et programmes et de leurs valeurs ajoutées, par le biais d'évaluations individuelles finales ou ex post de projets qui doivent avoir lieu à la fin ou après la mise en œuvre du projet ;

iii) Évaluation approfondie des stratégies nationales, régionales et thématiques, ainsi que des instruments à travers des évaluations stratégiques.

Le Monitoring et le Reporting ont lieu à différents niveaux :

- Par les Partenaires de Mise en œuvre (IP - Implementing Partners), à travers leur propre monitoring et reporting, qui est la principale source d'information pour le monitoring et le reporting de la Commission ;

- Par les Gestionnaires Opérationnels (OM - Operational Managers) des services opérationnels de la Délégation de l'UE et du Siège de la Commission Européenne via le monitoring et reporting au niveau du projet et ;

- Par des niveaux plus agrégés, y compris par le biais de rapports - ce à partir de 2015 - sur la base du nouveau Cadre de Résultats de la Coopération Internationale et du Développement de l'UE.

(ROM Handbook)

1.1 Accès et Permissions

Pour les Résultats et le Monitoring, les Gestionnaires Opérationnels (OM) désignent des Partenaires de Mise en oeuvre Principaux (LIP - Lead Implementing Partner) pour gérer les interventions (voir Qu'est-ce qu'une intervention ?). Ces Partenaires de Mise en oeuvre Principaux peuvent ensuite accéder au Portail de Financement et d'Appels d'Offres et accordent l'accès aux Partenaires de Mise en oeuvre (IP - Implementing Partner) appartenant au même consortium, afin qu'ils puissent gérer le Cadre Logique de l'Intervention.

Pour plus d'informations sur les Accès et Permissions des Partenaire de Mise en oeuvre, veuillez consulter la page Coopérer avec vos Partenaires de Mise en oeuvre.

1.2 Rôles Utilisateurs et Tâches

Dans OPSYS, à chaque fois qu'un utilisateur doit effectuer des opérations spécifiques, une nouvelle tâche est générée. Ces tâches sont organisées en workflow de procédure. Chaque tâche d'un workflow est également réservée et affectée à des acteurs spécifiques ou à un pool d'utilisateurs.

Cette règle est étendue aux partenaires externes, où l'accès pour effectuer une tâche ou une opération spécifique est non seulement limité à un pool d'utilisateurs avec un rôle spécifique, mais également limité par entité (e.g. Intervention).

Par exemple, seul le Gestionnaire Opérationnel, qui est en charge de l'intervention, et le ou les Partenaires de Mise en œuvre (IP) auxquels l'OM a accordé l'accès à l'intervention peuvent mettre à jour le cadre logique de cette intervention.

Les quatre rôles principaux suivants sont disponibles dans OPSYS pour les Interventions, le Monitoring et les Résultats :

1.3 Élements Clés des Résultats et du Monitoring

1.3.1 Activité

Une Activité représente ce qui est fait avec l'intervention pour produire des résultats (c'est-à-dire l'utilisation des ressources).

Les activités sont des actions entreprises ou des travaux effectués, grâce auxquels des Entrants (Inputs) (tels que des fonds, assistance technique et d'autres types de ressources) sont mobilisés pour produire des produits (Outputs) spécifiques.

1.3.2 Approche du Cadre Logique et RBM

L'Approche du Cadre Logique est une méthodologie utilisée dans l'action extérieure de l'UE pour planifier, gérer et évaluer des Programmes et des Projets ou des Actions, impliquant l'analyse des parties prenantes, l'analyse des problèmes, l'analyse des objectifs, l'analyse des stratégies, la préparation d'une Matrice du Cadre Logique (Logframe) ainsi que la planification des activités et des ressources.

La Gestion Axée sur les Résultats (RBM - Results-Based Management) est une stratégie de gestion axée sur la performance et l'achèvement des produits, des effets directs et des impacts.

1.3.3 Logical Framework Matrix - Logframe

Le Cadre Logique est une matrice dans laquelle la logique de l'intervention (objectif général, la raison, les résultats attendus et les activitiés - voir section ci-dessous), les hypothèses, les indicateurs objectivement vérifiables et les sources de vérification sont représentés.

La Matrice du Cadre Logique (LFM - Logical Framework Matrix) implique l'identification des éléments stratégiques (entrants, produits, effets directs, impact) et leurs relations, indicateurs, et les hypothèses ou risques qui peuvent influencer la réussite ou l'échec d'un Projet. Il facilite ainsi la planification, l'exécution et l'évaluation d'une intervention de développement, et est donc présent et utilisé dans les différentes phases du cycle des opérations.

Il est présenté sous la forme d'un tableau résumant les éléments clés d'un Projet / Programme, qui est utilisé comme outil de gestion, pour améliorer la conception des interventions et à des fins de monitoring et de reporting durant la mise en œuvre.

La matrice du cadre logique contient :

• La hiérarchie des résultats attendus du projet, également appelée chaîne de résultats (produits, effets directs et impacts) ;
• Les principaux facteurs externes essentiels à la réussite du projet (hypothèses) ;
• La manière dont les réalisations du projet seront suivies et évaluées (c'est-à-dire que pour chaque résultat attendu dans le cadre de la chaîne de résultats, il devrait y avoir au moins un indicateur, avec une base de référence, une cible et une source de vérification) ;
• L'impact (ou objectif général) se rapporte aux objectifs plus larges auxquels le projet contribuera ;
• L'effet direct (ou objectif spécifique) est le flux durable de bénéfices vers le groupe cible du projet.
• Les produits sont les biens et services tangibles fournis par le Projet ou l'Action.

1.3.4 Logique d'intervention

La Logique d'Intervention est un rapport narratif détaillé et structuré expliquant comment, dans une situation donnée, les produits mèneront aux effets directs, et ensuite comment ces effets directs mèneront à l'impact attendu. Ce rapport décrit la « logique verticale » du Cadre Logique en associant la première colonne (chaîne de résultats) et la dernière colonne (Hypothèses) du Cadre Logique.

1.3.5 Résultat

Selon la terminologie du CAD de l'OCDE, le terme « Résultat » couvre les produits, les effets directs et les impact (niveaux de résultats) d'une intervention de développement. Ces trois niveaux de résultats peuvent être représentés dans une Chaîne de Résultats qui se reflète dans la structure de la Matrice du Cadre Logique : Impact - Objectif Global, Effets Directs - Objectifs Spécifiques et Produits.

1.3.6 Chaîne de Résultats

La hiérarchie des résultats attendus (produits, effets directs et impacts) d'une intervention, exprimée avec chaque élément ou composant contribuant au suivant, est représentée comme une Chaîne de Résultats (c'est-à-dire une voie de changement).

La chaîne de résultats est la séquence causale d'une intervention qui stipule la progression nécessaire pour atteindre les objectifs souhaités - en commençant par les entrants, puis en passant par les activités et les produits, et aboutissant aux effets directs, aux impacts et au feedback. Dans certaines agences, la portée fait partie de la chaîne de résultats.

Les bonnes pratiques pour construire une chaîne de résultats sont :

• Vérification de la hiérarchie des résultats attendus ;
• Aucun lien de causalité dans un seul énoncé de résultats.

Exemples :

• "Renforcer la gestion du système éducatif afin d'améliorer la qualité et l'équité [ du système éducatif ]"
• "Promouvoir la démocratie en soutenant les processus électoraux, la participation citoyenne et la transparence"

1.3.7 Impact

L'Impact (ou objectif global) est un effet à long terme auquel l'Intervention contribuera au niveau du pays, de la région ou du secteur.

Un impact peut être un effet positif ou négatif, primaire ou secondaire, à long terme produit par une intervention de développement, qu'elle soit directe ou indirecte, voulue ou non.

1.3.8 Effet Direct

Un effet direct (ou objectif spécifique) est un effet direct à moyen terme sur le comportement des groupes cibles, sous le contrôle du partenaire bénéficiaire.

L'effet direct représente les effets probables ou atteints à court et à moyen terme des résultats d’une intervention.

1.3.9 Produits

Les Produits sont des biens ou des services directement fournis sous le contrôle de l'intervention.

Ces extrants sont des produits, des biens d'équipement et des services qui résultent d'une intervention de développement et peuvent inclure des changements résultant de l'intervention qui sont pertinents pour la réalisation des effets directs (outcomes).

1.3.10 Hypothèse

Une Hypothèse est une supposition sur des facteurs ou des risques qui pourraient affecter le progrès ou le succès d'une intervention de développement. Les hypothèses sont des facteurs externes clés qui sont essentiels au succès d’une intervention.

Les bonnes pratiques lors de la définition des hypothèses sont :

• Condition requise pour le succès de l'intervention ;
• Ne pas être trop critique ;
• Doit couvrir les facteurs externes qui ne sont pas sous le contrôle de la Gestion de Projet ;
• Doit être fournie au niveau des produits et des effets directs ;
• Doit être spécifique pour pouvoir être suivi (éviter « manque de… »).

Les Risques ou les Hypothèses sont les deux aspects d'une même question - si vous n'êtes pas sûr qu'une hypothèse se vérifie, c'est probablement un risque pour lequel des mesures de mitigation devraient être fournies.

Une Analyse ou une évaluation des risques peut être effectuée pour déterminer les facteurs (appelés hypothèses dans les cadres logiques) qui affectent, ou sont susceptibles d'affecter, la réussite des objectifs d'une intervention.

1.3.11 Indicateur

Un Indicateur est une variable utilisée pour mesurer et évaluer les performances (i.e. ils permettent la vérification du changement et la mesure des résultats). Les indicateurs sont à la base du système de suivi et d'évaluation du projet.

Les indicateurs sont des facteurs (ou variables) quantitatifs ou qualitatifs qui fournissent un moyen simple et fiable de mesurer les réalisations, de refléter les changements liés à une intervention ou d'aider à évaluer la performance d'un acteur du développement.

Les indicateurs doivent toujours être fournis avec des valeurs de référence (valeur initiale) et cibles (valeur intermédiaire ou finale), ainsi qu'une possible source de vérification des valeurs actuelles.

Un indicateur doit être :

• Pertinent et étroitement lié au résultat attendu (pour que tout changement de valeur puisse être associé/mis en corrélation avec le projet) ;
• Clair et précis - Que mesure-t-on ? (ex. : « Nombre de... », « pourcentage de... », « état de... ») ;
• Mesurable - les données sont disponibles ou peuvent être obtenues pour un coût raisonnable ;
• Ne doit pas inclure d'éléments de la cible (ex. : « nombre croissant de... ») ;
• Désagrégé par sexe, le cas échéant (ou par âge, division urbaine/rurale, ou par niveau de répartition des richesses...).

1.3.12 Désagrégation

La Désagrégation représente la ventilation des observations (généralement dans une branche commune d'une hiérarchie) à un niveau plus détaillé, de sorte que des observations plus détaillées peuvent être prises. Les mesures des indicateurs peuvent être ventilées (le cas échéant) par sexe, âge, population urbaine / rurale, quantile de richesse, etc.

Dans le cas des indicateurs clés, les Responsables Qualité peuvent décider, par exemple, qu'il est de bonne pratique de désagréger le nombre total d'un groupe de personnes en catégories femmes / hommes, urbaines et rurales.

Les Responsables Qualité ont la possibilité de rendre la désagrégation obligatoire ou facultative. La configuration de ce paramètre dans l'indicateur clé garantit que les données collectées pour la formulation et / ou la mise en œuvre seront adaptées et prévues lors de l'examen du critère.

1.3.13 Source de Vérification

Lorsque des indicateurs sont élaborés, la Source de Vérification doit également être spécifiée.

La Source de Vérification doit spécifier :

• Comment l'information sera collectée (p. ex., à partir de dossiers administratifs, d'études spécifiques, de sondages, d'observations, etc.) et/ou quelles sont les sources disponibles (p. ex., rapports d'avancement, comptes affectés au projet, statistiques officielles, attestations de conformité, etc.) ;
• Qui collectera / fournira l'information (p. ex., des spécialistes du domaine, une équipe d'enquête sous contrat, le service de santé local, l'équipe de gestion de projet) ;
• Quand / comment / à quelle fréquence l'information sera-t-elle fournie (p. ex., tous les mois, trimestres, ans, etc.).

Les sources des données pour les indicateurs peuvent être primaires ou secondaires :

• Les données primaires sont directement collectées pour le projet (normalement par le partenaire de mise en œuvre - contractant). Il peut s'agir de données administratives, budgétaires ou personnelles ; des enquêtes ; des entretiens ; et des observations directes. La faisabilité, la complexité et le rapport coût-efficacité de la collection des données primaires doivent être soigneusement réfléchis ;
• Les données secondaires ont déjà été collectées indépendamment du projet et sont immédiatement disponibles à travers d'autres sources. Les données secondaires doivent être accessibles gratuitement ou à moindre coût au public de la délégation de l'UE. Les données secondaires incluent par exemple les rapports gouvernementaux ou les statistiques existantes collectées par les organisations internationales. Bien que les données secondaires aient souvent un meilleur rapport coût-efficacité que les données primaires, il convient d'évaluer soigneusement leur disponibilité et leur fiabilité.

1.3.14 Valeur

La performance des résultats est mesurée avec un ensemble de valeurs (ou mesures) collectées pour chaque indicateur identifié à un moment précis (date) :

• Valeur de référence – Généralement dans le passé, et utilisée comme valeur de point de référence au début de l'intervention ;
• Valeur actuelle – Une valeur de mesure du progrès à ce jour ;
• Cible – Prévision de la fin prévue ou de la valeur intermédiaire (pour les cibles intermédiaires) pour les dates futures déterminées par un anniversaire dans le projet ou à la fin de l'intervention ;

La périodicité des rapports sur les valeurs actuelles (progrès) est normalement fixée contractuellement. Cependant, le Gestionnaire Opérationnel peut également décider de modifier les paramètres par défaut du système et demander un rapport plus fréquent au Partenaire Principal de Mise en œuvre.

Pour chaque valeur encodée, une Source de Vérification doit être spécifiée. La plupart des indicateurs conçus par les Responsables Qualité auront une Source de Vérification suggérée ou obligatoire. Si ce n'est pas le cas, le Partenaire de Mise en œuvre devra spécifier d'où proviennent les données collectées et la date à laquelle elles ont été collectées.

1.3.15 Valeur de référence

La Valeur de référence est la valeur initiale d'un indicateur.

Bonnes pratiques pour définir la valeur de référence :

• Elle comprend l'année de référence, avant le commencement de l'action ou au moment de son lancement ;
• Utilisation de la même unité de mesure que pour l'indicateur ;
• En cas d'indisponibilité – décrivez comment / quand / par qui elle sera collectée et avec quel budget ;
• Si une étude de la valeur de référence est nécessaire – prévoyez une étude / enquête finale ;
• Elle peut être nulle dans le cas d'un nouveau projet (ex. : nombre d'écoles construites, nombre de km rénovés) ;
• Si pertinent – Elle doit être désagrégée par sexe ou autres critères.

1.3.16 Cible

La Cible est la valeur finale attendue d'un indicateur.

Bonnes pratiques pour définir la valeur cible :

• Même unité de mesure que pour l'indicateur
• Utilisation de la même année de référence - ne doit pas correspondre à une date postérieure de la fin de l'action (avant pour quelques effets directs) ;
• Lorsque la valeur de référence est disponible, la cible doit être fixée en fonction :
  
  - Des accords internationaux (Objectifs de Développement Durable - SDG) ou des engagements de l'UE
  - Des politiques ou stratégies gouvernementales (si elles ne sont pas définitives, précisez)
  
  
• Informée par la valeur de référence, les tendances passées, les risques / hypothèses, etc.
• La cible doit être :
  - Réaliste (en fonction des ressources disponibles)
  - Réalisable (dans le délai imparti)
  - Si pertinent - Désagrégée (par sexe ou autres critères).