Résultats et Monitoring |
L'UE est un acteur mondial majeur du développement qui met en œuvre la plupart de ses dépenses d'aide extérieure par le biais d'un vaste réseau décentralisé de Délégations de l'UE nationales et régionales. Les Délégations jouent donc un rôle crucial dans la traduction des objectifs de l'UE en matière de coopération internationale et de politique de développement en actions et résultats efficaces sur le terrain.
Les Délégations de l'UE, ainsi que les services opérationnels du Siège de la Commission Européenne, travaillent dans un cadre global pour mettre en œuvre la coopération internationale et l'aide au développement de l'UE.
En ce qui concerne la mise en œuvre des projets et programmes financés par l'UE (nécessitant un flux d'informations organisé à des fins de gestion, de responsabilité et d'apprentissage), ce cadre repose sur les principes suivants de la chaîne de monitoring, de reporting et d'évaluation :
i) Informations sur la performance des projets et des programmes tout au long de leurs mises en œuvre et sur leurs résultats au niveau des produits (output) et des effets directs (outcome) via monitoring et reporting ainsi qu'une analyse plus approfondie (si nécessaire) à travers des Evaluations de Projets à mi-parcours (Mid-term) ;
ii) Évaluation approfondie des résultats tant au niveau des effets directs que des impacts, ainsi que de la durabilité des projets et programmes et de leurs valeurs ajoutées, par le biais d'évaluations individuelles finales ou ex post de projets qui doivent avoir lieu à la fin ou après la mise en œuvre du projet ;
iii) Évaluation approfondie des stratégies nationales, régionales et thématiques, ainsi que des instruments à travers des évaluations stratégiques.
Le Monitoring et le Reporting ont lieu à différents niveaux :
- Par les Partenaires de Mise en œuvre (IP - Implementing Partners), à travers leur propre monitoring et reporting, qui est la principale source d'information pour le monitoring et le reporting de la Commission ;
- Par les Gestionnaires Opérationnels (OM - Operational Managers) des services opérationnels de la Délégation de l'UE et du Siège de la Commission Européenne via le monitoring et reporting au niveau du projet et ;
- Par des niveaux plus agrégés, y compris par le biais de rapports - ce à partir de 2015 - sur la base du nouveau Cadre de Résultats de la Coopération Internationale et du Développement de l'UE.
(ROM Handbook)
Pour les Résultats et le Monitoring, les Gestionnaires Opérationnels (OM) désignent des Partenaires de Mise en oeuvre Principaux (LIP - Lead Implementing Partner) pour gérer les interventions (voir Qu'est-ce qu'une intervention ?). Ces Partenaires de Mise en oeuvre Principaux peuvent ensuite accéder au Portail de Financement et d'Appels d'Offres et accordent l'accès aux Partenaires de Mise en oeuvre (IP - Implementing Partner) appartenant au même consortium, afin qu'ils puissent gérer le Cadre Logique de l'Intervention.
Les LIP et IP ont uniquement accès aux Interventions et Logframes (Logical Framework - Cadre Logique) pour lesquels ils ont été assignés. |
Pour plus d'informations sur les Accès et Permissions des Partenaire de Mise en oeuvre, veuillez consulter la page Coopérer avec vos Partenaires de Mise en oeuvre.
Dans OPSYS, à chaque fois qu'un utilisateur doit effectuer des opérations spécifiques, une nouvelle tâche est générée. Ces tâches sont organisées en workflow de procédure. Chaque tâche d'un workflow est également réservée et affectée à des acteurs spécifiques ou à un pool d'utilisateurs.
Cette règle est étendue aux partenaires externes, où l'accès pour effectuer une tâche ou une opération spécifique est non seulement limité à un pool d'utilisateurs avec un rôle spécifique, mais également limité par entité (e.g. Intervention).
Par exemple, seul le Gestionnaire Opérationnel, qui est en charge de l'intervention, et le ou les Partenaires de Mise en œuvre (IP) auxquels l'OM a accordé l'accès à l'intervention peuvent mettre à jour le cadre logique de cette intervention.
Les quatre rôles principaux suivants sont disponibles dans OPSYS pour les Interventions, le Monitoring et les Résultats :
Rôle | Responsabilités |
Gestionnaire Opérationnel (OM) / Agent Initiant Opérationnel (OIA) | Le Gestionnaire Opérationnel, en Délégation de l'UE ou dans une Unité au Siège, est responsable d'effectuer le suivi opérationnel d'un projet. Il/Elle gère la partie opérationnel de la relation contractuelle avec le Partenaire principal de mise en œuvre. Il/Elle est également responsable de la conception et de la rédaction des Cadres Logiques pour les Actions, et peut aussi être responsable du reporting des activités annuelles, soit à travers le Rapport d'Activité Annuel, soit à travers le Rapport de Gestion de l'Aide Extérieure (EAMR) (en fonction de la DG pour laquelle il/elle travaille). Les Gestionnaires Opérationnels peuvent créer, consulter, mettre à jour et supprimer des Interventions ; et consulter, mettre à jour, vérifier, approuver et supprimer les Cadres Logiques pour les Interventions qu'ils gèrent. Le Gestionnaire Opérationnel est responsable de l'ajout et de la suppression de l'accès aux Partenaires principaux de mise en œuvre pour les Interventions dont il / elle est responsable. |
Partenaire principal de mise en oeuvre / Contractant et Partenaire de mise en oeuvre / Expert | Le Partenaire principale de mise en œuvre est le Contractant, ou le signataire du contrat avec la Commission Européenne. Les Partenaires principaux de mise en œuvre / Contractants sont en charge des activités de mise en œuvre des projets financés par la Commission Européenne. Ils ont une obligation contractuelle de reporting sur les progrès effectués vers les objectifs à atteindre et sur l'exécution financière. Le Partenaire principal de mise en œuvre / Contractant peut donner ou révoquer l'accès aux Partenaires de mise en œuvre / Experts sur l'Intervention, ainsi sur la mise à jour et la soumission du Cadre Logique. Les Partenaires de mise en œuvre / Experts (non-principaux) peuvent être des partenaires du Consortium ou des Experts externes. Ils contribuent aux activités de mise en œuvre et aux tâches de reporting. Les Partenaires de mise en œuvre / Experts peuvent accéder à l'Intervention (lorsque l'accès est accordé par le Partenaire de Mise en Oeuvre Principal) et mettre à jour le Cadre Logique, mais ne peuvent pas soumettre le Cadre Logique pour révision. Seul le Partenaire principal de mise en œuvre peut soumettre le Cadre Logique pour approbation auprès du Gestionnaire Opérationnel. |
Responsable Qualité (Interne ou Externe) | Les Responsables Qualité sont responsables de la méthodologie axée sur les résultats, la guidance, le support et le contrôle qualité d'un domaine spécifique. Ils sont chargé d'apporter un support méthodologique aux Gestionnaires Opérationnels. Le Responsable Qualité s'occupe du répertoire des indicateurs clés proposés aux Gestionnaires Opérationnels, Partenaire Principaux et aux Partenaires de Mise en Oeuvre lors de la rédaction d'Actions et de Contrats, et fournit son support aux Gestionnaire Opérationnels pour la rédaction du Cadre Logique et l'utilisation des indicateurs. Les Responsables Qualité vérifient les valeurs encodées en cours et procèdent ensuite au reporting, ceci incluant des obligations spécifiques de reporting tel que le cadre des résultats. Un Responsable Qualité peut déléguer le contrôle et la validation de n'importe quel élément dont il est responsable à un autre Responsable Qualité. |
Utilisateurs Internes de la Commission Européenne | Tout les utilisateurs des DG DEVCO, NEAR et des services FPI, ainsi que les Délégations de l'UE possédant un EU Login ont accès en lecture seule à tous les Portfolios et les Cadres Logiques approuvés. |
Une Activité représente ce qui est fait avec l'intervention pour produire des résultats (c'est-à-dire l'utilisation des ressources).
Les activités sont des actions entreprises ou des travaux effectués, grâce auxquels des Entrants (Inputs) (tels que des fonds, assistance technique et d'autres types de ressources) sont mobilisés pour produire des produits (Outputs) spécifiques.
L'Approche du Cadre Logique est une méthodologie utilisée dans l'action extérieure de l'UE pour planifier, gérer et évaluer des Programmes et des Projets ou des Actions, impliquant l'analyse des parties prenantes, l'analyse des problèmes, l'analyse des objectifs, l'analyse des stratégies, la préparation d'une Matrice du Cadre Logique (Logframe) ainsi que la planification des activités et des ressources.
La Gestion Axée sur les Résultats (RBM - Results-Based Management) est une stratégie de gestion axée sur la performance et l'achèvement des produits, des effets directs et des impacts.
Le Cadre Logique est une matrice dans laquelle la logique de l'intervention (objectif général, la raison, les résultats attendus et les activitiés - voir section ci-dessous), les hypothèses, les indicateurs objectivement vérifiables et les sources de vérification sont représentés.
La Matrice du Cadre Logique (LFM - Logical Framework Matrix) implique l'identification des éléments stratégiques (entrants, produits, effets directs, impact) et leurs relations, indicateurs, et les hypothèses ou risques qui peuvent influencer la réussite ou l'échec d'un Projet. Il facilite ainsi la planification, l'exécution et l'évaluation d'une intervention de développement, et est donc présent et utilisé dans les différentes phases du cycle des opérations.
Il est présenté sous la forme d'un tableau résumant les éléments clés d'un Projet / Programme, qui est utilisé comme outil de gestion, pour améliorer la conception des interventions et à des fins de monitoring et de reporting durant la mise en œuvre.
La matrice du cadre logique contient :
Dans OPSYS, la Matrice du Cadre Logique (LFM) est identifiée comme Logframe, celui-ci étant attaché à une Intervention. |
La Logique d'Intervention est un rapport narratif détaillé et structuré expliquant comment, dans une situation donnée, les produits mèneront aux effets directs, et ensuite comment ces effets directs mèneront à l'impact attendu. Ce rapport décrit la « logique verticale » du Cadre Logique en associant la première colonne (chaîne de résultats) et la dernière colonne (Hypothèses) du Cadre Logique.
Selon la terminologie du CAD de l'OCDE, le terme « Résultat » couvre les produits, les effets directs et les impact (niveaux de résultats) d'une intervention de développement. Ces trois niveaux de résultats peuvent être représentés dans une Chaîne de Résultats qui se reflète dans la structure de la Matrice du Cadre Logique : Impact - Objectif Global, Effets Directs - Objectifs Spécifiques et Produits.
La hiérarchie des résultats attendus (produits, effets directs et impacts) d'une intervention, exprimée avec chaque élément ou composant contribuant au suivant, est représentée comme une Chaîne de Résultats (c'est-à-dire une voie de changement).
La chaîne de résultats est la séquence causale d'une intervention qui stipule la progression nécessaire pour atteindre les objectifs souhaités - en commençant par les entrants, puis en passant par les activités et les produits, et aboutissant aux effets directs, aux impacts et au feedback. Dans certaines agences, la portée fait partie de la chaîne de résultats.
Les bonnes pratiques pour construire une chaîne de résultats sont :
Exemples :
L'Impact (ou objectif global) est un effet à long terme auquel l'Intervention contribuera au niveau du pays, de la région ou du secteur.
Un impact peut être un effet positif ou négatif, primaire ou secondaire, à long terme produit par une intervention de développement, qu'elle soit directe ou indirecte, voulue ou non.
Un effet direct (ou objectif spécifique) est un effet direct à moyen terme sur le comportement des groupes cibles, sous le contrôle du partenaire bénéficiaire.
L'effet direct représente les effets probables ou atteints à court et à moyen terme des résultats d’une intervention.
Les Produits sont des biens ou des services directement fournis sous le contrôle de l'intervention.
Ces extrants sont des produits, des biens d'équipement et des services qui résultent d'une intervention de développement et peuvent inclure des changements résultant de l'intervention qui sont pertinents pour la réalisation des effets directs (outcomes).
Une Hypothèse est une supposition sur des facteurs ou des risques qui pourraient affecter le progrès ou le succès d'une intervention de développement. Les hypothèses sont des facteurs externes clés qui sont essentiels au succès d’une intervention.
Les bonnes pratiques lors de la définition des hypothèses sont :
Les Risques ou les Hypothèses sont les deux aspects d'une même question - si vous n'êtes pas sûr qu'une hypothèse se vérifie, c'est probablement un risque pour lequel des mesures de mitigation devraient être fournies.
Une Analyse ou une évaluation des risques peut être effectuée pour déterminer les facteurs (appelés hypothèses dans les cadres logiques) qui affectent, ou sont susceptibles d'affecter, la réussite des objectifs d'une intervention.
Un Indicateur est une variable utilisée pour mesurer et évaluer les performances (i.e. ils permettent la vérification du changement et la mesure des résultats). Les indicateurs sont à la base du système de suivi et d'évaluation du projet.
Les indicateurs sont des facteurs (ou variables) quantitatifs ou qualitatifs qui fournissent un moyen simple et fiable de mesurer les réalisations, de refléter les changements liés à une intervention ou d'aider à évaluer la performance d'un acteur du développement.
Les indicateurs doivent toujours être fournis avec des valeurs de référence (valeur initiale) et cibles (valeur intermédiaire ou finale), ainsi qu'une possible source de vérification des valeurs actuelles.
Un indicateur doit être :
La Désagrégation représente la ventilation des observations (généralement dans une branche commune d'une hiérarchie) à un niveau plus détaillé, de sorte que des observations plus détaillées peuvent être prises. Les mesures des indicateurs peuvent être ventilées (le cas échéant) par sexe, âge, population urbaine / rurale, quantile de richesse, etc.
Dans le cas des indicateurs clés, les Responsables Qualité peuvent décider, par exemple, qu'il est de bonne pratique de désagréger le nombre total d'un groupe de personnes en catégories femmes / hommes, urbaines et rurales.
Les Responsables Qualité ont la possibilité de rendre la désagrégation obligatoire ou facultative. La configuration de ce paramètre dans l'indicateur clé garantit que les données collectées pour la formulation et / ou la mise en œuvre seront adaptées et prévues lors de l'examen du critère.
Lorsque des indicateurs sont élaborés, la Source de Vérification doit également être spécifiée.
La Source de Vérification doit spécifier :
Les sources des données pour les indicateurs peuvent être primaires ou secondaires :
La performance des résultats est mesurée avec un ensemble de valeurs (ou mesures) collectées pour chaque indicateur identifié à un moment précis (date) :
La périodicité des rapports sur les valeurs actuelles (progrès) est normalement fixée contractuellement. Cependant, le Gestionnaire Opérationnel peut également décider de modifier les paramètres par défaut du système et demander un rapport plus fréquent au Partenaire Principal de Mise en œuvre.
Pour chaque valeur encodée, une Source de Vérification doit être spécifiée. La plupart des indicateurs conçus par les Responsables Qualité auront une Source de Vérification suggérée ou obligatoire. Si ce n'est pas le cas, le Partenaire de Mise en œuvre devra spécifier d'où proviennent les données collectées et la date à laquelle elles ont été collectées.
La Valeur de référence est la valeur initiale d'un indicateur.
Bonnes pratiques pour définir la valeur de référence :
La Cible est la valeur finale attendue d'un indicateur.
Bonnes pratiques pour définir la valeur cible :