Monitoring and control

Findings/lessons learned 

• 75% of the ENRECA projects have developed an explicit monitoring plan. In 79% of the project, the partners had  developed indicators together.  

• 88% of the ENRECA projects monitor activities on a regular basis.  

• Monitoring should relate to an institutional baseline study and include a few but fundamental performance  indicators.  

• Discussing performance indicators, monitoring plan and data collection as part of the project preparation or start‐ up can help partners focus on project objectives and adjust expectations.   

• Using LFA matrix indicator monitoring is not sufficient for ongoing follow‐up on activities. 

• Some projects use a list of project activities for ongoing monitoring. 

• It is a challenge to ensure that “softer” project outputs or effects such as, e.g. the work climate, the collaborative  environment, participants’ expectations, perceived involvement, and engagement are also monitored.          

Monitoring provides a means for knowing if the project is moving in the right direction. As expressed by a  project manager: “Monitoring makes you focus on the things that you have to do. It keeps you on track.”  [PM1].  As a minimum, projects are obliged to monitor progress related to stated objectives in connection  with the annual progress report to Danida. But project management normally involves a continuous  monitoring effort as explained in this answer from the survey:  

“The question on internal evaluation [in the survey] implicitly assumed that the format of evaluation  were formal evaluation sessions (as I read the question). We have not had such procedure. Instead we  have  continuously  made  evaluations  through  guidance  of  MSc/PhD  students,  guidance/  review/inspection of field and laboratory work etc. as it is common in research training in Denmark  also.” [Project manager in the survey] 

This comment also illustrates the difference between monitoring and evaluation. Where evaluation is a  more formal activity planed and executed at a certain point in time, monitoring, on the other hand, is an  ongoing activity used as a basis for continuously “optimizing” the project execution.  

Table 5.14: The inclusion of project monitoring tools in ENRECA projects’ most recent project phase (n=24) 

Answer Options Yes, and to an adequate degree Yes, but to an inadequate degree No, but we should have done it No, and I don't find it necessary

During project preparation, was an explicit monitoring

plan/procedure incorporated in the overall project plan (e.g. in

terms of follow-up guidelines)? 50% 25% 13% 13%

Were indicators for monitoring developed together with your South

partner(s)? 50% 29% 17% 4%

Were specific milestones defined and used for monitoring progress? 63% 17% 8% 13%

During project execution, was project monitoring carried out on a

regular basis (with or without a plan)? 54% 33% 4% 8%

The monitoring system can help the partners ensure an adequate quality in the collaboration, both in terms  of process and results. One ENRECA project was initiated with a one year start‐up phase, where research  activities were supposed to slowly become organized in the South institution. But for several reasons, few  activities were initiated and valuable time was lost. If some kind of monitoring had been in place this might  have been avoided or corrective action could have been taken much earlier. But project managers also  argued that it is difficult to follow activities on a distance and that monitoring is highly dependent on good 

68 

communication and reporting practices. Having jointly developed indicators for monitoring can help focus  attention on information and processes that facilitate the monitoring task. Table 5.14 shows that in 79% of  the ENRECA projects the Danish partners developed indicators for monitoring together with their South  partners. 17% did not do so, 8% wish they had, and 13% did not find it necessary to jointly develop  indicators. 79% of the projects used milestones to monitor progress, and 88% had carried out monitoring  on a regular basis (with or without a specific monitoring plan).  

Establishing a baseline for monitoring project progress helps focus attention on what is considered to be  important areas for improvement. The LFA, which is used by most ENRECA projects, requires that indicators  for each output are formulated. But only relying on the LFA level planning may be problematic. Several  project managers emphasized that the LFA has to be translated into a more operational short‐term activity  plan with a corresponding monitoring plan.  

Monitoring tend to focus on measurable outputs. But some project aspects are not easy to monitor:  “‘Milestones’ for commitment and other ‘soft’ measures are difficult to incorporate in the project. An  idea  is  to  organize  seminars  where  all  participants  are  able  to  express  their  feelings,  e.g.  disappointments, good experiences, etc. To assess it numerically is however difficult. What indicator  should be used?” [PM1] 

Project managers also argue that although difficult to monitor, attention should also be paid to the ‘softer’  elements of the collaboration. South partners may do a significant in‐kind contribution without this being  paid much attention because it is not made explicit, contrary to project inputs reflected in the budget.  

5.5

Project evaluation phase 

Project evaluation can be defined as a period in the project process where overall assessment of project  relevance, effectiveness, efficiency, sustainability, and impact is made. Evaluations can be done both at the  end of a project and during project implementation to optimize or re‐orient the implementation.  

Table 5.15: The use of internal and external evaluation results in ENRECA project management. Only projects where 

evaluation has taken place are included in the survey 

Answer Options To a low degree To some degree To a high degree Average Rating Stdev

(1) (2) (3) (4) (5)

External evaluation (n=8)

To what degree were results from external evaluation(s) considered in the planning of the following execution

period? 25% - 13% 13% 50% 3.63 1.77

To what degree did the external evaluation result in an open

dialogue between Danish and South partners? 13% 13% 25% 13% 38% 3.51 1.51

Internal evaluation (n=15)

To what degree have you in general considered the results from internal evaluations in the planning of the following

project execution? 7% 7% 20% 27% 40% 3.87 1.25

To what degree did internal evaluations result in an open dialogue about the project between Danish and South partners?

7% 7% 13% 13% 60% 4.13 1.30

Different evaluation methodologies are used. A distinction can be made between internal and external 

evaluations. Internal evaluations are initiated and carried out by the project participants themselves.  External evaluations can be initiated either by the project participants or by an external party (typically the  funding agency), but are carried out by an external party, typically a team of consultants with an expert  knowledge of RCB projects. In bottom‐up/participatory evaluations the project participants play a role in  defining criteria and indicators for the evaluation as well as in collecting and analysing data. In top‐

down/expert‐led evaluations, criteria and indicators are defined beforehand by outsiders, and participants  are not involved in data collection or analysis. A distinction is also made between formative and summative  evaluation. Formative evaluation processes focus on participants’ learning and improvement of the  situation, whereas summative evaluation focuses on judging past performance.