RESEARCH LIMITATIONS/ POTENTIAL WEAKNESSES

Creswell (2005:198) says that every research undoubtedly has its own set of  limitations or potential weaknesses or problems that are often identified by the  researcher during the course of the study.  Stating limitations explicitly is important  for other researchers to consider the extent to which results can or cannot be  generalized to other people and situations (Ellis and Levy 2009).  The following are  some of the major limitations that affected this research.    

a) Missing documents at HHZ and lack of baseline data   

HHZ has been in existence for close to three decades since 1985.  No  systematic baseline study was conducted at the start of the community 

development work.  Although some community consultations were held at the start  of the project work, those were for the purpose of developing project interventions.   

Although a sufficient number of relevant documents were located,  I faced a number  of challenges finding documents such as baseline documents, project proposals for  businesses such as the Lake Kariba Waterways, Warehouse trading, and the Caltex  filling station.  While some board meeting minutes were available, a number of them  were missing.  Other documents missing are those for programmes implemented  during the earlier part of the work between 1986 and 1990.   Presumably documents  have been lost at HHZ for lack of a system of storing records. 

The available internal HHZ reports were complemented with Simamba  documents available at the National Archives of Zambia (NAZ).   NAZ documents on  Simamba provided important background information before and after 

resettlement.  I also located documents from the HHUK office in Telford, England.  

Other documents were accessed from consultants who had undertaken different  types of studies.  One challenge of HHZ documents, such as management reports  and the newsletters, was that they were mostly biased towards creating a positive  picture of HHZ, especially amongst the donors, hence carried one side of the story 

i.e. of HHZ, and not the critical views of the beneficiaries.  However, I overcame this  challenge by accessing both internal HHZ reports and independent evaluation  reports.  Also with many documents available from different sources, I was able to  analyse the work of HHZ better.  

b) Information gone with key HHZ employees who quit   

At one time HHZ employed up to 60 members of staff with different 

expertise ranging from health, education, agriculture and co‐operatives (see details  in Chapter Eight).  In addition also HHZ employed a number of both expatriate and  local volunteers to perform various duties.  At the time of this research, in 2015, HHZ  had only three technical employees because the rest had left to join other 

organizations, especially in the recent years when HHZ’s financial fortunes have  continued to spiral downwards.  With the majority of employees that have left, it  means that HHZ has lost valuable unwritten knowledge and institutional memory.  

However, I was able to track down some key senior employees, former board  members, and former HHUK employees, which helped me better understand the  work of HHZ from different perspectives and individuals. 

c) Quality of documents at National Archives of Zambia (NAZ)   

The NAZ has voluminous documentation on Simamba chiefdom before and  after resettlement, and the period before Zambia’s independence.  Although that  was the case, documents from NAZ had the following limitations, of for example, not  adequately capturing the views and experiences of the rural people in Simamba.  

Similar experiences on these challenges are documented in the book by Isaacman  and Isaacman (2013:1) entitled ‘Dams, Displacement, and the Delusion of 

Development: Cahora Bassa and its legacies in Mozambique.’  They have reported  that ‘too often though, the viewpoints of the displaced people are lost or silenced by  efforts of the powerful to construct their own meaning in narrow terms of 

development or technical success.’  Further, they have reported that archival 

sources had the following limitations: (a) reports were influenced by the perceptions  of the colonial government; (b) that the realities of the Africans and their lives were  missing; and (c) there was generally lack of continued documentation after 

Mozambique gained independence.  All these challenges reported by Allen Isaacman  and Barbara Isaacman also were present in the NAZ documents as well.  To address  these challenges I relied of documents from different sources, key informants and  first‐hand accounts on lived experiences of the first generation resettlers in Simamba  chiefdom.  

d) Challenge of oral testimonies / histories    

Oral testimonies usually capture the changing lived experiences and outlooks  from participants’ perspectives through the use of interviews (Batty 2009).  Elaine  Batty says that the lived experience is tainted by influential effects of culture and  other societal influences over time, thus making memory more difficult (Batty 2009).  

During this research, I interviewed a number of first generation and second‐

generation resettlers for their detailed views of their lived experiences before and  after resettlement (see Chapter Five).  Those oral testimonies were complemented  by documented evidence.  Although the oral testimonies are an important source of  information, they tend to have the following limitations on their own as a research  tool.  Oral testimonies faced the challenges of recall biases, memory inconsistencies  especially that this research was conducted several decades after resettlement had  occurred Batty (2009 citing Roberts 2002:105).  However, while this challenge was  present in this research it did not prevent important information to be collected. 

Information from people was cross referenced with records from NAZ and other  published sources. 

4.7. DATA GATHERING INSTRUMENTS AND TECHNIQUES  4.7.1. DOCUMENT ANALYSIS:  

Bowen (2009) defines document analysis as a systematic procedure in  qualitative research in which printed and electronic materials are examined, and  interpreted in order to elicit meaning and develop empirical knowledge.  Document  analysis was used in combination with other methods as a means of triangulation  and to corroborate findings from different sources (Bowen, 2009).  My document  analysis included reviewing data from the following existing sources such as Colson  and Scudder’s long‐term research literature, published and unpublished sources  covering demographic, economic and social data.  In addition, I also reviewed the  Zambia census data, archival records, church records and school records.  Of 

particular interest to me were HHZ’s documents such as board minutes dating from  1986 to2013, management reports from 2000 to 2013, project proposals, official  correspondence, the Harvest Helper Newsletters from 1988 to 2002, staff quarterly  reports, strategic plans and project evaluation reports (1994 and 1990, 2000) were  accessed from HHZ’s records room.   

Relevant background documents on Simamba were photocopied from  National Archives of Zambia (NAZ) and verified during focus group discussions.   

Secondary data was used to design the household survey tool and provided 

background materials for the preparation of interview checklist as well as selecting  villages for this research.  Both Scudder’s FSF and the Cernea’s IRR frameworks  provided an analytical  theoretical tools for understanding risks and behaviours  along the various stages of the resettlement trajectory in Simamba.  During the  entire research I was aware that  there were potential validity concerns in that HHZ  documents or those from the National Archives of Zambia, that often do not wish to  present  their organizations in bad light.  However, this challenge was minimised by  accessing documents from different sources.  

4.7.2. PARTICIPANT OBSERVATION 

Participant observation is a process that enables researchers to learn about  the activities, also ideas and values of people under study in a natural setting by  observing and participating in those activities (Schensul, Schensul and LeCompte,  1999) thereby providing context for sampling guidelines or interview guides  (Kawulich 2005), and more.  It is a method for collecting information that has been  used in many studies to develop a holistic understanding of the phenomena under  study (ibid).  Key techniques of participant observations include participation in, for  example, farming operations such as harvesting and food processing; and 

questioning key informants to understand behaviours or local practices. 

For this research, participant observation was applied in collecting data on  the inventory of resources such as land, homes, clinics and schools available in  Simamba chiefdom by asking unstructured and open‐ended questions, conversing  with people as they pursued their daily life during different seasons and times of the  year.  I observed and participated in different activities, such as school lead activities  such as youth day celebrations, football and netball matches between villages; and  also between schools and ceremonies such as the Lwiindi (praying for rains). Other  popular rituals I observed included delivering the first produce such as mature maize  cobs, pumpkins and melons to the village church priest for blessings before the  family can start harvesting for home consumption.   

This practice was very common and revered amongst the people in Simamba,  such that children could be severely reprimanded for  consuming farm produce  before the harvest ritual.  Sunday mornings were when I could see couples and their  children in their best clothes going to attend church services, whereas the 

afternoons were often reserved for football and netball practice.  Saturday 

afternoon was for choir rehearsals and cleaning up churches in readiness for Sunday  service.  I also participated in food processing activities such as pounding and milling  millet on stones, to experience  how difficult the tasks were. 

By participating and observing all those events, I was able to grasp how  participants communicate and interact with each other to understand beliefs and  values that influence the behaviour patterns and lifestyle in Simamba Chiefdom. 

What was particularly striking was the impact of christianity in Nabutezi.  For  example, I saw a group of four men constructing a food granary at one of their  church member’s homesteads without charging their labour as a way of assisting his  family because their church member was very ill.  Further, I saw church members  offering their labour by weeding a cotton field owned by the church to raise money  to buy chairs for the church.  In addition, I noticed that there was generally a sense  of peace, during the time I stayed in‐residence; there were never any family fights,  even at beer parties.  Key informants attributed their peaceful welfare to their  Christian religious beliefs of loving thy neighbour. 

Participant observation also allowed this researcher to directly observe  events that key informants had shared (such as marriage procedures) or not shared  (burial procedures) through interviews (Marshall and Rossman, 1995).  This 

researcher was able to witness one of the daughters of her host getting married  through elopement, and the other procedures that followed under this types of  marriage.  At the Lwiindi, this researcher together with all other attendees, was not  allowed to go to the shrines as the village elders said it was a restricted area.  At  Manchavwa neighbourhood this researcher was not allowed to photograph the  kaanda (rainmaker’s shrine) as they said that would show lack of respect.  

Participant observation has the weakness of being costly, because it is time  consuming to uncover the hidden meanings of the situation (Law et al 1998). 

4.7.3. ETHNOGRAPHIC INTERVIEWS 

  Law et al (1998) defines interviews as a type of qualitative research that  combines immersive observations and directed face‐to‐face interviews to learn from  people what they believe and know.  I conducted ethnographic interviews at four  levels.  These were: a) Focus Group Interviews (FGI); b) Key Informant Interviews  (KII), c) Face‐to‐Face Interviews (FTF); and d) informal conversational type of 

interviews with ordinary people as they were going about their chores.  However,  Fontana and Frey (1994) note that although conducting interviews is the most  common and powerful way of understanding our fellow human beings, asking  questions and getting answers is a much harder task than what is seems at first,  since there is always a residue of ambiguity.  To offset this concern, I prepared an  interview checklist and pretested it with a few people to correct any error (See  Annex 2 for the checklist). The total number of a range of some of the participants  interviewed by type of research methods is provided in Annex 3 

a) Focus Group Interviews (FGI).  

The focus group interviews are in‐depth group discussions employing relatively  homogenous groups of people which provide information around specific issues  suggested by the researcher (Kitzinger, 1994; Kreuger 1998:88; Bernard 2002;  

Soklaridis 2009).  

For this research the FGI were important to help me understand cultural 

knowledge that is shared among group members such as first generation resettlers.   

It is for this reason that the FGI were well suited for this research.  Focus group  interviews may be used when the researcher needs in‐depth information about what  people think about an issue‐their reasoning about why things are as they are; why  they hold views they do (Kitzinger, 1994).  The strength of this group methodology is  that it allows research participants to develop ideas collectively, bringing forward  their own priorities and perspectives.  FGI are advantageous in that through group  interactions they can produce invaluable data on how people think about an issue‐

their own explanation and understanding; and the tool can be administered to  people who cannot read and write.  While the main weakness, is that there is a risk  of dominating interviews thereby suppressing the voices of the minorities or 

individual viewpoints; and there is a possibility of producing complex data to analyse  (Laws et al 2003).  Generally, FGI involve (7‐10) purposefully selected men and/or  women brought together to discuss a topic of mutual interest.  The groups may be 

homogenous with respect to one or more characteristics of interest to the 

researcher such as groups of male or female first generation resettlers interviewed  for this research (See Plate 2). 

For example, I had a focus group discussion with about six headmen from 

resettled villages to learn about their experiences.  Through focus groups interviews,  I was able to collect information on life/area histories, genealogies, impact of 

relocation, and HHZ inputs and outputs.  In addition, through FGI, I also collected  information on co‐operatives, current economic activities such as fishing, village  shops owned by individuals, goat trading, and beer business.  Furthermore, other FGI  discussed farming practices, land tenure systems, education and health services,  location, and access to schools, clinics, and basic food commodities before and after  HHZ.  

PLATE 2:  THE RESEARCHER (IN A BLUE DRESS) CONDUCTING A  FOCUS