Research Methodology: Fixed vs. Flexible

Research methodology is categorised into those with a fixed design and those with  a flexible design. Fixed designs are theory driven (Robson, 2011, p.66) whilst flexible  designs  may  be  driven  by  the  data  collected  in  order  to  formulate  new  theory.  A  summary of the main research strategies are given below, based on a combination  of Gray (2009) and Robson (2011): 

Experimental  research:  An  approach  that  measures  the  effect  of  change  on  variables (a fixed design approach).   

Ethnography:  An  approach  seeking  to  capture,  interpret  and  explain  how  people  live and think, which is largely observational (a flexible design approach).   

Phenomenological  research:  An  approach  that  uses  largely  unstructured  methods  in  order  to  gain  detailed  information  of  people’s  experiences  and  perspectives  (a  flexible design approach).  

Grounded  theory:  An  approach  that  aims  to  generate  new  theory  from  the  study  results. It is particularly useful in new areas or those that lack descriptive theory (a  flexible  design  approach).  It  is  a  systematic  but  flexible  strategy.  When  using  this  approach,  researchers  should  have  a  competent  level  of  knowledge  in  the  area,  without being too immersed in the literature.  

This  research  takes  an  approach  akin  to  grounded  theory.  This  approach  supports  the use of multiple qualitative methods (Gray, 2009, p.22‐23) with a strong focus on  the  use  of  interviews,  where  participants  are  selected  using  a  purposive  sampling  strategy (Robson, 2011, p.279‐280). 

4.8 Research methods 

There are a number of research methods available that suit a qualitative, inductive,  flexible  approach.  Qualitative  research  (Robson,  2011,  p.279)  commonly  uses  interviews  for  data  collection  and  this  method  formed  a  large  proportion  of  the  data  collection  for  this  research.  The  main  research  methods  used  within  this  research are discussed below and are then depicted in Table 8 in Section 4.8.6. 

Chapter 4: Research Methods 

 ‐ 84 ‐  

4.8.1 Interviews 

Interviews involve the researcher asking questions and receiving answers from the  person  being  interviewed  (Robson,  2011,  p.278).  According  to  Stanton  and  Young  (1999, p.87), ‘the main advantage of an interview is its familiarity to the respondent  as  a  technique  and  this,  combined  with  the  face‐to‐face  nature,  is  likely  to  elicit  more information, and probably more accurate information. In addition, because it  is  administrated,  the  interviewer  can  pursue  intriguing  lines  of  inquiry.’  Interviews  are  a  well‐known  and  well‐used  data  collection  method,  used  in  a  range  of  fields  and disciplines. The method is very flexible and adaptable, meaning the interviewer  is  able  to  modify  questions  as  the  interview  progresses  (in  less  structured  approaches) (Robson, 2011, p.280). Interviewing is a method of collecting rich data  in  both  qualitative  and  quantitative  forms.  The  face‐to‐face  nature  of  most  interviews (other than online or telephone interviews) means that the interviewer is  also able to identify non‐verbal cues from the participant, adding to the richness of  the  data  (Robson,  2011,  p.280‐281).  The  ability  to  be  a  good  interviewer  is  a  skill  and  requires  training  and  experience  to  obtain  all  relevant  information  from  participants. Careful preparation of interview questions is also important and a pilot  study  is  an  important  component  of  the  approach  (Gray,  2009,  Robson,  2002,  Stanton & Young, 1999).  

There  are  three  different  types  of  interview,  structured,  semi‐structured  and  unstructured (Robson, 2011, p.279‐280):  

Structured: Comprises a planned set of questions, in a particular order.  

Semi‐structured: The questions are planned but the order is flexible. The wording  of questions may be changed and inappropriate questions can be removed.  

Unstructured:  The interview is informal and although there is a particular topic of  interest, there are no set questions.  

In  all  types  of  interviews,  the  validity,  which  is  whether  the  findings  are  really  measuring what they appear to measure (Robson, 2002, p93), can be addressed by  ensuring  that  all  interview  questions  address  the  main  research  question  or  meet 

Chapter 4: Research Methods 

 ‐ 85 ‐  

the  research  objectives.  However,  the  less  structured  the  interview  is,  the  more  difficult it is to ensure validity, as the control the researcher has on the direction of  the  interview  is  reduced  (Gray,  2009,  p.375).  Due  to  the  time  consuming  and  expensive  nature  of  interviews,  it  is  usual  for  a  reduced  sample  size  to  be  used,  therefore lowering the external validity (Gray, 2009, p.376).  

Reliability is also important, meaning the results of a study would be the same if the  study  was  carried  out  again,  because  the  results  are  not  dependent  on  variable  factors in the study design (Gray, 2009, p.376).  

Interviews  are  the  primary  data  collection  tool  used  in  this  research,  reported  in  Chapters  5,  6,  7  and  8  and  they  are  carried  out  with  householders,  technology  developers and other academics. Due to the in‐depth nature of the interviews that  are  reported  in  this  thesis,  particularly  in  Chapters  5  and  6,  the  sample  size  was  limited.  However,  care  was  taken  to  ensure  the  research  and  validity  of  the  interviews  was  not  compromised,  by  ensuring  the  participants  were  carefully  selected and the questions not only met the research aims but that the interviews  could be replicated by using a semi‐structured protocol and question list.  

4.8.2 Focus group [Workshop] 

A focus group is an interview that takes place with a group of people and therefore  is  subject  to  the  same  advantages  and  disadvantages  listed  above.  However,  the  added component of several people in attendance means the number of questions  are  limited,  as  discussions  can  take  some  time  and  the  process  requires  effective  moderation (Robson, 2011, p.279‐280). However, through discussion, it is possible  to identify the most important topics to the group and the shared views within the  group. This also means that extreme views are ‘weeded out’, which is not possible  within an interview (Robson, 2011, p.279‐280). 

In  this  research,  the  focus  group  method  was  used  in  the  form  of  a  workshop,  where members of the CALEBRE project were gathered to discuss the role of UCD  within  the  project  through  a  number  of  activities.  It  has  been  described  as  a 

Chapter 4: Research Methods 

 ‐ 86 ‐  

workshop  because  of  the  different  activities  involved  and  to  emphasise  the  interaction and development of ideas within the session. 

4.8.3 Case Study 

Robson  (2002,  p.79)  describes  the  case  study  method  as  ‘development  of  a  detailed, intensive knowledge about a ‘single’ case, or of a small number of related  cases’.  Typically  a  researcher  selects  a  single  or  small  number  of  related  cases  within an area of interest. Data can then be collected via a range of techniques e.g. 

interview,  observation  etc.  Case  studies  are  most  often  used  qualitatively  but  can  be used as both a qualitative and quantitative method (Gray, 2009, p.169, Robson,  2011,  p.135).  It  is  particularly  useful  when  the  researcher  is  trying  to  uncover  a  relationship  between  a  phenomenon  and  the  context.  It  is  a  useful  method  for  answering ‘how’ questions (Gray, 2009, p.247). 

In  this  research,  a  case  study  approach  was  used  for  investigating  how  energy  saving technologies are developed and by using the case example of a heat pump. 

This is discussed in Chapters 6 and 7.  

4.8.4 Diary Study 

Diary  studies  take  the  form  of  a  self‐administered  questionnaire  when  used  as  a  research  method  (Robson,  2002).  They  provide  the  means  of  recording  data  from  participants over time, without the intrusion of observation. There is potential for  this information to be less reliable, as the participant is responsible for interpreting  questions and recording data successfully (Robson, 2002). 

This  method  is  used  within  this  research  to  record  hot  water  use  in  households  (Chapter  6).  In  this  case,  it  allows  the  recording  of  data  without  intruding  on  the  households’  daily  routines.  In  particular,  the  measurement  of  hot  water  temperature  would  be  very  difficult  to  perform  with  a  researcher  present,  due  to  obvious privacy and ethical issues.   

Chapter 4: Research Methods 

 ‐ 87 ‐  

4.8.5 Survey  

Surveys  are  used  mainly  to  collect  quantitative  information  and  are  described  by  Robson (2002, p.230) as, ‘The collection of a small amount of data in a standardised  form from a relatively large number of individuals’. The main issue with this method  is that there is no way of knowing whether respondents are being truthful in their  answers.  In  addition,  surveys  often  have  a  relatively  low  response  rate  and  the  validity  of  a  survey  will  vary  depending  on  the  questions  asked  (Robson,  2002). 

However, when conducted properly, with sufficient piloting, surveys can provide an  effective and efficient way of collecting data from large numbers of people.  

Surveys  are  used  in  this  research  to  evaluate  the  principles  of  cross‐disciplinary  working proposed in Chapter 8. 

4.8.6 Requirement Trees 

Requirement or objective trees are a useful way of stating and displaying objectives,  including  demonstrating  the  ways  objectives  relate  to  each  other.  The  process  of  achieving the requirement tree is also useful for clarifying objectives and for helping  the design team to reach a consensus (Cross, 2008, p.81‐82). Requirement trees aim  to  convert  non‐technical,  non‐quantified  customer  information  and  requirements  into a set of product characteristics (Wright, 1998) and were therefore identified as  an  appropriate  tool  for  translating  and  displaying  insights  from  the  user  research  into  user  requirements  in  this  research.  Requirement  and  specifications  are  a  familiar tool to technology developers as they are commonly taught in engineering  schools (Claridge & Berns, 1999). 

Requirement trees enable the designer or UCD practitioner to organise and identify  the  relationships  and  interconnections  between  all  objectives.  When  beginning  at  the  top  of  the  tree,  every  new  box  answers  a  ‘how’  question,  however,  when  beginning the process at the bottom of the tree and working upwards, every new  box answers a ‘why’ question (Cross, 2008, p.81).  

Requirement  trees  are  used  in  this  research  to  facilitate  the  translation  and  communication of the user information collected in Chapters 5 and 6, into a form 

Chapter 4: Research Methods 

 ‐ 88 ‐  

that  was  usable  by  technology  developers.  In  the  case  example,  this  method  was  used  to  produce  user  centred  design  specifications  for  the  heat  pump  to  ensure  user needs were represented in the design process. The process in which they are  used is described in Chapter 6. 

4.8.7 Research methods used in combination in this thesis 

In this research, a combination of interviews, surveys, literature reviews, workshops  and diaries have been used, as demonstrated below in Table 8.  

Table 8: Research methods used in parts 1, 2 & 3 of the thesis

  Interviews  Workshop  Survey  Requirement 

Trees  Diary Study 

It  is  often  necessary  or  recommended  to  use  triangulation  in  a  study,  where  a  combination of research methods is used (Wilson, 1995, p.1‐40). Gray (2009) points  out that all methods have their individual strengths and weaknesses and the use of  methodological triangulation can help to balance out these weaknesses. In addition,  when  using  the  same  participants  over  an  extended  study  period,  the  use  of  different methods can help to keep the participants engaged and interested. 

Chapter 4: Research Methods 

 ‐ 89 ‐  

4.9 Sampling 

Robson  (2011,  p.270)  describes  the  idea  of  a  sample  as  linked  to  the  idea  of  population  which  is  as  ‘all  cases’.  It  is  often  unrealistic  to  deal  with  an  entire  population, therefore a sample is a selection of the population. There are two types  of  sampling  strategy,  probability  and  non‐probability.  In  a  probability  sample,  the  probability  of  the  selection  of  each  respondent  is  known  whilst  in  non‐probability  samples,  it  is  not  known  (Robson,  2011,  p.270).  Examples  of  types  of  probability  samples  (as  listed  in  Robson,  2011,  p.270‐277)  are:  Simple  random  sampling,  systematic  sampling,  stratified  random  sampling,  cluster  sampling  &  multi‐stage  sampling.  Whilst  examples  of  non‐probability  samples  are:  quota  sampling,  dimensional  sampling,  convenience  sampling,  purposive  sampling  &  snowball  sampling. 

For  this  research,  non‐probability  samples  were  used.  The  studies  required  participants  to  have  particular  characteristics  and  therefore  the  populations  were  specified and chosen to ensure these people types were included. For example, in  the  home  improvement  study,  purposive  (otherwise  known  as  purposeful  or  judgment (Marshall, 1996) sampling was used, where the researcher actively selects  the most useful sample to answer the research question, which may be based on a  number of variables (Marshall, 1996). In this study (Chapters 5 & 6), the participants  were required to live in Leicestershire and be an owner occupier of a solid walled  house, therefore, the population only included those who could meet this criteria. 

Specific sampling strategies are stated within the study chapters. 

Chapter 4: Research Methods 

 ‐ 90 ‐