• No results found

CHAPTER FOUR: RESEARCH STRATEGY, DESIGN AND METHODS 

INTRODUCTION 

This  chapter  provides  the  research  aims  and  questions  for  this  study.  It  describes the development of a conceptual and empirical framework, so as to  operationalize  the  theoretical  concepts  explored  and  discussed  in  the  literature review in Chapter Two.  It develops the research strategy, methods  and  techniques,  and  data  collection  methods.  The  chapter  describes  the  strengths and potential limitations of the study, arising from its design, which  include  possible  threats  to  reliability  and  validity; and  the  delimitations  of  the  scope of the study. 

RESEARCH AIMS AND QUESTIONS 

As  set  out  in  the  preceding  chapters,  the  research  focus  of  this  study  is  the  exploration  and  development  of  theoretical  ideas  tested  through  empirical  work  that  will  contribute  to  knowledge  about  the  concept  of  organizational  capacity  in  public  organizations  and  how  capacity  can  be  developed  to  improve public services. 

The review of the literature in Chapter Two revealed that the various streams  of  writing and  discussion  about  organizational  capacity  and  capacity  building  leave  many  unanswered  questions.  First,  the  concept  of  organizational  capacity  is  relatively  under­theorised.  Second  there  is  a  need  for  a  clear

definition.  Third,  organizational  capacity  may  be  perceived  as  being  conceptually distinct from capacity building. Operationalization of the concepts  and  empirical  research  are  needed  that  help  to  explain  the  relationship  between organizational capacity and organizational capacity building. Fourth,  context matters. The public policy context, described in Chapter Three, where  organizational  capacity  building  is  intended  to  improve  public  service  performance, makes this a significant area of enquiry. One of the aims of the  study  is  to  assess  the  extent  to  which  the  context  of  public  organizations  affects organizational capacity and capacity building. 

The  aims  and  objectives  of  this  study  can  be  stated  initially  as  five  main  research  questions.  Having  reviewed  the  literature,  the  first  aim  of  the  research  is  to  construct  a  theoretical  framework  capable  of  being  operationalized  into  a  measurement  tool,  suitable  for  the  UK  public  service  context.  The  first  question  relates  to  the  meaning  of  organizational  capacity,  the need to develop its currently limited conceptualization, and to develop and  test  a  model  of  organizational  capacity  and  capacity  building:  What  do  we  mean  by  organizational  capacity  and  can  we  build  a  plausible  model  of  organizational capacity? 

Having  developed,  tested  and  assessed  the  reliability  of  the  model  of  organizational  capacity,  the  next  steps  in  the  enquiry  will  be  to  apply  the  model  to  explore  organizational  capacity  in  the  context  of  UK  public

organizations.  In  particular  the  model  will  be  applied  to  examine  differences  between  Beacon  and  non­Beacon local  authorities,  and  to examine  changes  over time in the capacity of these two types of local council. 

The second question relates to the relationship between conceptualizations of  organizational capacity and the public organizational context. In other words,  what  theories,  definitions  and  models  of  organizational  capacity  might  be  relevant to UK public service organizations? The relative lack of research into  organizational  learning  and  knowledge  and  into  organizational  capacity  and  capacity building suggests that there is a need to apply theories and develop  measures  to  understand  and  explain  such  phenomena  in  public  service  organizations. 

The  literature  review  has  identified  that  there  is  a  need  for  research  which  explores  and  explains  differences  in  capacity  within  and  between  public  organizations. This leads to the third research question, what is the extent of  organizational capacity in English local authorities? This question is aimed at  investigating  the  possible  existence  of  differences  in organizational  variables  that  can  explain  the  extent  of  organizational  capacity  in  English  local  authorities.  This  in  turn  suggests  that  factors  that  explain  organizational  capacity  also  contribute  to  explanation  of  organizational  knowledge,  learning  and improvement.

The  fourth  research  question  examines  changes  in  organizational  capacity:  what  is  the  extent  of  change  over  time  in  organizational  capacity  in  English  local  authorities?  Prior  research  into  organizational  capacity  and  capacity  building  has  for  the  most  part  neglected  an  explanation  of  changes  that  illustrate  an  increase  in  capacity  over  time.  If  an  increased  extent  of  factors  related  to  organizational  capacity  is  found,  it  may  be  related  to  increases  in  organizational  knowledge,  learning  and  organizational  improvement,  or  to  other factors. This study offers a means to explore capacity factors that lead  to  performance  changes  in  an  organization  and  amongst  populations  of  organizations.  The  fourth  research  question  is  also  intended  to  explore  the  distinction and overlaps between the concepts of organizational capacity and  capacity  building,  which  the  literature  review  found  to  derive  from  different  perspectives. 

Finally,  the  fifth  question  focuses  on  one  specific  policy intended  to increase  capacity  and  improve  performance  in  local  government  and  local  public  services: the Beacon Scheme. Part of the rationale for capacity building is to  reduce  the  differentiation  between  high  performing  and  lower  performing  councils. The  assessment  process  for  the  award  of  Beacon  status  is  robust:  Beacon  status  is  awarded  to  those  councils  that  have  demonstrated  service  excellence and the capability to share their expert knowledge with others. The  Beacon Scheme provides the opportunity to examine explanations of capacity  that may be associated with first, better performing councils; and second, with

organizational  sharing  of  knowledge  and  service  improvement.  The  fifth  research  question  is:  is  the  award  of  Beacon  status  associated  with  greater  organizational capacity and greater capacity building? 

One important  aspect  of  this  study is the  potential  contribution  to  knowledge  that can be made by studying public organizations. As noted in the literature  review,  public  organizations  tend  to  be  under­represented  in  organizational  research in general, and in relation to organizational knowledge, learning and  capacity in particular (Rashman et al, 2008, forthcoming). Public organizations  of particular theoretical interest to this study are active in the acquisition and  assimilation of knowledge, thus increasing their capacity to anticipate change,  and to transform their potential for innovation and improvement.  The research questions inform the selection of the type of organization to be  studied in  the  research.  Beacon  councils  have  an  established and  nationally  recognized reputation as pioneers of excellent practice and there is research  evidence  that  Beacons  acquire,  assimilate  and  adapt  knowledge  (Rashman  and Hartley, 2002; Downe et al, 2004; Hartley et al, 2007; Hartley et al, 2008).  The  study  will  include  the  comparison  of  Beacon  and  non­Beacon  local  authorities.  It  is  reasonable  to  hypothesise  that  councils  that  have  been  awarded Beacon status will be more active in capacity building activities than  those councils that have not achieved the award. The argument is made that  both  internal  and  external  organizational  factors  influence  changes  in

organizational  learning  and  in  organizational  capacity.  Therefore,  the  assumption  is  made  that  it  is  possible  to  distinguish  and  test  variables  that  can explain differences in levels of organizational capacity. 

PHILOSOPHICAL ASSUMPTIONS AND METHODOLOGY 

The  design  of  the  research  strategy  to  study  organizational  capacity,  and  to  take  into  account  the  contextual  features  of  public  organizations,  poses  questions  about  the  selection  of  an  appropriate  approach  and  methodology  for  understanding  social  phenomena.  The  choice  traditionally  rests  on  a  distinction  between  philosophical  paradigms,  each  of  which  has  been  primarily associated with specific methodological approaches to the research  process  and  methods  of  data  collection  and  analysis.  The  positivistic  paradigm, based on the notion that the study of social reality should be similar  to  the  study  of  natural  sciences,  is  largely  concerned  with  the  collection  of  quantitative  data.  Phenomenological  or  constructivist  research  by  contrast,  emphasises the socially constructed nature of social interaction, and is usually  associated  with  qualitative  methods.  The  review  of  previous  studies  of  organizational  capacity  revealed  relatively  few  examples  of  empirical  research:  these  were  drawn  from  both  quantitative  and  qualitative  approaches. 

Each of the two dominant paradigms, positivist and phenomenological, has an  established  tradition  and  has  evolved  in  part  as  a  reaction  to  competing

perspectives  (Morgan  and  Smircich,  1980).  They  may  be  described  as  extreme positions on a continuum, which include ontological, epistemological  and  methodological  assumptions  of  the  two  main  paradigms  (Collis  and  Hussey, 2003), as illustrated in Figure 4.1. 

Figure 4.1 Assumptions of the two main paradigms. Source: adapted from Collis and  Hussey (2003: 49­60). 

Positivistic  Approach to social sciences  Phenomenological 

Ontological  Reality is objective, concrete  and apart from the  researcher.  Epistemological  Researcher is independent  from that being researched.  Methodological  Deductive process  Static design  Context­free  Tends to produce  quantitative data  Associated methodologies  Cross­sectional studies  Experimental studies  Longitudinal studies  Surveys  Ontological  Reality is subjective, multiple,  as seen by participants in a  study.  Epistemological  Researcher interacts with  that being researched.  Methodological  Inductive process  Emerging design  Context­bound  Tends to produce qualitative  data  Associated methodologies  Action research  Case studies  Grounded theory  Participative enquiry 

The  quantitative  methods  of  the  positivist  approach  are  likely  to  be  underpinned  by  a  theoretical  framework  and  to  include  testable  hypotheses  and  propositions  about  relationships  between  a  relatively  small  number  of  phenomena.  Systematic  observations  and  experiments  provide  an  explanation  of  relationships  among  selected  variables.  Critics  of  the  positivistic approach argue that the “standard view” of science is inappropriate  for social sciences (Smith, 1998) and that scientific facts cannot be observed  objectively  nor  understood  separately  from  their  social  context.  Social  reality

is not objective but an outcome of subjective meanings and the aim of social  science  should  be  to  uncover  and  interpret  socially  and  historically  constructed  perceptions  and  meanings  (Smith,  1998;  Robson,  2002).  The  research  “objects”  are  human  individuals  whose  behaviour  cannot  be  fully  evaluated  but  can  be  described  and  partially  understood  by  seeking  their  underlying  meaning,  as  well  as  record  observations  of  material  activity  and  causal  links.  In  contrast  to  positivist  assumptions,  phenomenologists  regard  reality  as  subjective,  value­laden  and  multiple,  represented  through  the  perceptions of participants (Smith, 1998). 

Interpretivism  is  one  of  a  number  of  phenomenological  approaches.  It  suggests  a  broader  philosophical  perspective  that  is  not  exclusively  associated  with  qualitative  research  design  and  methods  (Moses  and  Knutsen, 2007). Interpretivist assumptions about the nature of reality focus on  its dynamic nature and multiple realities. Social structures are assumed to be  in  a  constant  state  of  flux  and  individuals’  perceptions,  activities  and  interpretations  of  meaning  interact  with  social  structures  within  a  social  context.  Interpretive  theorists  and  researchers  make  use  of  their  own  prior  knowledge  and  interpretations,  drawing  on  “common  sense  and  experiential  understandings”  in  their  study  of  meanings  of  people  in  groups  and  organizations (Hatch, 2006: 43).

The  strong  associations  between  paradigm,  methodology  and  research  methods  have  implications  for  both  the  choice  of  research  problem  and  expression  of  research  questions  (Collis  and  Hussey,  2003).    One  common  solution  to  the  relative  strengths  and  risks  of  the  two  approaches  is  to  combine or mix qualitative and quantitative research methods. This study will  take  an  alternative  design  approach,  which  will  test  a  conceptual  framework  through  subsequent  survey  research,  which will  be  analysed interpretatively,  drawing  on  the  researcher’s  prior  contextual  knowledge.  The  philosophical  argument is made in the following section. 

QUALITATIVE AND QUANTITATIVE METHODS 

The  nature  of  the  phenomena  under  investigation  in  organizational  analysis  (relationships  between  people,  systems,  processes  and  structures)  challenges  the  use  of  positivist  approaches.  Phenomenological  or  interpretivist  approaches  are  not  often  associated  with  measurement  or  statistical  studies  (Collis  and  Hussey,  2003;  Moses  and  Knutsen,  2007)  but  some scholars have argued for a different way of considering the relationship  between philosophical and methodological approaches. 

Organizational research needs to employ research techniques appropriate to  the  task  (Morgan  and  Smircich,  1980)  that  are  focused  on  interactions  and  meanings in context, to gain new knowledge within a particular setting. Some  critics have argued that positivistically based theoretic studies of change and

innovation in  organizations  have  failed  to  produce  robust  findings  and  that it  has proved difficult to transfer research findings to different social and cultural  settings of organizations (Pettigrew et al, 1992). Interpretive research may be  associated  with  qualitative  research  methods  but  as  there  are  no  prescribed  methods,  both  qualitative  and  quantitative  methods  may  be  combined  within  an interpretive approach: quantitative data collection (such as use of surveys)  may be complemented by consideration of social meaning. 

It  is  sometimes  claimed  that  statistical  approaches  may  be  problematic  for  a  constructivist  scholar  due  to  the  need  for  distance  from  the  context  of  the  study  and  loss  of  interpretation  through  the  process  of  quantification  (e.g.  Moses and Knutsen, 2007). However, the dichotomy between qualitative and  quantitative  methods  is  an  unhelpful,  artificial  “relic  of  the  past”  (Moses  and  Knutsen,  2007:  292).  Indeed,  “some  of  the  most  sophisticated  ‘quantitative’  strategies  can  be  associated  with  constructivist  methodology”  (Moses  and  Knutsen, 2007: 294) because it is possible to specify and interpret the context  of  a  study  and  to  develop  an  understanding  interactively  with  the  data.  This  “methodological  pluralism”  (Moses  and  Knutsen,  2007)  allows  the  interpretation of measurable data, as well as the preservation of meaning and  context that are important to constructivists. 

The implication  of  this  argument  for  the research  design for  this  study is  the  intention  to  bridge  the  artificial  divide  in  the  philosophical  continuum.  Rather

than  be  constrained  by  the  traditional  associations  of  polar  positions,  the  research design will combine: an interpretivist approach; a contextual mode of  research appropriate to the study of organizational capacity; and methods that  will  encourage  hypothesis  formation,  verifying  and  theory  building.  Quantitative  methods  are  appropriate  and  will  be  used  to  develop  and  interpret research into capacity in the public service context. 

Survey  research  is  one  method  of  collecting,  organizing  and  analysing  data  that  is  often  contrasted  to  qualitative  methods.  Qualitative  methods,  such  as  case studies, focus on particular cases to develop a rich picture and depth of  understanding  but  do  not  rely  on  comparing  cases.  In  contrast,  surveys  can  provide  large  amounts  of  data  about  many  cases.  Surveys  are  frequently  carried  out  for  descriptive  and  analytical  purposes  and  “can  go  beyond  the  descriptive  to  the  interpretive…to  provide  explanations  of  the  phenomena  studied  and  the  patterns  of  results  obtained”  (Robson,  2002:  235).  Interpretation  depends  upon  inclusion  of  a  substantial  number  of  variables  and sophisticated analysis of the pattern of correlations. 

The  approach  to  the  interpretation  of  the  survey  data  will  incorporate  important aspects of symbolic­interpretive influences, including understanding  of  organizations  as  socially  constructed  and  institutionalised  within  specific  socio­cultural  and  political  contexts  (Hatch,  2002:  46).  The  interpretive  researcher acknowledges their own subjective understanding, becoming self­

reflexive,  and  recognising  that  “knowledge  is  being  generated  between  people, negotiating meanings  in an  inter­subjective way” (Radnor, 2001: 29).  Reflexivity calls for the researcher to question the assumptions underlying the  research  design  and  process  (Hatch,  2002);  and  it  acknowledges  the  relevance of prior contextual knowledge that the researcher contributes to the  research design (Radnor, 2001). In the next section, the empirical framework  is  developed  into  a  model  that  can  guide  the  preparation  for  survey  design  and data collection. 

THE EMPIRICAL FRAMEWORK 

The  literature  review  identified  a  number  of  theoretical  frameworks,  models  and measures of organizational capacity and capacity building. In this section,  the  discussion  focuses  on  the  synthesis  of  prior  research  to  inform  the  development  of  a  conceptual  framework  for  the  empirical  study.  These  guiding  frameworks  derive  predominantly  from  the  context  of  public  service  organizations.  This  study  will  focus  on  the  explanation  of  organizational  capacity within contemporary UK policy intended to improve public services in  general and local authorities in particular. 

Explanations  of  organizational  capacity  derive  from  analysis  of  capacity  deficits (Martin, 1999; Sanderson, 2001; Rashman and Hartley, 2002), as well  as existing or theoretical antecedents and “dimensions”. The achievement of  the  appropriate level  of  organizational  capacity  that  can lead  to  learning  and

improvement,  including  the  acquisition,  assimilation  and  utilization  of  “potential”  capacity,  can  be  perceived  to  be  valuable  for  superior  organizational performance. Incomplete or inadequate capacity is likely to be  manifested  by  deficits  in  performance.  Differences  between  an  inadequate,  adequate,  or  optimum  level of  organizational  performance  may  be  explained  by  the  extent  of  organizational  capacity.  Therefore  it  is  important  and  necessary  to  construct  a  conceptual  framework  that  can  analyse  the  differences  in  capacity  that  contribute  to  changes  in  organizational  performance. 

This study draws on the limited previous conceptualizations and research into  organizational  capacity  to  create  a  conceptual  and  empirical  framework.  Comparisons  between  private  and  public  organizations  suggest  that  there  is  variation  within  public  organizations  as  well  as  between  sectors  that  influences  how  capacity  may  be  conceptualized,  operationalized  and  measured.  The  models  explored  in  the  review  of  the  literature  derive  predominantly  from  public  policy  and  public  service  organizations.  As  previously  stated  in  this  chapter,  the  aims  of  the  study  are  to  develop  an  understanding  of  organizational  capacity  and  capacity  building  in  public  organizations, as one means to assess the effect of context on organizational  capacity. The development of concepts and theoretical models to create clear  relationships between various policy instruments for local government reform  is largely absent.

The features of the organizational context of capacity are important. The locus  of the research will be in local authorities in particular and the intention is that  research  results  will  illuminate  capacity  in  wider  contexts  of  public  services  and  other  sectors. The  study  will  focus  on  one  policy instrument  intended  to  improve corporate and service performance in English local government. The  Beacon Scheme is recognised to have a number of elements which constitute  capacity­building,  (e.g.  organization­level  of  sharing  and  creating  knowledge  and skills as a means to improve performance). 

The  design  of  the  empirical  framework,  which  will  be  discussed  in  the  following sections of this chapter, draws predominantly on three sources: the  literature  review  in  Chapter  Two;  previous  relevant  studies  identified  in  the  literature review; and wider knowledge of the public policy context developed  through  prior  research.  The  literature  review  identified  a  limited  number  of  frameworks  related  to  organizational  capacity  and  capacity  building  features  and characteristics (Figure 2.6). 

However,  relatively  few  of  these  conceptualizations  provided  empirical  evidence  (Figure  2.8),  which  weakens  the  explanations  of  capacity  in  these  studies. The most robust research study was found to be Newman et al, 2000  (Figure 2.10), which will be reviewed to develop the investigative approach to  this study.

Literature review: Key capacity features and characteristics  One of the key original contributions that my research will make is to create a  model or conceptual framework of organizational capacity. In Chapter Two, I  reviewed the literature and from careful analysis and synthesis, I put forward a  conceptual framework which will be tested in the empirical research.  The six elements that this researcher has developed from the literature review  into  the  conceptual  framework  are  the  following  factors  associated  with  organizational  capacity:  the  characteristics  of  knowledge  and  learning;  external  and  internal  contexts;  enabling  internal  conditions;  structural  relationships;  management  and  leadership;  and  performance  management,  planning and evaluation. The discussion now turns briefly to each of these six  features. 

Characteristics of knowledge and learning 

Many  previous  studies  of  capacity  consider  the  organization  as  a  knowledge  institution in which knowledge creation and organizational learning are central  to  organizational  adaptation,  and  improved  performance.  The  conceptualization  of  the  knowledge  organization  places  particular  emphasis  on  knowledge  and  learning  as  underpinning  characteristics  of  organizational