Quality, Validity and Limitations

Within IPA, quality is not about generalisability, or replicability, but about understanding.  A  comparison is drawn between this approach, ethnography and social anthropology, where study of  one community is not expected to be applicable to all communities (Smith and Osbourn, 2008, p56).  

Despite this, Smith and Osbourn (2008, p.56) suggest that the ‘power of an IPA study is judged by  the light it sheds on the broader context’, suggestive that even if generalisability is not intended, the  implications of IPA studies are relevant and transferable to similar contexts. However, this is a 

‘theoretical rather than empirical generalisability’ (Smith and Osbourn, 2008, p56), and as such relies  upon the linkages made by the researcher ‘between the findings of an IPA study, their own personal  and professional experience, and the claims in the extant literature’ (Smith and Osbourn, 2008, p56).  

This echoes Lillis and Scott’s (2007, p21) observation of the usefulness of small scale research, in that  case looking at academic literacies, for the ‘lone researcher wanting to engage critically with the  contexts in which she is working’.   

One particular aspect of this is scale. Whilst small sample research can be viewed as limited,  particularly in terms of generalisability, this sample was appropriate for the idiographic and 

individualised focus of the study. Indeed, in terms of quality Hefferon and Gil‐Rodriguez suggest that 

‘fewer participants examined at a greater depth is always preferable to a broader, shallow and  simply descriptive analysis of many individuals, as commonly seen in thematic analysis, grounded  theory or poor IPA’ (2011, p.756, citing Reid et al., 2005).  As such the detailed focus on five  individuals is both supportive of this view of quality IPA, and is in line with guidance on sample size  (Smith, Flowers and Larkin, 2009, p.52). In terms of generalisability, further iterations of this study,  perhaps with other cohorts, or in differing disciplinary areas, has the potential to produce alternative  conclusions. Far from negating the findings of this study, such expansions would enhance and  further the understanding gained here.  

In reaching conclusions about quality, it is helpful to consider the guidance offered on this within  IPA. There are several approaches, and two are considered here. Firstly, Larkin and Thompson (2012,  p.112‐4) set out a series of features which they suggest should be apparent in a good quality piece of  IPA research. These include; 

 Appropriate data collection, from appropriate participants. This study utilised semi‐

structured interviews (the ‘exemplary’ method) with volunteer participants from the  relevant student body.  

 Analysis which ‘transcends the structure of data collection’. In this case the analysis is  drawn across both focus groups and interviews, and is presented both as narrative through  the case vignettes, and thematically in the analysis. The presentation of this analysis is  distant from the interview schedule, that is, it does not simply follow the schedule but is  grounded in the thematic analysis, another marker of quality.   

 Focuses on ‘how things are understood’. This study provides an analysis which looks beyond  the experience itself to the implications of the experience for the learner, for example, in  looking beyond the challenges of time management to the implications this has for  approaches to learning. 

 Presents analysis which ‘balances phenomenological detail … and interpretative work’ and  makes ‘appropriate use of extracts and commentary to achieve transparency’. This study  utilises both narrative accounts and analysis to provide a rounded account of the study and  the lived experience.  

 Engagement with theory. Both the analysis process and the presentation of the analysis  have used a wide range of theory and literature to inform and illuminate the accounts of  the lived experience, and to place these in wider context.   

 Conducted with an ‘engagement with other IPA work and/or phenomenological theory’. To  support this, I have been actively participating in a range of forums including social theory  discussion groups and the NorthEast IPA Forum throughout the study. 

Alongside this view of quality, both Hefferon & Gil‐Rodriguez (2011, p.757‐8) and Smith Flowers and  Larkin (2009, p.180) recommend attention is paid to Yardley’s four‐fold framework of sensitivity to  context, commitment and rigour, transparency and coherence, and impact and importance. 

Yardley’s (2015, pp.265‐269) discussion of validity is broader than IPA alone, focussing on validity in  qualitative psychology, but it offers a framework for discussions of legitimacy and the authority of  IPA studies more broadly.  The four aspects of the framework are; 

 Sensitivity to context, in particular through awareness to existing literature. This was  supported during the development of the research question by an initial exploration of  literature, and further developed through the analysis. This is made explicit by the atypical  IPA presentation, intended to demonstrate sensitivity, and share this with readers.  Yardley  (2015, p.265‐6) emphasises sensitivity to the ‘perspective and social‐cultural context of  participants’ through the data collection processes and awareness of the power of the  researcher. The use of the consensus workshop is helpful in this, shifting the analysis into  the participant’s control, and influencing the research approach thereafter.  

 Commitment and rigour in participant recruitment, sampling, and analysis, including careful  selection of participants to attain a comprehensive understanding of the phenomena.  This is  supported by the targeted recruitment from one cohort of practitioner‐students, enabling  detailed exploration and comparison. However, depth of analysis is considered of greater  consequence than sampling, and so the multiple approaches taken, from participant analysis  of focus groups, development of case vignettes, and systematic analysis, enable multiple  viewpoints of the data and a nuanced understanding of the participant’s accounts. 

 Transparency and coherence, ‘partly determined on the clarity and power of the argument’ 

(Yardley, 2015, p.267). Judgements of this lie in the reader’s hands, but coherence between  research design and analysis lie with the researcher. The attention given interpretive and  idiographic presentation of the analysis through the intensive use of participant’s words  supports this, and is consistent with the recommendations for IPA (Smith, Flowers and  Larkin, 2009), and is represented by the limited number of themes, suggested as being  representative of ‘thorough and synthesised analysis’ (Hefferon & Gil‐Rodriguez, 2011,  p.757). Yardley (2015, p.268) suggests transparency is supported through clear evidence of  methods used, with sufficient data to make this visible. As such, the methodology explicitly  outlines the approach, while Table 4.1: Analysis by Theme and Appendix 2: Emergent coding  related to analysis themes together make visible the coding which develops the themes. 

However, the extensive use of participant quotes may be most significant in allowing the  reader to enter the interpretative hermeneutic circle created between the participants’ 

experience and the researcher’s analysis.  

 Impact and importance. Yardley (2015, p268‐9) emphasises that the measure of validity is  the impact and importance of the research, and the implications of this to the context of the  research. It is to this that the later sections of this chapter turn.