Data quality standards and consistency with accounting data 

355.  Institutions  should  define  their  own  standards  for  ensuring  data  quality  and  should  strive  to  improve  these  standards  over  time.  They  should  measure  their  performance  against  these  standards.  Institutions  should  work  on  an  ongoing  basis  to  ensure  that  their  data  is  of  high  enough  quality to support their risk management processes and the calculation of  their  capital  requirements.  This  could  include  reviewing  the  structure  of  input data to identify outliers or implausible values, changes from previous  periods, and the amount of missing data. The review should also indicate  whether the integrity of data is being maintained. 

356.  Regular  reconciliation  against accounting  data  could provide  an  additional  quality  check.  Institutions  need  to  identify  and  explain  material  divergences that come to light in the reconciliation. Full reconciliation may  not  be  possible,  as  risk  data  may  differ  from  accounting  data  for  good  reasons  (for  example,  ‘Conversion  Factor’  has  no  equivalent  in  accounting),  but  should  be  performed  when  possible.  In  any  case,  institutions should perform consistency checks that include an audit trail of  data  sources,  total  and  record  count  checks  when  data  move  between  systems,  recording  of  data  that  are  excluded  or  introduced  at  different  stages  of  data  manipulation,  etc.  Significant  discrepancies  should  be  investigated. 

357.  Data  should  be  subject  to  appropriate  quality  controls,  according  to  their  criticality.  There  should  be  minimum  checks,  including  a  periodic  independent  review  to  confirm  that  data  are  accurate,  complete,  and  appropriate. 

For  example,  data  quality  could  be  reviewed  by  replicating  the  preparation  of  data  (including  collection  and  transformation)  and  the  outputs  of  models,  using  the  same  databases and algorithms used by the institution. This could be done on a sample basis. 

Supervisors  could  assess  specific  parts  of  this  process  to  verify  the  conclusions reached by the independent reviewer. 

358.  Institutions’  rating  assignment  systems  should  include  a  well­justified  policy  on  their  tolerance  for  gaps  in  the  data  for  an  obligor  and  on  conservative  approaches  to  treating  missing  data,  for  example  by  substituting  values  They  should  seek  to  minimise  the  amount  of  missing  data over time. 

359.  In order to facilitate the dialogue between  institutions and supervisors on  data  quality  standards,  institutions  should  provide  their  supervisors  with

an adequate set of documentation. The following can be regarded as good  practice:

· Data  policy  and  statement  of  responsibility:  Institutions  should  establish an explicit data policy, which could be part of a general data  policy.  They  are  responsible  for  ensuring  the  quality  of  their  data  and  should  be  able  to  convince  supervisors  that  they  meet  fit­for­purpose  standards.

· Data  directory:  Institutions  should  have  clear  data  directories  (dictionaries) that provide definitions of data items.

· Database  descriptions:  Documentation  for  databases  should  allow  institutions  to  provide  supervisors  with  the  information  needed  to  determine the soundness of the databases. For example: 

­  A general description of the databases (for example, information on  the  relational  database  model,  including  tables,  keys,  triggers,  stored procedures; performance data such as overall maximal size;  security  information  such  as  owner,  users  with  read­and­write  access, and maintenance responsibilities). 

­  The source of the data. 

­  The processes used to obtain and load the data. 

­  The  filters  used  to  create  and debug  the database  (e.g.,  maximum  and minimum values and treatment of missing values). 

­  Controls on access, consistency, etc. 

­  A specific description of the variables included. 

360.  Institutions  should  prepare  a  global  map  of  all  the  data  and  IT  systems  weaknesses found during the internal review process (for example, lack of  automation)  with  an  assessment  of  their  impact  on  the  final  calculation.  Institutions should also state how they plan to correct the weaknesses.  3.4.3.  Representativeness  of  data  used  for  model  development  and  validation 

361.  The  CRD’s  requirements  for  data  samples  used  in  the  development  of  rating systems are different from those for samples used in estimating risk  parameters  (PD,  LGD,  and  CF).  The  text  refers  variously  to  ‘representativeness,’  ‘strong  link,’  and  ‘comparability,’  depending  on  the  purpose  for  which  the  data  are  used  (assigning  exposures  to  obligors  or  facilities,  grades  or  pools,  risk  parameter  estimation)  and  on  the  data  sources  (external,  internal,  pooled  data).  In  certain  cases,  the  CRD  requires  ‘broad  equivalence’  between  the  definitions  of  default  and  loss  used  in  the  data  sets  and  the  supervisory  definition  given  in  Annex  VII,  Part 4, Paragraphs 44 and 45. 

Data requirements 

362.  In  fulfilling  the  requirements  on  data  quality,  any  uncertainties  –  if  they  are admissible at all – should be accompanied by some degree of greater  conservatism in the estimates or in the assignment processes, as required

in  Annex  VII,  Part  4,  Paragraphs  19  and  54  of  the  CRD.  However,  institutions should not treat the application of conservatism as a substitute  for  fully  meeting  the  requirements.  Where  conservatism  is  applied,  it  should  be  based on  the  institution’s  internal  practices.  Data requirements  for the observation period (Annex VII, Part 4, Paragraphs 66, 71, 85, and  94 and the possible relaxation mentioned in Article 154 of the CRD) should  be  satisfied  fully,  without  the  option  of  compensating  shorter  observation  periods with applied conservatism. 

Data sets used for risk parameter estimation (comparability) 

363.  Institutions  have  to  demonstrate  the  comparability  of  data  sets  used  for  estimation  to  the  institution’s  current  portfolio  (Annex  VII,  Part  4,  Paragraph  52  of  the  CRD).  This  applies  equally  to  internal,  external,  and  pooled  data  and  to  the  combination  of  such  data  sources.  The  interpretation  of  ‘comparability’  should  include  at  least  the  following  points:

· Comparability  should  be  based  on  analyses  of  the  relevant  characteristics,  e.g.  the  population  of  exposures  represented  in  the  data  used  for  estimation,  the  lending  standards  used  when  the  data  was generated, and other relevant characteristics, in comparison to the  corresponding  properties  of  the  institution’s  current  portfolio.  Other  relevant  characteristics  could  include,  for  example,  the  distribution  of  the  obligors  across  industries,  the  size  distribution  of  the  exposures,  and  similarity  in  the  geographic  distribution  of  the  exposures,  to  the  extent that these apply to the respective data sets.

· In  analysing  the  comparability  of  populations,  key  characteristics  (quantitative  and  qualitative  obligor  and  facility  characteristics)  that  could relate to default (for PD estimation) or loss (for LGD estimation)  should  be  taken  into  account.  The  analysis  should  be  based  on  these  characteristics  or  on  a  mapping  from  one  set  of  characteristics  to  the  other.  For  example,  the  analysis  could  consider  the  distribution  of  the  population according to the key characteristics and the level and range  of  these  key  characteristics.  In  all  cases,  and  especially  for  external  and  cross­border  samples,  any  differences  in  the  meaning  of  the  key  characteristics  should  be  documented  and  considered  in  the  model­  building or risk quantification. It is expected that the distribution of the  population  and  the  level  and  range  of  these  key  characteristics  should  approximate  those  of  the  corresponding  institution’s  current  portfolio.  Although  it  is  unrealistic  to  expect  a  perfect  match  in  every  case,  the  institution  should  nevertheless  ensure  that  the  distributions  are  reasonably close.

· Material  observed  differences  in  the  key  characteristics  used  for  estimation  are  relevant  information  in  the  sense  of  Annex  VII,  Part  4,  Paragraph  49  of  the  CRD,  and  should  be  taken  into  account  in  estimations  by  making  appropriate  adjustments.  If  adjustments  are  difficult  to  quantify,  the  institution  should  consider  the  use  of  other  data sets.

Data  used  for  developing  models  for  exposure  assignment  or  risk  parameter estimation (representativeness) 

364.  The representativeness requirement of Annex VII, Part 4, Paragraph 31(c)  of the CRD applies both to models and other mechanical methods used to  assign  exposures  to  grades  or  pools,  and  to  statistical  default  prediction  models generating default­probability estimates for individual obligors (see  Annex  VII,  Part  4,  Paragraph  65  of  the  CRD).  The  interpretation  of  ‘representative’  includes  the  following  points  (the  first,  third,  and  fourth  points are also valid for the estimation of risk parameters):

· Representativeness  in  the  sense  of  Paragraph  31(c)  of  the  CRD  should  be  interpreted  similarly,  regardless  of  the  source  of  the data:  internal, external, or pooled data sets, or a combination of these. · Representativeness  for  the  assignment  of  obligors  does  not  require 

that  the  proportion  of  defaulted  and  non­defaulted  exposures  in  the  data  set  be  equal  to  the  proportion  of  defaulted  and  non­defaulted  exposures in the institution’s respective portfolio.

· For  analysing  the  representativeness  of  the  sample  with  respect  to  the  population  of  the  institution,  all  key  characteristics  (quantitative  and qualitative obligor and facility characteristics) that could relate to  default  (for  PD  estimation),  loss  (for  LGD  estimation),  or  additional  drawings  (for  CF  estimation)  should  be  taken  into  account.  The  analysis  should  be  based  on  these  characteristics  or  on  a  mapping  from one set of characteristics to the other. For instance, the analysis  could include  considering the distribution of the population according  to  the  key  characteristics  and  the  level  and  range  of  these  key  characteristics.  Material  observed  differences  in  the  key  characteristics  should  be  avoided,  for  example  by  using  another  sample.

· Where applicable, the use of statistical methodologies (such as cluster  analysis  or  related  techniques)  to  demonstrate  representativeness  should be recommended.

· The  CRD  does  not  contain  requirements  on  the  definitions  of  default  and  loss  used  in  building  the  model  for  assignments  of  obligors  or  exposures  to  grades  or  pools.  Institutions  are  allowed  to  use  their  own  definitions  provided  they  document  them  and  apply  them  consistently,  and  as  long  as  the  CRD’s  requirement  for  good  predictive power (Annex VII, Part 4, Paragraph 31(a)) is fulfilled.  Pooled data sets 

365.  Annex VII, Part 4, Paragraph 57(b) of the CRD requires that “the pool shall  be representative for the portfolio for which the pooled data is used.” The  interpretation  of  ‘representative’  in  the  context  of  data pools  includes  the  following points:

· Representativeness  should  be  demonstrated  according  to  plausible  criteria that have been set in advance in a general policy.

· These  criteria  could  include  the  comparability  of  populations  of  exposures in the relevant parts of the pool.

· In the case of pooled data, the default definition used by an institution  for any part of the pool should be similar to the default definition used  for that part by the other institutions in the pool. Any underestimation  of risk that might result from applying similar default definitions should  be avoided. Institutions should particularly avoid curtailing their use of  ‘unlikeliness  to  pay’  indicators  in  order  to  achieve  this  similarity  in  default definitions.

· Where  applicable,  the  use  of  appropriate  statistical  methods  to  demonstrate representativeness should be recommended. 

Use of data histories 

366.  Annex  VII,  Part  4,  Paragraph  50  of  the  CRD  requires  institutions  to  demonstrate that their estimates of the risk parameters are representative  of  long­run  experience.  Representativeness,  in  the  context  of  Paragraph  50,  means  that  the  estimates  based  a  future  time  horizon  of  one  year  nevertheless  reflect  at  least  the  relevant  events  experienced  by  the  institution in the past over a longer time period.