External vendor models 

330.  Annex VII, Part 4, Paragraph 36 of the CRD states that the use of a model  obtained  from  a  third­party  vendor  that  claims  proprietary  technology  is  not  a  justification  for  exemption  from  documentation  or  any  other  of  the  requirements  for  rating  systems.  Thus  these  models  generally  have  to  fulfil the same requirements as models produced in­house. 

331.  In  particular,  Annex  VII,  Part  4,  Paragraph  31  of  the  CRD  requires  institutions to prove that all models used (including external models) have  good  predictive  power,  that  the  data  used  to  build  the  model  is  representative of the actual portfolio of the institution, and that a regular  cycle  of  model  validation  is  in  place.  The  burden  is  on  the  institution  to  satisfy competent authorities that it complies with these requirements.  In  other words, supervisors will not validate external vendors. 

332.  Under  the  IRB  approach,  institutions  can  use  statistical  models  in  the  rating  process  and/or  to  estimate  the  risk  parameters  required  for  the  approach.  Although  it  should  be  emphasised  that  the  rating  process  in  total should be an internal rating process, it is not necessary that all parts  of  the  process  be  developed  internally.  Most  institutions  use  externally  developed statistical models to some extent in their rating process. 

333.  In the context of these guidelines, an external vendor model is a model or  parts of a model used by an institution and developed by an independent

external third party that uses certain inputs to assign exposures to certain  rating grades or to estimate certain risk parameters. 

334.  In  addition  to  the  general  requirements  mentioned  above,  the  transparency  of  the  vendor  model  and  of  its  linkage  to  the  internal  information  used  in  the  rating  process  will  be  examined  closely  by  supervisors. 

Transparency of the vendor model 

335.  To fulfil the CRD’s requirements regarding internal governance (Annex VII,  Part  4,  Paragraphs  123  to  126)  and  the  requirements  regarding  the  responsibilities of the Credit Risk control unit (Paragraphs 127 to 129) and  the  Internal  Audit  unit  (Paragraph  130)  for  external  vendor  models,  the  institution  has  to  prove  that  it  understands  the  external  model  in  all  its  aspects.  The  supervisor’s  assessment  of  the  institution’s  use  of  external  models  will  therefore  place  special  emphasis  on  the  in­house  knowledge  concerning the development and the appropriate use of external vendors’  models. 

336.  This  means,  for  example,  that  external  vendors  have  to  document  the  development and fundamentals of the validation process of their models in  a  way  that  permits  third  parties  to  gain  a  detailed  understanding  of  the  methodology  applied  and  to  assess  whether  the  model  is  still  performing  adequately on their own customer bases. Moreover, the institution has to  prove  that  the  in­house  knowledge  to  do  this  is  available.  In  particular,  institutions  should  be  aware  of  all  the  limitations  of  the  model  and  the  circumstances in which the model does not perform as expected. 

337.  The  institution  has  to  ensure  that  users  will  be  adequately  trained  in  the  use  of  the  model,  and  that  in­house  instructors  will  be  available.  The  institution also has to present plans for guaranteeing the validation and, if  necessary,  further  development  of  the  model  in  the  future.  Institutions  have  to  ensure  that  the  performance  of  the  model  can  be  assessed,  and  adjusted  if  necessary,  even  in  the  event  that  the  vendor  discontinues  support, or similar events. 

Linkage to internal information used in the rating process 

338.  The  institution  has  to  know  what  information  (data)  is  processed  in  the  external  model  and  how  this  information  is  linked  to  information  that  is  processed in­house: for example, if the vendor’s definition of input factors  such  as  sales  and  debt  are  consistent  with  those  used  in­house.  The  institution has to make sure that the aggregation of the different parts of  the model does not result in an inconsistent rating method, particularly in  cases  where  parts  of  the  model  developed  externally  are  used  simultaneously with parts developed in­house. It may also be necessary to  check whether there is ’double counting’ of information in the internal and  external  parts  of  the  rating  model.  Finally,  the  combination  of  separately  developed  parts  of  a  rating  system  requires  an  extra  risk­quantification  exercise: i.e., the risk parameters have to be estimated on an appropriate  data set as in the case of a purely internally developed rating system.

An example: 

339.  Institution  A  estimates  the  rating  class  for  corporate  customers  with  a  model that consists of two separately developed parts. Part A uses balance  sheet  data  to  estimate  the  probability  of  default  with  a  statistical  model  purchased  from  an  external  vendor.  Part  B,  using  soft  facts,  was  developed in­house, and also uses statistical methods. 

340.  The institution has to prove that the data used to build the external model  is  representative  of  the  actual  portfolio.  If  the  model  is  used  only  for  assigning  exposures  (i.e.,  for  ranking  borrowers  in  relative  terms)  the  proof of consistency with the CRD’s definition of default (Annex VII, Part 4,  Paragraph 44) can be omitted. 

341.  If  the  institution  also  uses  the  model  for  PD  estimation  of  rating  classes  (i.e.,  the  PDs  from  model  A  are  used  as  inputs  in  PD  estimations  for  the  entire  model),  the  institution  also  has  to  prove  that  the  default  definition  used  in  Part  A  is  the  same as  the  one  used  for  Part B, and  that  both  are  consistent  with  the  definition  in  the  CRD.  If  this  is  not  the  case,  the  institution has to prove that it is able to map the default definition of Part  A into Part B, and both definitions to the definition used in the CRD. 

342.  Furthermore,  the  institution  has  to  be  aware  of  how  different  information  is processed in Part A. For validation purposes, the institution has to treat  the combined outcome of the two parts of the model like the outcome of a  single internally developed model. The institution should also compare the  predictive power of the combined model with the predictive powers of the  individual  parts.  In  this  way,  the  institution  could  determine  if  one  of  the  two parts is no longer predictive, or if the combination of the two parts is  the cause for a decline in predictive power. 

3.4. Data 

343.  The  CRD  requires  data  to  be  held  and  stored  for  several  different  purposes.  344.  Institutions’ physical databases need not be built to address each of these  purposes separately, but may contain data relating to a mix of purposes.  345.  There may also be different sources of data: · For creating the model for assignments: Internal, external, and pooled  data might be used to determine the weight of the input variables. · For  calibrating the  model  for  estimates:  Internal,  external,  and pooled 

data (Annex  VII,  Part  4,  Paragraphs  46,  66,  69,  71,  81  and  85  of  the  CRD)  (external  and  pooled  data  with  restrictions  (Annex  VII,  Part  4,  Paragraphs 57, 58, 64, 69, 111, 120, 129 and 130 of the CRD)).

· For  outcome  and  performance  data:  Internal  data  generated  during  model development and use.

· For  calculating  the  current  minimum  capital  requirements:  Internal  data.