Combination of types of collaboration

Striking in the paper about collaboration was the difference between citation indicators for international collaboration and those for ‘Within Europe’ or ‘Outside Europe’. Both the latter types had higher citation indicators than the set of papers with international collaboration. Table 47 contains the average RCR values for the three types of collaboration.

Collaboration International Within Europe Outside Europe BIO 1.19 1.28 1.28 AGR 1.24 1.32 1.38 MDS 1.18 1.26 1.22 GSS 1.32 1.38 1.42 TNS 1.10 1.16 1.15 CHE 0.99 1.02 1.11 GRM 1.67 1.87 1.87 SPM 1.51 1.66 1.59

Table 47. RCR values for papers with different types of collaboration

‘International Collaboration’ implies at least one of the two other types. So whenever a publication is collaboration ‘Within’ or ‘Outside’ it must be in the set of papers with international collaboration. Also any paper in the set of international collaboration must be in at least one of the two other sets. Having these relation between the three types of collaboration one might expect that the RCR score of international collaboration would be the average of the RCR values of the two other sets. As shown in table 47, this is not the case. Instead of a RCR value for the international collaboration papers that is in between the two subsets, the RCR value is clearly below the values of both subsets.

The only reasonable explanation for this effect is that a selection of papers with high values on the RCR is present in both sets (Within and Outside Europe). The addresses mentioned on these papers contain at least three different countries (two in Europe, one outside). This hypothesis has to be tested.

Instead of using the two types –‘Within’ and ‘Outside’ of collaboration, papers will be divided into different mutually exclusive classes that allow to assess the role of each type of collaboration.

An example of such a set of mutually exclusive classes could be • Only Within Europe Collaboration

• Both Within and Outside Europe Collaboration • Only Outside Europe Collaboration.

Within each of these classes RCR values will be calculated and ANOVA or non-parametric tests will be used to test whether there are differences between these types of collaboration. By adding our classifi cation scheme for institutions in eight different groups we can also test for interaction effects between research profi le and types of collaboration.

3.2 Collaboration patterns

The results of the collaboration study seem to suggest that institutions tend to seek partnerships not with the most alike others but more with institution that can offer complementary competences. Many researchers in the fi elds of Organizational or Social Psychology (see Curseu, 2003 for an overview) have studies this at the level of interpersonal relations.

According to Jackson (1992) or Cherrington (1994) a team or group of collaborators is homogenous as its members are similar in one or several aspects. As a consequence, groups or teams are considered heterogeneous if the members differ on one or several aspects. It is clear that several dimensions or aspects can be identifi ed while considering a team’s composition as being homogenous or heterogeneous.

For the scientifi c endeavour, which can be seen as an intellective and creative task involving problem solving and creative idea generation, aspects or dimensions related to member’s abilities, skills or competences are relevant. Jackson (1992) and Shaw (1981) showed that heterogeneous groups are more creative and effective than homogenous groups at solving complex problems. Volkema & Gorman (1998) showed that the composition of the team only plays a signifi cant role in interaction with the formulation of the problem. The results by Devine (1999) on the other hand did not show any difference in performance between groups with diverse cognitive abilities and more homogenous ones.

In order to apply this paradigm to the assessment of the impact or infl uence of diversity in collaboration on research performance at institutional level several assumptions have to be made and tested.

Competences of a particular person/team or institution can de derived from the papers already published. These competences can be expresses by the research profi le which indicates the level of specialisation.

In a more formalized research environment institutions or departments become the initiators of collaborative relations. These collaborative relations are based on the needs of the institution or departments as a whole

Both assumptions then allow to test the hypotheses that institutions tend to seek complementarity in their partnerships in order to enhance their research performance.

References

Devine, D.J. (2001), Effects of cognitive ability, task knowledge, information sharingand confl ict on group decision making effectiveness. Small Group

Research, 30(5): 507-532.

Curseu, P.L. (2003), Formal group decision-making: a social cognitive

approach, ASCR Press, Cluj-Napoca.

Cherrington, D.J. (1994), Organizational behaviour, Allyn and Bacon, Boston.

Jackson, S.E. (1992), Team composition in organizational settings: Issues in managing an increasingly diverse work force. In Worchel, S., Wood, W., Simpson, J.A. (Ed.) Group Process and Productivity, Sage Publications,

London.

Shaw, M.E. (1981), Group Dynamics: The psychology of small groups,

McGrawHill, New York.

Volkema, R.J., Gorman, R.H (1998), The infl uence of cognitively-based group composition on decision making processes and outcome. Journal of

S

Dit proefschrift stelt een dynamisch perspectief op institutionele onderzoeksperformantie voor en een structurele analyse van de profi elen van deze instellingen met als doel het verhogen van de vergelijkbaarheid bij onderzoeksevaluatie.

Het vertrekpunt is de observatie dat overheden en beleidsmakers steeds vaker een beroep doen op kwantitatieve en/of kwalitatieve evaluatiemechanismen voor het beoordelen van het onderzoek dat gebeurt aan instellingen die fi nanciering ontvangen van deze overheden. Het is een trend die reeds enkele decennia zichbaar is waarbij van beleidsmakers steeds vaker verwacht wordt dat zij hun keuzes kunnen verantwoorden en kunnen aantonen dat deze geïnvesteerde belastingesgelden ook effectief een rendement opleveren voor de samenleving. Daarnaast groeit ook de vraag naar een open en transparant systeem van fi nanciering van onderzoeksinstellingen waarbij uitgegaan wordt van objectieve en meetbare criteria. Naast deze observatie komt dan snel de vaststelling van heel wat problemen die inherent zijn aan evaluatie van onderzoek. Veel van deze problemen werden reeds uitvoerig beschreven en vinden hun oorsprong in de verschillende culturen, paradigma’s en gedrag die gelden binnen verschillende wetenschapsdomeinen. Hierdoor komt de onderlinge vergelijkbaarheid van onderzoeksperformantie tussen instellingen in het gedrang zeker als deze instellingen actief zijn in andere domeinen.

Dit proefschrift biedt een oplossing voor dit probleem door vier principes te combineren in een dynamisch perspectief en door de instellingen te clusteren op basis van de wetenschapsdomeinen waarin ze actief zijn.

Het eerste deel van het proefschrift begint met een schets van de problematiek rond vergelijkbare resultaten in onderzoeksevaluatie. Daarna volgt een introductie tot de bibliometrie waarbij aandacht wordt besteed aan de gegevensbronnen waarmee gewerkt kan worden, aan verschillende types van indicatoren en vooral ook aan de toepassingen van bibliometrie. Deze toepassingen laten zich opsplitsen in twee verschillende types: enerzijds met de focus op onderzoeksevaluatie en anderzijds met de bedoeling om wetenschap en relaties en evoluties binnen de wetenschappen in kaart te brengen.

Na deze inleiding wordt de clustering en het classifi catiemodel beschreven. Dit model vormt de kern van mijn dissertatie. Aan de hand van verwijzingen naar verschillende publicaties wordt de ontwikkeling van dit model besproken. Ook wordt aandacht besteed aan de geleverde inspanningen voor de validatie. Vervolgens wordt het dynamisch perspectief voor gebruik in onderzoeksevaluatie voorgesteld. Dit perspectief biedt een methodologie die gebruikt kan worden bij de evaluatie van individuele instellingen waarbij uitgegaan wordt van een maximaliseren van de vergelijkbaarheid van de resultaten.

In het laatste hoofdstuk van het eerste deel worden andere toepassingen van het model voorgesteld. Aan de hand van de classifi catie van instellingen op verschillende tijdstippen kan de evolutie van het onderzoeksprofi el van een instelling worden bestudeerd. Deze toepassing is reeds gebruikt in twee publicaties. In een andere toepassing wordt de relatie tussen onderzoeksprofi elen en samenwerking tussen instelling bestudeerd.

Het tweede deel bevat de kern van het proefschrift met vijf papers die reeds eerder gepubliceerd werden of op een internationale conferentie werden gepresenteerd. In het eerste artikel wordt de clusteranalyse voor het eerst gebruikt in een studie naar het effect van zelfcitaties op citatie-indicatoren op het niveau van onderzoeksinstellingen. Op basis van hun onderzoeksprofi el worden instellingen toegewezen aan zes verschillende groepen. Dergelijk onderzoeksprofi elen zijn vectoren die voor zestien verschillende wetenschapsdomeinen telkens het aandeel van een domein in de totale output van een instelling bevat. Er worden dus groepen gevormd van instellingen die in min of meer dezelfde domeinen actief zijn.

In deze eerste paper wordt aangetoond dat auteur-zelfcitaties in sommige gevallen leiden tot resultaten die afwijken van nationale en domeinstandaarden. Maar, belangrijker nog, er wordt ook aangetoond dat door de clustering van instellingen op basis van hun onderzoeksprofi elen groepen ontstaan met onderling afwijkende waarden op bibliometrische indicatoren maar met toch een grote interne consistentie.

Deze clustering krijgt in de tweede paper een degelijke statistische onderbouw door onder meer verschillende stopping rules te gebruiken voor het bepalen van aantal clusters. Dit resulteert in acht clusters met ruime validiteit en stabiliteit. De clusters worden beschreven aan de hand van de meest specifi eke vakgebieden. De activiteiten van een instelling in een bepaalde cluster zijn echter niet beperkt tot het label dat aan de cluster gegeven werd. Dit zijn de verschillende clusters: 1. Biologie; 2. Agrarische wetenschappen; 3. Multidisciplinaire cluster; 4. Aard en ruimtewetenschappen; 5. Technische en natuurwetenschappen; 6. Chemie; 7. Algemene geneeskunde; 8. Medische specialiteiten. Op basis van een discriminant analyse wordt ook een classifi catiemodel opgesteld zodat ook instellingen die oorspronkelijk niet opgenomen waren in de clusteranalyse toch aan een van de acht groepen kunnen worden toegewezen. In deze paper worden naast de interinstitutionele vergelijking van onderzoeksperformantie nog twee andere toepassingen van deze strucurele analyse voorgesteld. Eén behelst het in kaart brengen van de dynamiek in onderzoeksprofi elen van instellingen door te kijken naar de evolutie van hun classifi catie over verschillende jaren. Daarnaast wordt ook de analyse van samenwerking tussen instellingen voorgesteld waarbij vooral aandacht besteed wordt aan de intercluster en intracluster samenwerking van instellingen.

In de derde paper wordt aan de hand van dertien verschillende indicatoren de gemiddelde onderzoeksperformantie per groep berekend en vervolgens tussen de groepen vergeleken. Elk van de dertien indicatoren vertoont signifi cante verschillen tussen de groepen waarbij in sommige gevallen een interactie-effect tussen land en classifi catie wordt vastgesteld maar steeds is er een onafhankelijk hoofdeffect van de opdeling van instellingen in groepen. Daarnaast wordt in deze paper ook aangetoond dat de verschillen zich niet alleen manifesteren over de totale output van instellingen en dus noodzakelijkerwijs over verschillende domeinen maar ook binnen een specifi ek domein. Het vakgebied ‘Chemie’ wordt verder ontleed als voorbeeld.

Het dynamische perspectief wordt in de paper over Israëlische onderzoeksinstellingen voor het eerst naar voren gebracht. Dit perspectief is opgebouwd rond vier principes. 1. Instellingen zijn ingebed in een nationale situatie die meegenomen moet worden bij de analyse. 2. Evolutie data is erg geschikt voor het detecteren van trends en veranderingen. 3. Omdat wetenschappelijk onderzoek een activiteit is met veel facetten is het noodzakelijk om een breed gamma aan indicatoren en meetinstrumenten te gebruiken om dit in kaart te brengen. 4. En als laatste principe geldt dat vergelijkingen tussen instellingen enkel kan gebeuren tussen instellingen met een gelijkaardig profi el. Dit dynamisch perspectief wordt vervolgends toegepast op vijf Israëlische instellingen: Tel Aviv University, Hebrew University of Jeruzalem, Technion Israel Institute of Technology, Ben Gurion University of the Negev en Weizmann Institute of Scicence.

In de laatste paper wordt de clustering van instellingen op basis van hun onderzoeksprofi elen gebruikt om een beter inzicht te krijgen op het effect van domeinen of disciplines op samenwerking tussen instellingen. Dit gebeurt aan de hand van 7 verschillende vragen. Eerst wordt aangetoond dat er tussen de acht groepen sterke verschillen zijn in de aandelen van de internationale samenwerking. Vervolgens komen ook citatieindicatoren aan bod. Ook hier worden aanzienlijke verschillen vastgesteld tussen de groepen en dit niet alleen in de score op de indicatoren zelf maar ook in het effect van de verschillende types samenwerking. Heel wat instellingen scoren hoger op de citatieindicatoren van de papers die het resultaat zijn van internationale samenwerking of van samenwerking met andere instellingen binnen hetzelfde land. Echter, ook hier stellen we vast dat die effect niet in alle groepen gelijk is. Met de laatste drie vragen in deze paper wordt er op zoek gegaan naar verschillende patronen van samenwerking over of binnen groepen. Aan de hand van een similariteitsmaat tussen profi elen kan besloten worden dat instellingen die samenwerken meer gelijkend zijn dan instellingen die niet samenwerken. Echter, er is slechts een zeer kleine correlatie tussen de sterkte van de samenwerkingsrelatie en deze similariteit in profi elen. Een vergelijking tussen werkelijke samenwerkingen en verwachte leidt tot het besluit dat instellingen uit de gespecialiseerde clusters voornamelijk kiezen om samen te werken met een multidisciplinaire instellingen of met instellingen uit dezelfde

groep of een naburige groep. Op basis van deze bevindingen wordt de hypothese afgeleid dat instellingen meest waarschijnlijk met een complementaire instelling samenwerken. Het testen van deze hypothese is onderwerp van latere studies.

In het derde deel van de dissertatie worden enkele thema’s voor toekomstig onderzoek gesuggereerd. Een eerste thema behelst de verdere validatie van de clustering en classifi catiemodel. Deze bijkomende tests zijn nodig om met voldoende betrouwbaarheid de classifi catie ook toe te passen op instellingen uit andere landen en op gegevens uit andere periodes. Daarnaast kunnen ook andere systemen gebruikt worden voor het toewijzen van publicaties aan verschillende wetenschapsdomeinen. Een tweede thema volgt uit de beschikbaarheid van de toewijzing van publicaties aan instellingen uit de VS. Deze dataset laat een institutionele vergelijking tussen Europa en VS toe maar de beschikbaarheid van additionele gegevens zoals fi nanciering of personeelsbestand laat ook de studie toe van het effect van input variabelen op wetenschappelijke productie op het niveau van instellingen. Een laatste thema is de uitbreiding van de vijfde paper in het tweede deel waarbij de hypothese van de complementariteit zal getest worden.

S

This dissertation presents a dynamic perspective on institutional research performance and a structural analysis of the research profi les of these institutions in order to enhance the comparability in research evaluation.

It starts with the observation that authorities and policy makers more and more appeal upon quantitative and qualitative evaluation mechanisms when judging the research performance of institutions receiving grants from these authorities. Since several decades a trend is visible where it seems that policy makers are requested to prove that the invested tax money in research can indeed create return for society. Apart from that there is also a growing need for an open and transparant system for the fi nancing of research institutions which uses objective and measurable criteria. With these observations comes the ascertainment of the many problems tied to the evaluation of research performance. An extensive literature is already devoted to the description of these problems and link them to the differences in culture, behavior or paradigms used in different fi elds of science. As a result the comparability of research performance between institutions is compromised especially between those institutions active is other fi elds.

This dissertation offeres a solution to the problem of incomparability by combining four principles and by clustering institutions based on the fi elds in which they are active.

The fi rst part of this book touches the problems related to incomparability of results of research evaluation. As this dissertation concentrates on the quantitative part of evaluation, bibliometrics is introduced with a special focus on data sources, different types of indicators and last but not least to different applications of bibliometrics. These applications are divided along two axes, one concentrates on research evaluation and the other deals with mapping of the structure and evolution of science.

After this introduction the developed clustering and classifi cation model are presented. Both are the core of my dissertation. The development of the model is descibed and references are made to publications which use this clustering and classifi cation. Special attention goes to the validation of the clustering. In a next chapter the dynamic perspective is introduced. This perspective offers a methodology suitable to the evaluation of research by enhancing the comparability between institutions.

The last chapter of the fi rst part features other applications of model. The classifi cation can be used to study the evolution of research profi les of individual institutions. In a second application the effect of research profi les on institutional collaboration is investigated.

The second part of the dissertation contains the core research with fi ve papers published in international peer reviewed journals or presented at international conferences.

The fi rst paper presents a study on author self-citations and it is the fi rst where this methodology is used to create groups of likewise institutions in order to enhance comparability. Based on their research profi le institutions are assigned to one out of six different groups. These research profi les are vectors containing for sixteen different fi elds in science the share of each fi eld in the total output of the institution. This methodology creates groups with institutions being active is more or less the same fi elds. This fi rst paper concludes that author self-citations can in some cases lead to results that deviate from national or fi eld standards. But, more important, it proves that by clustering institutions based on their research profi le groups can be created with high internal consistency but also with high between group differences on citation indicators.

This clustering is elaborated in the second paper where a profound statistical basis is created. Different stopping rules are used to determine the best number of clusters and this results in a eight cluster solution with high stability and validity. Each of the clusters is labeled by the most typical fi eld in which the member institutions are active. Of course activities of the institutions is not limited to the fi eld mentioned by the label. These are the labels of the clusters: 1. Biology, 2. Agriculture, 3. Multidisciplinary Institutions, 4. Geo and Space Science, 5. Technical and Natural Sciences, 6. Chemistry, 7. General and Research Medicine, 8. Specialised Medical institutions. A disciminant analysis is used to create a classifi cation model that can be applied to institutions not included in the