University of Bolton
UBIR: University of Bolton Institutional Repository
Educational Cybernetics: Reports
Institute for Educational Cybernetics
2004
UNFOLD Deliverable D3. Evaluation Plan.
Josep Blat
Universitat Pompeu Fabra
Toni Navarrete
David Griffiths
University of Bolton, [email protected]
Rocío García
Universitat Pompeu Fabra
Sergio Sayago
Universitat Pompeu FabraSee next page for additional authors
This Report is brought to you for free and open access by the Institute for Educational Cybernetics at UBIR: University of Bolton Institutional Repository. It has been accepted for inclusion in Educational Cybernetics: Reports by an authorized administrator of UBIR: University of Bolton Institutional Repository. For more information, please [email protected].
Digital Commons Citation
Authors
Josep Blat, Toni Navarrete, David Griffiths, Rocío García, Sergio Sayago, Colin Tattersall, Daniel Burgos, Bill Olivier, Oleg Liber, and Christopher Kew
! "# ! $%
! " #
" $%& & $' & ( ) ' " %* + , %& &
! "# ! %
,
& & &!#
' (
&)
* + , &))
-& .) / " 0 " $ / " 0 " $ #!& .)1 # 2
)
! 3 & /"" $ " 0 44 /"" $ " 00 "
# 3 &1 3 # (# 5
6 37 & / $ " 4 $ / $ " 4 &3#5 &1 # ' ' &+ 6 8 / " 0 " $ / " 0
" 0
* ( # ( 1 ( #
! "# ! %
!"#$
% & ' ! ( " ( )& $ ' &'
& %
* % + ,- .&+ ,
/ % /%'%& - ,
%
0 6 &
%&1 & 9 &) $:
!% 0 ' &
2 3 &) &0 &
# % & :2 ) : '
/% 4&5 ; ) 2 : && : -& .):6 ( - &( :
&! 8 ! :' &) : 2 &! ):2 &: ! 3 &:'.&)7 <:
6* # = &( = &)
/ & . ( ++ ( )38 8> ! . + (
( ) . & ( & & . ( )<.(. & 3 ! ( && . &?(# . + ) 8 & ( & ) () . &?( <.(. & 3 :
. + . ! ) ( &)<.(. & 3 .)# , ) )( & ) ) <.(.< ! ( ) . &?(# .& & )
& ) 3 ). :( & ! 5 ! . . . &?(: ( &&) ! . &3 ) . &?( < &5 # ,
) &. &) . ) & ):&+ +3 & ( +3 & "#
7 ( & : : & !:) &): & ! )!
* % 0 & .) &) :$), ! )
! "# ! "%
Table of Contents
$# & ( ################################################################################################################################################## # * ( ++ &8###################################################################################################################################### # @! ) 3?( )################################################################################################################### &?( ! )################################################################################################################################################# , & (. 5 &)) ! &?( ! )################################################################################################# - ): 3?( ) )####################################################################################################################### "# ,& ) 3 ###################################################################################################################################0
$@' ( ))##########################################################################################################0 @9 + +3 &)#########################################################################################################0 @+ ( ########################################################################################################0 # ! ' ++ ) &( ( ##########################################################################################################$ 4# ( &) 3 (.+ &5)#########################################################################################################################$ ( &) & $@' ( ))####################################################################################################$ ( &) & @ & ( )################################################################################################$ ( &) & @+ ( #################################################################################################$ 2 (.+ &5 !#############################################################################################################################################$" # &+ < &5################################################################################################################################$
( & ) 3 ###########################################################################################################################$ + . )####################################################################################################################################$ ,( &) . ##############################################################################################################################$ # )( & )#####################################################################################################################$ ( & $@ ( )) < & ))& ) ! + & A 3############################################################$0 ( & @6 ) &( ) & (.' ########################################################################################################## ( & @ &)&( & & & &( )################################################################################## $ ( & "@ &+ <) ' ######################################################################################################## ( & @ )&!& ) ) ( < . + !)%< &5). )############################################################ ( & 4@ . ) )) . ' ) . & & ( ) &! > )####################################### " ( & @' + +3 &) + < . & + &?(#################################### ( & @ (. & ! . &?(############################################################# 4 ( & 0@ ( )) < .&) ( . ############################################# 0# + 3 & & ! ############################################################################################################
! "# ! %
UNFOLD Evaluation Plan
1. Introduction
.) ( + ) . &. &?(# ) * . &!&+
( ) ) ( ( + : )8 . 3 ) ) ( ))
&) . (. E ) 3 + 8 : )< ) . & ( . #
) )( )<.(. & )8 & & ( & &?( < &5 &)# . ) .
& & . < &5+ 8 3 &! & ) ) & ( + <.(.< 3 ( ) 38 &?( ) . & < &5# + &8 . )( & ) & & & ( ( + &
. + & ( )#
.) < 3 )( )) & ) . &?( + ! 2 &( . +3 & " & & . + + . &!&++ # .) & ) &?( & &)< . .
& 8 )( )) . ( ) : ( ++ . +) ) . &!&++ 3 & 5 #
. ( ) :. < &:.)& ) . ) ( # ,)) . &?( :)
8 + . . &?(:; 8 ":. & & ) & + 5 ( &3 . &?(# ' )E 8:<. . 8 . 3 ) ( ) ))3 ! . & + &) &( ):. 8 . 3
3 . & ! <.(. ) ( ))&8 & !# . 2 &(
+ !: & &< &5 .) :< &( + .))&( & ( 8#
2. Executive Summary
.) & ) &+ < &5 & < &5 . &?(: &) (( )) ( + . & ( & &)<.(.( ) &?( &3 ) #$: # # : + .)$ : $ "# . & (. ) ( ++ ( < .! & 3)& ) & ( )( ( & !
. &?(: . 3 )) .) 8)) ) ( ()
)( & ) ! < &5#
< &5 . )3 .& & ):( &&) ! . &8 . .& & &)# . &) . ) )( & )B +3 &C ( +3 & "D )
# . 3 )) . &) ) .) ( : < 3 & ( &.
)( & # .) & (.+ ) *3 8: 3 . &) )
< &5 &+ ) 3)E &?( < &5 #
. )&( & . : . + ( ( ) ) & ) <)#
. &) )( ) ) 3 ). . ( * &. #
@ . ! ) 3?( ) . &?( & & < : & ( )) & & & 3 )) & < &5# .& ) &
@ )# . ) & . ( &( ) . &?(#
< @ 3?( )@ . ) ( &&) . 3?( ) . ' )< .&! & . & + +3 &)#
.& @! )@ . ) ( ( & . )& ! (! ) . &?( &+) ) & ! . = & ! )! ) ( ( #
. & . & (. . .& ) &?( ( 8#
, )( & ) & < . ) ( ((. ! )& )
! .)5 ( # A ! &F) ' ++ 8 &( ( ) :
. & ( )3 < . ( ))( ) ! &! ) ( ++ 8 < . &( ( ( ) .
! "# ! 4%
. ( (8 ( ++ 8 )! # ( 8 . < &( &?(): 5 ! G ):
& ( ( :). <) . + & ( ! . & ! ( ) ) ) . &)+ &!& & 8 ( .
& ( ' ++ ) . & ( )#
. * .& )( ) ! "3 . 8)) . ( * . & (
) ( ( &+ < &5 & < &5#
. &) . ) )( ) # $ % & )( )) # , & 8 ( &) & ) ( & ! ! &+ . & &+ ! ): . * &)) &( ) & ( )# . ( &)
& ! . & 3 . &+ . & & )(&3 . & ))( : &+ )( )) )< . . &?( +# 2 (.+ &5 ! ) )( )) : . & ( & &3 +) 3 (.+ &5 ! ' ++ )
&( ( ! & : . &?( & ( &# )( ( . . + ) ( 3 (.+ &5 ) . ) . & . ) & . &?(#
. ! & ' %3 ) . 8))) & 8 ) )( & )<. & .
< &5 . &?( < 3 ( ) # . (. E ) 3 ) & : . ( &) . # . ) + ): ! . &< . . 3)& )+ & ))( ):
& 3& !. ! . & ( ) #
. )( :*+ , )( ))). < . &+ < &5 ) 3
& ) &+ .& !. . &?(# , 3 ) &) < . )(. ( ) 3 ( && . &) & :<.(. & ) . 3 )) &
+ + < &5# ( ) & :( & ! .& ) &?(
! "# ! %
3. UNFOLD: goals and objectives
.))( & ) & < . &?(# 3)( #$ &) ) . &?(
. )(& . < &5H # )< . . & ( ) . + )5) <.(. . 8 < 3 . &H # ) ++ &> ) . + 3?( ) ( + ) . &?(#
Project goals
, 5 8 ) ( &. + & ! ) . ) &)3 & & ! <.(. ) ) + < 8 3 & . <. . )3 & )8 3 # &!&)) < &) .)! ) .
) &):3 ) &. ) + & ! & 8 )+ :) ! & &:I & )I & (.: & ) 3 (5< &) < < & ( ) && . + &+ ! ! ( &) ( # 6 (
+ ). < &: . & ) .) ( &) ! ! ( & (. ) & !#
.) ) . ( ) < . . ( = ! ! ! B = D: ) 3 ). 38 . &) 8 .
. & )B D:<.(.. )3 & = - 3 & ! ' ) & +
) ( ( : + = & ! )! B D# ) ( ) ! ) &) = & ! )! :
<.(. ) . 8 ) ( ( & ! ) & &+ )&) *3 ! ! )# . & ) )! ( ! 3 < . & ) < ) ( ( ) (. ) = & ! )! .
& ) ) 3 ) . (. ! & ! &( ( # < @
$ 6 ( . + 5 & ) ! . 3 ) *3 & ! ) &) & #
'& ! &. ( ! + & & ! &( ( # & + &. & & ) . 3 ) 8 . & & ! ) ( ( .
. :+ + ) &) & ! . &&(.8 !& )< .
&8 & & ): .!.8 &! )( &))# . 8 & ) & 8 < +3 & ! !& .( 8 < 8 )&3 # ,) &) @
&) &(. &) & ( ( < . . & &) . & ) (5 & ( ( ++ ( 3 < !& ) . & ) &( ++ ( < . . & )( )#
' )E 8 ) &) )) <: (& ( + )) ). & (. # , . )+ + 3 (5 &+ )&): (. &) & &):) & &) + + &)<. & (
+ & ( ) )#
Approach taken in addressing project goals
. : + + ) &) & ! . &&(.8
!& )< . &8 & & ): .!.8 &! )( &))# . 8 & ) & 8 < +3 & ! !& .( 8 < 8 )&3 # ,) &) @
&) &(. &) & ( ( < . . & &) . & ) (5 & ( ( ++ ( 3 < !& ) . & ) &( ++ ( < . . & )( )#
' )E 8 ) &) )) <: (& ( + )) ). & (. # , . )+ + 3 (5 &+ )&): (. &) & &): ) & &) + + &)<.
& ( + & ( ) )#
& & &)) . ) (. ! ) 3 ) *) ! ( 3 & (&
( & &+ < &5:<.(. < (& ( ( ++ ) &( ( & . ( &) : .& !. . )@
*(. ! ))+ * + ) ! &( (
!& ( )) & & ) )! ) ( ( ) ) 3 ).< &5 ! & &3 8 & ( ) &) ) )) )& ) 38 . ) ( ( :+ + )
& ! ( ) &): . ( * . ( ! & ! 3 & ! !8#
Goals, objectives and outputs
. < &5 ) ( ))* &?( 3?( )#
! "# ! %
D + & &+ <)3 < &) &(. &): &): & ! )! &) &( &)< &5 ! + &! ! #
D + & . E 8 3 (5 & ) & 3 ) . & &+ ( ) &) + )& )
D )! ( 8 (( & . & + (8( ) ) & !
+ + )
D ) 3 ).3 ) &( ( )! & ! ) ! *3 & ! ) &)
D ) & & &3 8 *3 & ! )8) +) + + ! ) &)
3?( ) D D & & &) &(. &):3 . ) ( &)). 3 ( . ( & )&
!& # ( ( ))+ ) &+ &8 ! : ) . ! )
) & + + # 6 ) &(. &) )) (. & ) . ' ): . !. . 8 + 8 < ). ) 8 <. . + +3 &) & !: <. . 8 & 3 !# + &8 + 8
) < ). & ( &) &(.:3 ) ( & ( 8# . )( ( ))+
< &3 38 3 . & ! (. !8: ))38 ( & !:
3 ) (. ))+ ) & ( &) (( )):<.(. )&
+ + #
) ( 3 . . 3?( ) 3 & & < 8 & ! & ) <.(. . &?( <
. + (# & & .) ) 3 ( & : .& ) )
( + ) & . & & & ) # .) &+ < &5 & ) ( * & &?( 3 ! ! 3 ( && #
. ( + ) . &?( + 8 3 ( & 38 ! . + .& ! ( ): ) <)@
$ 4% 0% &5
&) 8 . ( &( ) & ( &8 . < &5 # . 8 ( )) & ( 8 . ! + !): ( ! ' ++ ) &( ( B. & & ' )D: & ( ! . &( !) .)< &5# . ) ( < 3 :3 . & & ( &+ . < . &( &( 3 ! ): ) ) & . . ) E 8
. ) ( ) ) ).!. ) ))3 : + & < . (.. 8 &8 & . < &5 #
$ ( 4 &5
. ) )(&3 3 & :. < &:. )& ( + ) . &?(# , )(
+ 8 3 <.(. )+ (. )) ! 3 : <.(. &))) . 3?( ) . ' ):& . & . . ( &( 3 ! ) . &?(# ( ++ < . . &' ):. ) ( + ) & ( + &) ) ()) (. )
& ! 5 < ! ! &( ( ) &) )5 )
&! ) ( ( 8 $ 4' &5
+ 8 ' ) ( ++ &( &! ) ) ) )) + . . 3?( ) ' )
< & + ( 8 3 ( &. &! ) : . !.( ) 3 8))+ 8 <
3 ( && # :. < &:. ! ) ( . *3
& ! ) &): & ( & = : ) + ) + & ! . ( * & ( ) & ( > ): : . 8)): . &38 + 5 . < & 3 & ( # .) )+ (. )) !. 8 5 . < 3?( ) . ) . ( ) ( ++ &( &! ) )#
! "# ! 0%
4. Areas to be evaluated
. !. . .& ) &?( ( 8:.& ( &8 & & ) &
( )+ 8 3 # . &?( 3?( ) )(&3 3 & )) ( < . . ) )#
Evaluation level 1: CoP effectiveness
. ( )) &+ ! ' ++ ) &( ( &+ & !
. & )) ( )B 3 D
. &?( 3?( ) )) ( < . .) &@
- . $ ,
, /
- . , ' ' , ,
' % /
Evaluation level 2: Value to members
. . ' ) . &+ +3 &)B 3 D
0 , , 1 $ , 1 $
' /0 $ $ ' $
/
- . , ,,
- . ,
- . , ,, % ,
- . , ' $ ,
Evaluation level 3: Impact on adoption
. + ( . ' ) ! ) . < & +) # &!+ (!& )
< *( . ( . &( )E ( ) = : . !. .)
+ 8 < 3 3?( ) 8 < . . ' ): & ( &8 . & ! & &)' # . &?( 3?( ) )) ( < . .) &@
- . , $ 2 1 %, $
,
- . 1 , $ , 1 3
,
- . $ , 3 4 , 3
! "# ! $ %
5. Evaluating Communities of Practice
. )+ < &5 ) 3 ). ! . ( ( ' ++ 8 &( ( ) ) 8 &( 3 (5 )+ . !& .() 8 38 &&B$044D <.(. * + . < . ( 8 + (. (. ( ) ( 8 & # G
+ )& . . 8 & 38 ). & ! &+ 3 < . +:& . &. &+ . &+ )&( &) & 38 . & + 8 &)#
.)< &5< ) 5 38 8 2&< : & * + B 8 2&< ! $00$D:<. *& &&F) )!.) < &( *# . (. . &) & ' ++ ) &( ( . )3 : . < &: A ! &:<. & ) ( &) + . & ' ++ 8 &( ( <.(.
. ) &+ 8 .) :3 . <. & (.#
J' ++ ) &( ( & !& ) <. ). & ( ( &: ) &3 +): & )) 3 (: <. . &5 < ! * & ) .) & 38 &( ! ! ! 3 ))# K #
. ) F ( ))& 8 < &5 ! . & &8 8:3 . 8 + 3 ( ) . 8
. & &( )# ,)) . 8 ) + ! . &. 8 8 ( 8 ). & &+ : )!. ( # . 8 . (. . & . 8 ) &3 +):. 8 )( )) . &) ):. & ) & ) . &
)# . 8 &( ++ )) ) * & ): ( )) ! 3 &)# . 8 + 8 (& ): ) &):! &( )! ):+ ): . & ( + ): &. 8 + 8 )+ 8 (
&) ! . . 8 ). &# G < & . 8 (( + 5 < ! :. 8 3 ( + &+ 8 3 38 . . . 8 & ! ! . &#L BA ! &:= ( &+ # D
. &! < &5<.(. ) 3 ). . ' ++ 8 &( ( ) & (. & !:. ( * < ) 8 ( 8 (. ( :<. & . + +3 &) . ( ++ 8 < & < . ) ! &! )
( &&8 ! ( &8 ( 8 < . ) 8 3 ( &) 3 (.+ &5)# & * + B 8 2&< ! $00$D )( )) . < &5 . ( 8 + (. (. ( ):<.
A ! & .) ' ++ ) &( ( : & !:= ! 8 BA ! &$00 D ( )) ( +) &( )) !# . ) & + ) . ) (( )) ' ++ 8 &( ( )& 8 ) 8 + ) & # . + +3 &) . ( ++ 8 &:. . & & &+ ( . &?3)< + & :
.)( 3 + ) & ) ! . ))))+ &( &) . &! ) :3 (.+ &5 ! ) & ) & &+ ( # ): ( &): )) + . + & )5 ) + ! . ' ++ 8 + +3 &). .
&! ) <.(. . 8 &+ && (. )! )#
. ( * ) &8 & # . + +3 &) &+ & ) ! &! ) : & < 8 )&3 ! !& .( 8# 2 ( ) . )53 ! & 5 B+ + ) . = & ! )! ) ( ( D ) < :. & ) ) 3 ). + ) &+ (. E : 3 (.+ &5 ! ) <.(. & &+ ( ( 3 + ) & # . ) 5 8 )5 .) ( + ) 8
( &): ( ) & 8 3 (.+ &5)( 3 #
= & &: 5 . . ( & (. ( ) ( +) &( )) &) )( )) 3 : ) ))3 ) 3 ). + ( 53 < & ! . ( ++ 8 &( ( &!&)) < &) . ! ) . &?(# .) )3 ( ) < 3 ))3 &+ +3 &) + . & < & ! ! ):
+ & . &)5 ):< . + 5 ! )! ( ( &3 . &?( ! (( & ! . . = & ! )! ) ( ( # .) 5 ! . & & . ) 3 &)) .)
#
& & ' ++ ) &( ( ) (. ) . ) ) & 38 )( )E 8 )+ # . &++ ( + ) & )8 3)& E 8 &+) + !): *(. ! ):
( + ): (# . &+ ) )! ( ( + ):. < &: & ! 3 )C & !:5 < ! :! &( ( ): &) &! ) ( 3 ): )(&3 . & ) + +3 &)# . 8 + 8 ) .
&. &! )3 8 . ): ) ) . ( ) :<.(. ) &) (( & . = & ! )! #
, & 3 8 &) &(. ) . ( ( 38 & ( (5 . ) & (
& )): . ( &)<.(.+ .)# B (5 & ( D . . &)& & . ) 8 3 )8 ) < & ) &( ++ 8 ). < . M + +3 &)< & % B# #
! "# ! $$%
&5 ! ( ++ ) &8 *&+ 8:&+ 00M $M# . 8 . & ( )+ 8 3 . &) + 8 ( &):3 . &) < &5& # . 8 ) )&)) . &5 ! ( 3 ) ) ( &8
&+ & ( &+ 8 )&)# , + & &( ) 8 B & ( : (5 # "D & &+) * ) . ) ( ( ) )#
B & ( # $D ) !! )) . < ! + &():3 . & + !& .() ) )))) . ( (8
( ++ 8 )! #
) ,$1 , , 5
+3 & + +3 &)%) 3)(&3 &) . ( ++ 8
+3 & ) &)38 ! &: ! : (( B# # + !& .8D
6 $ 5
+3 & )) & &) :( ( . &) (#
+3 & ) &) & & + B#!# (( )) < 3 ! ) &+ .D +3 & &5 &)C 3 ). & ! .) &+ #
$ 5
+3 & ) &)38 ( ! &8 8 ( ++ ( ! . + ))!
+3 & + ))! ) .& +3 & .& )
G < + (. <. 8 + & N
. ) + &()< 3 5 ( ) & . )! )&+ ) . ( ))
. ' )B $D
B ! :A ( # D: #$ : ) & ) + ! ):<.(.<. . 8 & + )( & ) + ) &)#
) 3 ). & ) 5 ! ( ) 3 (5# A ( + ( ++ ) .& !. . + &( )): ?) ( & ) ! . < 8#
7 . (. ) : (5 < ! ! ) )< ) ! ( ++ )# 2 < ! + ( ( &). & & + 5 . ( ++ 8 3 & ( & )+ +3 &)#
' ( ) ) ( & & (& 3 ) # A. & ! < && &8: ) + & ) 3 ). 3 ) &+ . &8 3 ! ! &+ ) & ! &!&))#
' ++ ( &) )# - <) 3 <)). 3 ( ++ ( . & ) ) 5 . &!& )# ( + ) &) &! & &+) ( ++ ( ):) (. ) <) &): 3 3 &): ( + )# 8 5 < . NG ) &+ . &!&))
! ! 3 ))#
,)+ 8 3 ) :. ) & & ( 8 ( ( & ! . & ( . . ( ++ 8
& ( ): & # &+ . ) ! )< . + & ( ) 3 ). ! 3 ) . ) & . &?(: . ( ) ! . & ! ( ++ ) &+ )&) ) 3 )) & ) 3 ). ! .
& ( : ( ) . < ) & &. ' ++ 8 + 8 3 + & #
, .!.8 ) (( )) &?( ) ! ' ++ ) &( ( ) 5 ! G ):& 38 & 3$:
& ! ( ++ 8 )! & ) 38 . (. &) ! # . < &5& & B6 + :'. + # D ( )) < & )@
D G < . ' ++ 8 &( ( < ) ) 38 . + +3 &)# 3D . . ' ++ 8 &( ( . ) !& #
3 . . ) ) () . & ( ( ( ))) ) + )38 + +3 &):! . & & )< 8): <.(. )(&3 . & ( ) . ' ++ 8 . 3 )<.(.. &) #
! "# ! $ %
. & &?( ) . & ( ' ++ 8 &( ( : .)( ) & )( ( (. &)# ) & . & & &+ 3 . 5 ! G ) : . ) J3 L( ++ 8:< .
) & & (. &)<. . )+ ( 8: <. ( . & & + &! &8# . ( ) ) + + +3 &) . ( ++ 8 < + &! &8:. !. 8 .& + .8 & ): <. . &)< &+ &) # . . & &?( ) )(&3 B; ):= (, &<
# "D: 3 ). &+ 3 . &?( 38 . . &)# 5 . 5 ! G ) &?(:. 8 & 8 . ) + ) & ( ) & ( . . ( ++ 8:
. !. .)( ): &. )3 ( ) . 8 & < &5 ! < .)+ &!& ) :. ( ) ) ) & + & * ) . 3 (5 )+ & .#
.) < 3 < . ) * + ) ) 5 ! 3 3 8 ( . .
' ++ ) &( ( . & ( )# A !+ .)E & (.:. < &:38 ! . & !
E ) & ( : + &. + ( . &?( &+) )) ! ):
! "# ! $ %
6. Indicators and benchmarks
.))( < *& &+ . 8)) . & ) 3 : 8 ( &)
) (( ))# . ) & . &) )( )) 3 < . &?( & &): < 3 ) ( ) . ( ) & ) () . &?(# 5 ! . .& ) & < ) ( 8 . ( &): )(&3 . 3 (.+ &5 ! ( )#
Indicators for level 1: CoP effectiveness
. ( &) &) (( )) ' ( )) & &! 8 E # . +3 & ? ! . ' )
. +3 & ! + !)%< &5). )
. +3 &) & ( ! . ' ): 8 ) &! ) :( &8 . 8 & &) : . & + < . . +3 &) . & & (): )! ): 3 ) & !
)B & + D
. +3 & *(. ! ) )( )) &+): ( + ) < 3) : +3 & . ) < 3 )
. ) ) ( + +3 &)&! & ! + & ) &) &( )
A 5 < . )> . & ( )B# # . ) &) = & ! )!
& & . < & D ( )E 8 < ( ) 3 ). ) ) ( &8 & ( # & < 5 < . !& &) . ) <. &! ) & &. ) : ) < ( ) 3 ).+ ) ) ( &8 & ( &&! ) & & ( )#
. ( ( ( ++ 8 ) )8 < : ))) & + # ' )E 8
) )8 + & ( ( ++ 8 . ) &+ # OA. 5 &:$00 P"Q) ( ) (. &( &) () &( <.(.( &3 . (& . . + :<.(. & )&( & & 3)& ( ++ 8 &( )#
$# , ) ) ( ++ 8 + ! . & ( )
# ( < &5 !@.)+ 8 ( : & * + : ( +8 3 (! ) . &+ *(. ! ) &+
# . & )( &)
"# ( ( & B & * + ( & & )&3 3 . &D
# = +3 &). &?( & ) ! &) & ( & ( #
A. . &) + 8 ) + 3 ) & & :< &) + . . & ( )) .
. 8 . ( ++ 8 *))#
$ ,577 /$ / /%7 '$ % 7 18 $(!/$
Indicators for level 2: value to participants
( &) & & < 8 )#
$D 3?( 8 ( + ) &?( ( )B#!# &3 +)) :( ()+ : ( )
5 ###D . ) + 8 3 & & 38 & ( ): 3)& 38 &?( < &5 &): & ) )# D * &)) &( & ( )# . & ( )< 3 &E ) & & . ( + ) . &?( &. +) ) ) ): : & & &. & &! ) )# . ( )< 3
8 ! * & ( . ' ): &+) . & & !:5 < ! :! &( ( ): &) &! ) ( 3 )#
. & & )<.(. & &( 8 ( + &3 : ) . & ) ) 3 ). )&) ) ( : &) & )&+ )<.(.( 3 ) ) 3 ). . ) )#
Indicators for level 3: impact on adoption
& < &5). ) 5 &+ < & + 5 ! ) ( &3 .
) &): .)3 ))< ( + 5 &( ++ ) . ! ' ) &.
+ + . &) ( ( ) ) &)# .) ) & ( &8 & 3 ( ) = & ( ) & ! ! ) + . ! & 8: < 3 &8 &) . &) ) <. < & !#
. ( &)<.(.< . &@
! "# ! $"%
+3 & ): . < . 8 & ) < . & &)#
. & ! & ! ) & B ! ! ( & (. ):( & &) 8D
) &< & & ) && ) :. < 3 )& ! ( & . . &?( . )+ ( &3 + ! . ) ( ( &< &#
&( ( & &3 8 )8) +)#
) & (. . ) &)# = ) ) ( ( )<.(.
. 3 ( + ( & ( ) &). ) < . . 3 ( & & (.
# *( ) ' 6= :<.(.. ). + ) &) ! .& !., &
. ) ( ( ) & : 3 ( ) .) ) ) + &) () & & 8 &) (5 & ) (( ))# ). 3 &+ +3 & :. < &:. & ! )! )+ & ( + *) ( ( :3 . &
. & ! . (& ): . . ! & ' 6= ) & &) + ! !& & . . <.(. ?8)# = & & ) 8 &) + 8 &) ) & . ' 6= )
< ) & ! ?8 < ) & # ' )E 8: ) . & & ): ' 6= ) & ! 3 (.+ &5 & : *( )+ (. ) + )& ) . . )53 ! & 5 ) *&+ 8 + !: . . ) (( )) ' 6= . )3 &8 .!. &( # & & ! & &
(& ) ( 3 *& : .)3 )) . ( ( ) + 8 3 &< . :!
. &+ ) ! & & ' 6= : 8 ( 3 (& ) <.(.( 3 )(&3 < 3 ) ) ( &8 ( + # A ( ) ( + & . & ! )! < . . ) & ) ( ( ): . !. (( & ( + &) + 8 3 . & &+ # & * + :. A & )) , $$3) ( ( . )&( ) & & &+ <)& ! . ) ( ( : 3 .) ) ) & & : < 3 (.+ &5<.(.< . # ( & 3 & 3 ) & ! &+ <) ( . < &5 . )&!& : . *) ! 5)3 <
+ +3 &)#
Benchmarking
- . ( ) ! & & 3 (.+ &5):.) & )) ) 3 ). 3 ) : )))) &!&)) & .)# ! ) < < . ( ! ' ++ ) &( (
& 38 B ! :A ( # D 3 :9$ ' 1 ,
$ $ 1 , / .)< 3 & )
)@
' ( ))@ & ( & (.# !& & ( # +3 & + +3 &) ! (.+ !# = . @ 8)) )& &) 3 (5 &+ &)
+ !#
9 + +3 &)@ ) + +3 &) ) = & ! )! : . &)5 )# = . @
R ) &) + ) & &) + ! #
+ ( @ = & ! )! ) & &?(# = . @
) & 8 . ) & 8 3 ( && ) + + : .). )3 )( ))
. )& &# .)< 3 * ( ) + + : ) ) < .
! "# ! $ %
7. Evaluation framework
.))( ))( & ) 3 :. (. E ) 3 + 8 : . ( &)<.
5 &#
Scenarios to be evaluated
)( )) 3 < & &) . ( . < ! )( & ) & #
* &&
&( E 8 < & ))& ) ! + & ) ) )) < & ))& ) ! + & ) ) . ) &+ &) &( # ) &) &( ) & (.'
) ) ( < .&) &( ) & (.'
) ) ( < . &)&( & & & &( )
) ( 8 . ' )
)&!& ) ) ( < . + !)%< &5). )
9 % * &
. ) )) . ' ) . & & ( ) &! ) )
' + +3 &)F + < . &. + . &?(#
0 0
(. & ! . &?(
6 ! & ! ) & B ! ! ( & (. ):( & &) 8D
( )) < .&) ( .
Evaluation methods
A ) < < ) 3 ). ) ( )3 < 8 ) + . )#
&) 8: < ! . < 8 ) ) ( ) 3 ). B2. $00 D < ) ! ).
&+ @ + . ? ! ! . < &. &!&+ <. . &!&+ ( ) & &+ ! &. !# &+ ( )) . &( )): ) 3 & ) ! . < & )) . & ( )&! & ! <. . 8 & !:. < . 8 & &!&)) !: . < + & + )+ 8 3 3& !. 3 #
++ ) + . ? ! ! . < &. &!&+ . . &!&+
( )# . ( ) ) . ( + : ) 3 ). ! . (. + ) . &?(#
( 8 < ) ! ).E E #
2 . + . )) ) + &( 8))38 . +
3)& ) &) )) )&+ )# R + . ) ) & 3 3?( :3 . . &<3 (5 . + 8 ) () & ( & ) 8 &)) 38 ) (. + . )#
2 . ( ) ) ) () . &?( <.(. . * & ( )
& ( ): & ( &8 < .&! & 5 < ! : ) )5 )# . ) & ) (. 3?( 8:3 & . & 3 ! &(. ( & &?( ( 8 )
(. + ): (( ! ! . ) 3?( & . ( #
- . ( )
! "# ! $4%
$ ' && :% ;%
! ) 8)) ) E " (. E # ! )) & &+ & . ( )<.(.( &&8 < 3) # . 8 &+ <.(.( 3 8> ( ) . )( ) ) :. +3 & ( (5): (#
A ) ! ) . ) . &)&( &# . ! )< 3 (&
. < 3) : < < ) . + : & * + :. < + 8 &) &( ). 3 ( ) :<. )( ) & . + ) ) : &) )#
% % :% & &
&( & E ) &) & E (. E <.(.( 3 ) . & 3 &+ &+ &8 &! +3 &) )&): & ( & . &+ # R ) &) & ! & 8 3 & &! . & ! +3! ): ( B<.(.+ 8 ) * ( + &()D . &
) & )(& ) . &E & * # ( 3 ! . & &+ (.&) & )) + . < . & < & ( )!& 3 . & ) ! & < &) ) & ) &+ &! )+ ):<.(. + 8 & ( & &) &) )# R ) &) 8 ( 8 ( 3 .S( ) FE ) ):<.(. <
8 + & ! )< &): S FE ) )< . & &+ &) )# . ) &E & + & . 5 ! + & + . & . &) & . & & )) 5 8 3 )< & #
A ) )&( & E ) &) )# . 8 < ) 3 ) .
A 3) ) . &( + )B & ! )! &) &( ): &+): (D . < 3) # . &) + )& . &+)< 3 . &) )#
. < 8 <.(. . )&( & E ) &)< 3 + ) & )8 3 ) # : <.(.< 3 )( )) . &?( = ! 2 &( : . ( +3 &:) &) . + +3 &) &) . E ) & 38 &)&( ! (( )) . ) . 8 &) #
, & 8 . (& & ( 3 +3 & ))#
A ( & )&)< . +3 & & ) . &+ 3 & . 8 & 3 ! ) # ' &8: < .): ) )) . . &+ )E (5 )8 ( + #
%
A . . ( * : ) & 8 ) ) ! . &) &( ) . A 3: + 3&& )
) 3 ). ) (( & 8 ) ))3 . ) + + = & ! )! #
(& ) & 3 8 & ( ). 3 ) 3 ). :<.(.< ) & !& & ( )) (8 . &) ) &. & . &?(#
) %'
.) )3 8 (. E )+ +3 & )&) & )5 ( &&8 ) )5) ) ! A 3) & ( # A. . 8 & ( &&8 ! . )5) . + & )5) . +
&3 ) <. . 8 & . 5 !: . 3) . 8 . 3 . ( # , )&( & E ) & ) ) + ) & # . ))) ) + : . &) ) . E ) & ( +3 < . 8)) . )&)F &( < . . ( # . &) ) & & ) ) . + ) &E 8 (( && ! &3 +):< .) !! ) ) &) )#
:% ;% &
& % % (
. )+ )&( & & < ) (. E <.(. ) &E 8 ) ) ( ( ++ ( # < 3 ) ( ( ) 3?( 3 . )&) (.:) (. )< &5 * & ( : ): !): ) !! ) ):<.(. & . & 3 ) ! . &+ . )# ). 3 &( ! ) :. < &:.
E ) 3 : . . &) ) & ( ! & )#
A ( ( )+ )&( & & <)< . . & &! )&)!& ) @ &): & ! )! &) &( &)# . ) < 3 ) ) 3 ).. < ) (
) &)) ! . & & ) )# & &0
.) (. E )3 8 * & 8)) ( &A 3) : ) ! ) ! )#
! "# ! $ %
& & & )< & ! ) ( (&) &(.E ) )# )) 3) 8 . )5 . * &: & * &)+ 8 & ( & &) )#
" %&' %0
, ( )!& ) & ( &5 & <:8 ( 8 ! 4 $ & ( ) + & & B ) :$00 D## ) !& )( )) ! 38 . + & &:<.(. 8 ( 8 )) )
.  ( & ! . ))) ) ) 3) 8))# . (. E ! ) & ( )) 3) ( & &. &( 3 5 38 . : ) . 8 +3 &. + & &: .) ) + + ) ) * ( &) )3 ! ( & # . & ( ) ) & (. (5) 3 ( ) (. . &: )!& ! < . *&+ <)#
# & '&
)< 3 5 . &( !) . + !): : . )! &+ )) :. 8 + 8 ) 3 &( & :) . . ( . )( )) ) ) )# .) (. E :. < &:<
( ) . ( . )( )) ):3 . 8 ) & 38 . )B )
&+ :E ) ):) !! ) ) ! . ( ++ 8: (#D . & &) &( )))
B. < + 8 & ( :. & . ( &: (#D# .) (. E ( & 3 3 (5 . ( ! . ' # + 8 3 &! & ) )+ &+ . !& .8#
< 3 + & * .) ( ):) . . 8 & < & . 5 ! 3)& : ( & & ) & . &( ))#
* & &% &
, ( ) ) 8 ) . + 5 < ! 3 ) ! ( ): ( *: ) !
& 8 ( ( (. E )# .) ) 5 8 3 ) . )( . &) # )
. < &: ! . & &! & +3 & )) & &): <.(. ) ! & ( * ) . ( + ) & ( . &?(#
Actors in the evaluation
. &) . +# < ( & . ( )38 ! .
)&+ ) &( &) 3 ( && :(&( ! . ) ( + ) . & &) & & ! . &) ) &3 ) & ( + )# , < &5!& < 3 &+ :< . & &) &+ (. & &: + + . # . < &5!& < 3 ( ) . 2 &( &?( + !: . +3 & "#
. ) 3?() . ) ) & . + +3 &) . ' ++ ) &( ( :
: ))& * :. &?( ) : & ( &8 . ( &)#
< < &5( ) 8 < . . & &) & & (. ( . &?(# & &) : 2 ) & &) )3 & ' ++ 8 &( ( (.#
' & 38 : (. & &< . &) )3 8 &+ ! &+ . )&!& ( &&) ! . ' : < ) < . . )&!& : && ! ( )## & &)<
) . &) )3 8 &( &&8 ! ( ) . + ( &)&( & <.(. . 8 . & ) !:< . . ) & ))) ( . . & & &) )( & &)# & & ' . ) &) )3 8 & ' ++ 8 &( ( :3 + 8 3 ( + 5 ( ( < . . & < )&!& + +3 &)#
. ( ) & &)< + 8 3 ( && &( 38 )!
! "# ! $ %
8. Detailed evaluation scenarios
.))( < 5 3& ! ! . &. ) () &?( 3
)( & ):<.(.( ! . + . (& )&+ ) ( &&8 . #
A + ):& ) &+ ! . 3?( ) E ) ): )( )) !
3 (.+ &5) + !: )( )) 8 ( &3 +) 3 &( + # A ) ( +3 ) +
. )( & ) . & ))( . &)) + ! ( () )&( &# .
)( & )< 3 ) ! . (. E ) : ) .)< 3 !& )5 &.
! "# ! $0%
Scenario 1: Effectiveness of awareness raising material and Web
.))( & < . < & ))& ) ! + & ) < 3# . ) & & ) . & 3 . . &?( . = ) ( ( # G < &:. ) + & + !. 3 ( & (
+3 & & < 8):) (. ): ) ( . 2 ' 3 <#
6 % $:' ( ))
/ & )&) &) & !:3 + +3 &) ' )B&) )D
' + +3 &)B&) )D
+ B )! )&+ ) 8) &) )#D ( &)B + &)D
:% & & &(
,& . &) &( ) A 3 ! E 8N . 8 + . ) . )&!& N
,& . &) &( ) A 3< )! )8 ! N
A. + & ) & ( 8 < 3 3 N
& &E (8 ) . &) &( ) A 3: &+) &! ) & )&)#
R 8 < & ))& ) ! + & ) )& & 38 )&) 3 (5 &+ )&) 3 .)&( & )&( & ( *)
8 ) ' 3 (.+ &5 3 # &+) * &)) ) ) ( )&
!& #
6 % & &( & E ) &
( )!& ( ( + !)
B . D )+ )&( & & <)B ( ) . ! ( )!& ) ( :< ( ( ( . & < < .) + . )&)D B + D E ) &)B &. )+ & ) D
)3 8 ) ( 5 .& !.
#% & . ( + ) .) )( & < 3 & ( 8 &+ : <
8 + & + )<.(.( 3 + . < & ))&) &( ) A 3#
' *+ .8 & )# . + ! ) ) + * . &.8 .+
! "# ! %
Scenario 2: Resources for each CoP
.) ) ) ( &+ ( & $:3 ( ) 3 . . )&):. &) &( ): . ) <.(. . 8 & & & # (.( ++ 8 &( ( . ) ) < &) &( )<.(. & & ( &8 ( ) . ) . ( ++ 8# . 8 & & ) < & )) . &?(:3 & & . & . &< + & ) & . < &5 . ' # ). 3 . ) 3) !& . ) &) &( )< 3 . &) . < &5 . ' # ' )E 8 .) ) & &+ :. ) )8: )
! . & + . ' )< ) )))) . ): .) )& ( . 2
' / + 8 ) 3 & & ( . &) & #
6 % $:' ( ))
/ & = +3 &) (.' B&) )D
+#B )! 8)) )&+ )D
' ( &B + &D
:% & & &(
,& . &) &( ) & & . ) + +3 &) . ' N ,& . &) &( ) ! E 8 ( &8 &) N
A. &) &( )< 3 3 N G < ). . 8 3 (&
& &E (8 ) . &) &( ) A 3: &+) &! ) & )&)# 3 (5 &+ )&) 3 .)&( & )&( & ( *)
8 ) ' 3 (.+ &5 3 # &+) * &)) ) ) ( )&!& #
6 %
&
E ) & + ) & & ( ) &. 8 . 3 & ( ! & +
B ) + .D
( )!& ( ( + !)
! ) (( )) &) &( )
#% & . ( + ) .) )( & < 3 & ( 8 &+ : < )&
8 + & + )<.(.( 3 + . &) &( ) & & (.' : . < 8 <.(. . &) &( ) & :(& : ) ) #
' R & &8 + !)
&! & + )& E ) & < )&)B & ) 8 )*+ .8:
! "# ! $%
Scenario 3: Infrastructure provided for interactions
. ( ) . ' < 3 + 38 < 3) < .( & ( ! ( ) & :
(( )) )( )) + & ):' ( + ): &) &( )# .))( & < ) 5 ) 3 ). .
) <.(.< . + + ) ( : . < ( 3 + & # A ) .
( )) . (. !8 ) ) & . ' )# A ( &&8 ) + & )< . &8 ! )&( &) ( (. E ) & &+ &) )#
6 % $:' ( ))
/ & ' + +3 &) ( &)B&) )D
' ( &)B &8 )&+ ' + +3 &)D < &5!& B + )&+ )D ' &)&( & &)B&( &) )D
:% & & &(
. ( ) & . ' )+ . ) . ' & ( )
. & ( )N
) . )8) + )8 )N ) . )8) + . & &N ) . )8) + ( )) N ) . )8) + < !& N
A. + & + )( 3 + . )8) +N
G < ( )3 ) . (. !8 ) ) & . ' )
& * &)) ) . )&)
) ) B . !. .) ) : & * + :. ) ( ) 3
():. ) (( )) < & ))& ) !: (#D
8 ) ' 3 (.+ &5 3 # &+) * &)) ) ) ( )&!& # & ) & ) &)&( & < ) & &&) ) ) 3 (.+ &5#
6 %
&
&+ 5 & 3 (5 . )
( )!& ( ( + !)
. &) ( ) (
)&( & E ) &)
#% & . ( + ) .) )( & < 3 & ( 8 &+ : <
& &+ < &5 &+ & ! . &)&( & & &' ) ) . &?( &!&)))#
' G &) ( ) ( & (. &) . )8) +#
! "# ! %
Scenario 4: Information flows in CoP
.))( & < 3 ) + &. ) ( 8 . &?( )& &): . !& <.(. & & ( ! &( )# .)< & 3 )(
&+ :<.(. . ) 3 ( &) < .&) ) &+ . & ( )<.(. &
( . E 8 . &( ) . &( )E ( )#
6 % $@ ' ( ))
/ & 8) + + )& &
+
:% & & &(
G < + 8 ) . &?( & (. !N A. ) . ! !& .() & & ( )N A. )( &) . & ( )( + &+N
A. & & . & ( ) & ( : <. * N
G < ( . <) &+ 3 (. &( &) &+) . &) ( (
( N
G < (. ! ) . )&( & . &)&( & ( & )(. ! . ) &+ <) . &(. &( &N
& ) ( 8 . ' ) ( ( + !)#
8 )
'
. & ) 3 (.+ &5 & ( 8 ' )#
. & ) E 8 %E 8 &3 +# + +3 & ! E 8 &( ) )3 &
. + 8 & ( &( )# , .!. ( 8 ) ( ))& 8 (
) (( )): ) &) )+ ) 3 8) ( ? ( < . ) )#
A . (5 & ( B $D & & . J &5 &)& & 8 + 5 . + ?& 8 + +3 &) !& ) )( )) ))K # !! ! ) 8 $ 0 ) & ):< . &5 ! & ) & & ):& ! ! &+ )+ (. )00M
< $ML
#% & . ( + ) .) )( & < & 3 3 (5 ( &)
. ) ( 8 . ' ): . 8 ) &( )# ' + &) 3 < . ' )< 3 . 3 ) &( ( &+ (.' 3 (&)) . &?(#
6 %
&
8)) &( &) ' &( )B3 . ( ( D
8)) ! )
! . & ? ! ' )&( & E ) &)
! "# ! %
Scenario 5: User group satisfaction with f2f meetings/workshops
.))( & < 3 . &?( + )))). < ) (( )) . 8 . 3 .
&! ) ( ( ): 8 + ): &+ ) &) + &
& &+ ( # 3)& ' &( !)< & 3 3 (5 & ( &): ( ) 3 ( &) < . &( )#
6 % $ $@' ( ))
/ & , ) )B&) )D
+ B )! )&+ ) 8)) &) )D
' ( &)B + &)D
:% & & &(
. &! & ) & ( 3 ( + ) &. & ( )N
,& . )< &! > NG < ( . 8 3 + & N ,& . ( )) ) ( &8NG < ( . 8 3 + & N A & . &+ )B 8D 3 &) !N
& * &)) ) & ( )
8 ) ' 3 (.+ &5 3 # &+) * &)) ) ) ( )&!& :
( + & (&)) )#
6 %
&
&( & E ) &) ( )!&
+ )&( & & <)B . D 3)& &( !)
#% & . &) ) &+ .) )( & < 3 ) + & . E 8 .
)& ( & . )&!& (.) (( )) + !# . 8 < ) & &( & &?( (. + 3 ( & & . & &#
! "# ! "%
Scenario 6: The usefulness of the CoPs to their participants and organizations
. )3 ). < 38 * & ( ( ++ &( &! ) ) . ( 8 ' )< 8 3
( 38 + 8 &) )). < 3 8 ):3 ) .
&! ) <.(. 8) . ) &8 . & ( # .) ( < 3 ) )))) & ( . &?( ) ( . ) ( &): ) & . &?( < .
( <.(.( 3 ) &( < + +3 &) & . ) ) 3 8 #
6 % @9 ' + +3 &)
/ & = +3 &) (.' B&) )D
' ( &B + )& )&+ )D
+ B )! &) )&+ ): 8)) &) )D
:% & & &(
G . ' ) < ))3 ) &. & ( )N
A. ( + )( 3 &+ & ( N
A. . ) . 3 ( 3 3 < & 3 &( N
& ( + ) &?( ( )B#!# &3 +)) :( ()+ :
( ) 5 ###D
&( & ( )
/
% &
&( & E ) &) ( )!&
+ )&( & & <)
, 8)) ' &( )
3)& ( ( + !)
. &( ) ) )
#% & .))( & < &) < 8 ) ( + )
D &+ &) )< 3 & & . ' ( &) . ! . ' ) < &) ( )<.(.3 ) + . ) . )&!& # 3D & 3 8 ( < 3 ! . & < .<.(. )))) . !& <.(. &?( ( ). &)) . ! ) . &?(#
8 ) ' ' ) 3 8)) ( 8#
' + &) < . . &< 8) (. ! . )+ &) )B ) 8 A 3 ) &(.:( ) & !:( ) (8:.& ! ) : (#D
! "# ! %
Scenario 7: CoP members level of involvement with LD over lifetime of project
. &!+ (! . &?( ) (( & . = ) ( ( #
.)< + ) ) . ' + +3 &) &+) ! +
& ! )! &. & . &?(# A & ) 5 ! & <: < ( +3 .)< . )& ( ) ) )#
6 % @9 ' + +3 &)
/ & ' + +3 &)B&) )D
( &)B + &)D
+ B )! )&+ ): 8)) &) )D
:% & & &(
G + +3 &)+ ) . & 8 . & &) ! & !
)! : ) N
G < . ) . & + < . & &. + . &?(
& +3 & )( & ! )! & ( )& & 38 + +3 &)
&) ! . ) ( (
8 ) ' ' && ) + + : &) ! . ) ( ( #
& ( )( 3 * ( ). < & (& ) ! + : ) + 8 < ? < . + ) 5 <. . &?( ( &: <. . & ( ) . +# &) ))3 *( . && ) ) & (& ) !
+ = & ! )! # 2 ( ) .))+ )( ( ) ) ) & + & ) 3 ). ! ( ) 8#
6 %
&
&( & E ) &) + )&( & & <) ( )!&
#% & 6 &) .))( & < 3 3 . &?( + ! + + )))) !
. !& <.(. . &?( ) ! ) &! & 3?( ): < &
( . . + &) & ! ) ( ( )#
' 4 + .8: ( ( < .) ++ & ) ' ( )
! "# ! 4%
Scenario 8: Level of adoption of LD achieved during the project
.))( & < &)) . )+ ! ) ( & :. ) )8 . (& ) ! = & ! )! :3 < &)) . . :3 & . & . )&8 ) # . )&!&
6 % @+ (
/ & ' + +3 &)B&) )D
( &)B + &)D
+ B(& )&+ ): + &): 8))D &?( ) B) & 8)D
:% & & &(
<. * . ) . &?( (( & . )& ):
&) ):K N
A.(. & . + &3 +)<.(. . ( &&8 ! . ) )5)N G < + 8 )B )! ): & !:K D . 3 (& ) ( < )
(. N
G < + 8 ! )). 3 . : . < ) ) ( &8 < & . &) ) G < + 8 ). 3 (& : . . 8 3 ) < . & &) A. 5 ) ! ! ( & (. ). 3 & 5 N
) . & & ). 3 < ( & &) 8 & ! & ! & (. )NG < !& ) NG ) (& ) & . . &?(N
& +3 & + + )
+3 & ! ))
+3 & ) . & )
! ! ( & (. ) ) !
6 ! ( & &) 8 ) !
8 ) ' . ) & ! )! . ) & . &?(
6 %
&
&( & E ) &) & <)
( )!&
& 8 ) . & +3 & + + )
#% & 6 &) .))( & < 3 3 . &?( + ! + + )))) !
. !& <.(. . &?( ) ! ) &! & 3?( ): < &
( . . + &) & ! ) ( ( )# . & &) < ) 3 3 & ) ! < & )) . &?( ) ( ): ) )
. ' )#
' . & ) & 8 ) & ' ( )
! "# ! %
Scenario 9: Effectiveness of UNFOLD with respect to the adoption of LD
.) )( & < &< ! . &. &) ) . &?(: < &5( &&
.& !. . &?(: & (. ) ++ ( ( ) . ( )) . & (.
<.(. . ) 5 #
6 % $ :+ (
/ & + B )! ( )&+ ): 8))D
&?( ) B) & 8)D
:% & & &(
) . + ) & ! . & ! ) ( ( & )
38 ( N
A.(. ) () ( 8 . 3 + ) ( (. ! . )
! )N
<. < 8)( . & (.3 + & N
& 6 ) ) &?( ) 8) & ) ( )#
8 ) ' ' + &) . ( )) < .&) ( .
! ) , / ' 6= ! ) ) & ) ( ( )# ) 8 ) & 38 '
' 6= ) & 38 , # = )) & & ( 8 38
.) )( + ( 38 + 8 . & & 3 ):) (. ) . E 8 . ) ( ( : ( &! ) 3 && &) : (#
#% & , & & . ( )) . &?(# . ( &.)& & )
8 . ' ++ )) :3 ) ) ( ( ! 3 )) (. ) =
' % #
6 % & & 8)
' ) %3 8))#
, 8)) &) ) .& !. . &?(:B & &
8 . + ) ( ( )D
( )!&
! "# ! %
9. Evaluation timetable and reporting
. + 3 & ) ) + * &+ 38 . &?( )&( &# .)) ) . . ) < ) &) + .4:<. &?( &)&( & &) &( ). 3 & & < &5 < . )&)( ++ ( )# . & & . .& )*+ .& & ! & ): . (. . )
& & < 3 ) 3+ # . & &< ( & ( ( ) ) &+ . # . & &?( ( )< 3 )+ & & .& & ): ) ) 3 . . & < 3
) + & ( )# .) ) )&3 < & 3 &+ 3
(. ! ) . & &+ ( . &?( . E 8 ) ( + )# G < &. & ( 8 < ) (. ! ) . &?( &!&))):< .3 (.+ &5 ! ( ) . ) & . &?( ) 3 ).
. ( && ) : !& & ( ) &+ . + )( . &?(:
+ . )) ) ++ . & & & & < &?( ( ))#
. < ! )( ) & &. &) & < &5:&+ +3 & ( +3 & "#
! "# ! 0% UNFOLD evaluation action plan 1 (September – December 2004)
6 % 0 -0 .4 0 < ,5
,
: $ ; . % ) 1
$# &) )&( & E ) & &' + +3 &)
2 &( 0 $$ $# ( ))&) &( )
&)&( & ' ) "# &+ <)B)&
&+ D
# ) ( < . + !)
4# 9 & ( )
# + < .
#
0# 8 )
A < ). & ! . + +3 &)
< .E ) &):) .)E ) & <
( < & ! E ) )# .
E ) & ) ! & + ( ) + !:
) + . ) + 8 . 3 & #
)&+ & , + )&
2 &( + )& , 8)) & & !
$
# 3)&
2 &( + !
2 &( 0 $# ( )) < & ))& ) !
&) &( )
&)&( & ' ) "# &+ <)B)&
&+ D
# ) ( < . + !)
4# 9 & ( )
# + < .
0# 8 )
, + &< 3 &)
))) ) < 5 8 &( )#
& ( ) & < ! &( & ! <
3 + ))) ): & 3 (5
( &+ . 3)& &)& &# . & & < 3 ) & & 38 & ( ) & &
3 ( # &+ < 3 ! . &
<.(.+ 8 3 ) . )( & ) .
& )( + :3 . ( ) .) ( )
& ( 8 &+ <)#
& & 3)& , 8)) & &
<& ! $
# ( )!&
2 &( + !
2 &( 0 $# ( ))&) &( )
&)&( & ' )
.) ( )!& < ( )) ). & &8
))) <.(. 3 (5 ) 3 &+
+ +3 &) &) . + !#
& & , 8)) & & !
: $
"# )3 8 ) ( <<<# &?(#
0 # &)&( & &' ) .) ( ) 8 8 + ?&
)3 8 ( )<.(. . & + 8 3 : )
( & & 8 & ) & ( #
& & ) ( , 8)) & & !
! "# ! %
,
: $ ; . % ) 1
# 2 (.+ &5) )
2
0 $ # + +3 &) +
# (.
. ) ) )< ) 3 ). . 3 ) )
= : & 3 (.+ &5 & &
)#
& & ) &(. A 3) &(. & & < &5 !
)
= . ( ()
< . * &) , 8)) & &
<& ! $
4# )3 8 & ) <<<#
&?(#
2 &( $ $$ $# ( )) < & ))& ) !
&) &( )
&)&( & ' )
. ) & )< & . 3 (5
. )3 8 . + < 3
&)&( &: & & ) & ( #
# ! 8)) )
)& &)
:
$ B& D $
$# ,< & ))&) &( ) # &)&( & ' ) "# &+ <)
6 ) ) &+ .& &?( )& &)< 3
3 ( ! + + + (. )+) , 8)) $
# + )&( & & <)< . + +3 &)
) .
0 $ $# ( )) < & ))& ) !
&) &( )
&)&( & ' )
# ) ( ( (
4# 9 + +3 &)
# + < .
. &( ( 8 + . ! ( ( . & (
.) (. E . )3 E ) &.
( * : < 3 & <
. &?( + !: . +3 &#
& & (
&) )
,&& ! ! ( &&8 ! & <) , 8)) & &
<& ! $
0# 3)&
2 & + !
2 &
+ !
$ $# ( )) < & ))& ) !
&) &( ) #' &) &( )
&)&( & ' ) "# &+ <)B)&
&+ D
# ) ( < . + !)
4# 9 & ( )
# + < .
0# 8 )
, + &< 3 &)
))) ) < 5 8 &( )#
& ( ) & < ! &( & ! <
3 + ))) ): & 3 (5
( &+ . 3)& &)& &# . & & < 3 ) & & 38 & ( ) & &
3 ( # &+ < 3 ! . &
<.(.+ 8 3 ) . )( & ) .
& )( + :3 . ( ) .) ( )
& ( 8 &+ <)#
& & 3)& , 8)) & &
! "# ! $%
,
: $ ; . % ) 1
$ # ( )!&
2 & + !
2 &
+ !
0 $# ( ))&) &( )
# ' &) &( ) &)&( & ' )
.) ( )!& < ( )) ). & &8
))) <.(. 3 (5 ) 3 &+
+ +3 &) &) . + !#
& & , 8)) & & !
: $
$$# &( &
E ) &
2 & $ $# ( ))&) &( )
# ' &) &( ) &)&( & ' ) "# &+ <)B)&
&+ D
# ) ( < . + !)
4# 9 & ( )
# + < .
#
0# 8 )
)&+ & , + ) &
, 8))
$ $
.) : 6 ) &(.: !:
( ) :<& !
' & 8 8 + ! + ( &
. &( ))
' & !: &! ) !:
+ & ! )))) !
! ! < &5#
! &. *
. ) 6 &<& !
& &)
$ , & & . < &5( && .) . )
< 3 & & &+ .$ : ; &8 "
' &
( + &) )
, 8))
6 &<& ! 6 ) 38 & &)
$
! "# !
UNFOLD evaluation action plan 1 in the context of the whole evaluation
6
. & & ) 3 ) <)@
0 & & 2 )0 ) ' ?-6 %
2 )
'
A 4 $
$
. ) . + ?& 8 . &: .) )& ( . &). < &5#
. & ) $ + .) & &.)< &5 (5 ! :<.(.< 3 )&3 &*+ 8 E 8:3 < . ) & . & # .)! ) &*+ $$ < &5 !
8) (. & # . ( & & .) &) ( )0 8):
! ) + + &! & &&& (. ! )#
6 % 0 &
< ! & < . < &5 .) & : < ( < 3 & ( &. < ! 4 + . & # *+ .) & . ( < 3 & ( #
.) & (. ! < 3 . &?( &) . ! )#
. &+ < &5 ) )( & ) & .) ( + :. < &: & ) &&(. ! )&( & <.(.< ) & . . ( . & ( &( )) )+ : . &+ ) ( ) . & & 8 & ) & #
+ 8: &. )):3 &) . + 8 5 8 + ) .) < ) &
& ): & ( &. )&( & E ) &) ( ( )# )
) &) . . < ( ( ) . + ( . &?( : ) )
! "# !
References
2. :G# # B$00 D# ! T &(8 & + T &?(): &!&+) ( + ! )@
!: )! + + : > &) )#
G +3 &!: ' ) & ( H O- &+ & & + Q#
; ):,#: # = (, &<: # B "D# ' ++ ) &( ( &( ( @ ( ) ) 8 < ( ++ ) )( ( (. &): . & &?(#
(5 :2# ;# & ( B D# &5 & + !& .()@' ! . # 'G I :G ! : . . & )#
& ( :;# B D# . ! ' ++ )@ + .8:G ) 8: &5 !: & ( # ' 6
,' @ . ! . < &5 ( 8@ . & . 3 ( . & '83 &) ( : #
& ( :;# # # # B $D# ( ++ )@ )3 8: ( 3 8: . &8 = . ): & &) G + ' & ' + !: ' ++ ) 9 & & + )# & ! &9 & !@,+) & +: 4 #
& ( :;#:2# (5 : # B "D# . & ) ) & &5 !@+ & ! ( ++ 8 * & ( ) & &8 :' + &) G + 2 . &: #$# ,#
6 + : #:'# '. + : # B D# 5 ! G )6 &: & 3# ,#
! :G#: # A ( : # B D# &! ! ' ++ ) &( ( & & ! ( , ! :2 &< &.G + #
8 2&< :;# # ! B$00$D# &! > & ! ( ++ ) &( ( @ < & < < &5 !: & !: : . ) = ! + ( ( )B < 6= D# ,#
A ! &: # B$00 D# ' ++ ) &( ( @ & !:= !: 8:' +3& ! &) 8 &))#
