Performance Assessments in Computer Science. An example of student perceptions

Performance Assessments in 

Computer Science

–

An example of student perceptions

2014‐03‐20, Falun, Sweden

Erik Bergström Helen Pehrsson ‘ University of Skövde

Background (1)

•

_{Computer science studies are transforming}

–

Specialization of study programs

•

Demand mainly from industry and students

–

Certifications included in many study programs

•

IT certifications dominated by Microsoft and Cisco 

(McGill & Dixon, 2007)

•

Job advertisements ask for certifications, not 

necessarily degrees (Morris et al., 2012)

Background (2)

•

Benefits of certification

–

Greater knowledge and increased productivity, a certain level of 

expertise and skill, improved support quality, reduced training costs 

and higher morale and commitment as benefits of employing students 

that have undertaken certification (Ray & McCoy, 2000)

–

From an educational perspective, the certification examination 

provides an additional tool for evaluating course and program content 

(Ray & McCoy, 2000)

–

Attracting students (Brookshire, 2000)

–

…

•

Drawbacks of certification

–

Absence of unbiased neutral groups for determining course contents, 

creating exams and authorizing examiners (Ray & McCoy, 2000)

–

Lack of educational rigor, to focused material, training‐oriented rather 

than education oriented, and that it is too market and popularity 

driven. (Jovanovic et al., 2006)

Background (3)

•

Courses in computer science normally contain two parts

–

Theory part  Written exam

–

Practical part  Written lab report

•

Lab reports are prone to plagiarism

•

Exams are hard to vary

•

Despite the use of practical assignments computer science 

educators expresses concern for their students’ lack of 

practical skills (McCracken et al., 2001, Lister et al., 2004).

•

Why examine programming/system administration/…  with 

a written lab report?

•

Performance assessments can be best of both worlds

Background (4)

•

Performance assessments provide an alternative 

way of examine practical skills

•

Performance assessments “can measure students’ 

cognitive thinking and reasoning skills and their 

ability to apply knowledge to solve realistic, 

meaningful problems” (Lane, 2010)

•

They “emulate the context or conditions in which 

the intended knowledge or skills are actually 

applied” (American Educational Research 

Association, 1999)

Goal

•

_{How do the students perceive performance} 

assessments ?

–

Literature describe it as a more stressful situation 

than a test with pen‐and‐paper (Wästlund et al. 

2005

–

Asked for by companies, but do the students 

perceive it as a positive aspect?

–

Can we have a clear progression in the 

performance assessments?

Research Questions

•

_{Do the students perceive the performance} 

assessment as more stressful than 

examination with a written lab report?

•

_{Do the students perceive the performance} 

assessment as a positive aspect to highlight 

when applying for jobs?

•

_{How do the students experience the} 

progression of performance assessment 

between courses?

Method and Context

•

_{A soft case study as described by Walsham}

(1993)

–

Interpretative (understanding) as described by 

Braa and Vidgen (1999).

•

Case study context

–

Network and Systems Administration study

program at University of Skövde

Data Collection

•

Document studies (three courses)

–

Course plans

–

Examination criteria

–

Lab documentation

•

_{Questionnaires}

–

First year students in the NSA study program

–

First year students in the web development and computer 

science study programs

–

Second and third year students of the NSA program

•

Group discussions

–

Students

–

Educators

Case Study Context – Lab Setup

•

One student = two 

computers, three screens, 

several virtual machines

•

Own subnet

•

VPN possibilities

•

Teachers can push 

images, create 

faults in setups

Performance Assessment

•

_{Lab presentation prerequisite}

•

_{~2.5‐4 hours}

•

_{Their own disks and lab systems}

•

Open book examination (system 

documentation, manuals, Internet,…)

•

_{No conversations in individual assessments}

Performance Assessments ‐

Progression

•

Course: Computer Fundamentals

–

2 individual performance assessments plus no additional 

documentation

• Level 1: Repeat steps performed in the lab • Tasks such as: add user, set correct file system permissions, schedule backup • Time limit: 2.5 hours

•

Course: Windows‐administration I

–

1 individual performance assessment plus system documentation

• Level 2: Create new things on a prepared system • Tasks such as: Install feature, perform backup, restore backup, centrally  distribute client settings, shared folders and file system permissions  • Time limit: 2.5 hours

•

Course: Windows‐administration II

–

1 group performance test plus system documentation, system design 

report

• Level 3: Prepare a system to work in an environment created by the educators

Results (1)

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Yes No Don't know a b a) Does performance assessments measure your practical skills?

Results (2)

0% 10% 20% 30% 40% 50% 60% 70% Yes No Don't know Do you perceive performance assessments as more stressful than submission 

Results (3)

0% 10% 20% 30% 40% 50% 60% 70% 80% Yes No Don't know (1) (2) (3) Do you perceive performance assessments as more stressful than submission of a  written lab report? (Group 1=NSA year 1, Group 2= Web and CS year 1 and Group 3= 

Results (4)

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Yes No Don't know Do you think that the performance assessments in the NSA program is a 

Results (5)

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% Yes No Don't know Do you feel that there has been a progression in the performance  assessments in the program?

Results (6)

•

Group discussion and free‐text answers from students

–

Performance assessment in the first course served as a soft start of the 

studies

–

Proves in a better way the student have learned the course goals than 

repetitive “how‐to” reports based on manuals and Google

–

The only real good argument [educators] have for examining lab 

reports is that it gives training for the FYP

–

Many companies wish for practical knowledge when applying for 

jobs… add even more performance assessments.

–

I think all courses with a practical part should have performance 

assessment

–

Progression is important and there are clear repetitions between the 

courses, but it would be good with even clearer “steps”

–

Better preparations from the educators so there are no problems with 

e.g. faulty NICs

Results (7)

•

Group discussions with educators

–

Results from performance assessments show that 

skilled students are normally theoretically skilled as 

well

–

Measures practical skills

•

Catch students not skilled enough

•

Better than a written lab report

–

Less risk of plagiarism

–

Harder to fail students face‐to‐face

–

Need more synchronization to get a progression of lab 

reports in other courses (to prepare for FYP)

Conclusion

•

Surprising low differences between student 

groups

•

Perceived as less stressful than expected

•

Give the students more performance 

assessments, but not only performance 

assessments!

–

Takes some time to prepare, set up labs, more 

hardware dependent, need skilled teachers (new 

problems might arise during assessment), does not 

save time

Next step for us

•

_{To investigate the uncritical approach among} 

teachers and students of how certifications 

are used and applied within higher education.

–

Literature is uncritical to certification

–

Students accept “anything” as long as it leads to 

certification 

References

• Braa, K., & Vidgen, R. (1999). Interpretation, intervention, and reduction in the  organizational laboratory: a framework for in‐context information system research.  Accounting, Management and Information Technologies, 9(1), 25‐47. • Brookshire, R. G. (2000). Information technology certification: Is this your mission?  Information Technology, Learning, and Performance Journal, 18(2), 1‐2.  • Lister, R., Adams, E. S., Fitzgerald, S., Fone, W., Hamer, J., Lindholm, M., McCartney,  R., Moström, J. E., Sanders, K., Seppälä, O., Simon, B. & Thomas, L. 2004. A multi‐ national study of reading and tracing skills in novice programmers. SIGCSE Bull., 36, 119‐150. • McGill, T., & Dixon, M. (2007). Information Technology Certification: A Student  Perspective Integrating Information & Communications Technologies Into the  Classroom (pp. 203‐215): IGI Global. • Morris, G., Fustos, J., & Haga, W. (2012). Preparing for a Career as a Network  Engineer. Information Systems Education Journal, 10(1), 13‐20.  • Ray, C. M., & McCoy, R. (2000). Why Certification in Information Systems?  Information Technology, Learning, and Performance Journal, 18(1), 1‐4.  • Walsham, G. (1993). Interpreting Information Systems in Organizations: John Wiley  & Sons, Inc. • Wästlund, E., Reinikka, H., Norlander, T. & Archer, T. 2005. Effects of VDT and paper