~ 155 ~
เทคนิคการใช้ดาต้าไมน์นิงสําหรับการพยากรณ์ผลสัมฤทธิทางการศึกษา
DATA MINING APPROACH
FOR PREDICTING STUDENT PERFORMANCE
พรคิด อันขาว1, พยุง มีสัจ2
1สาขาวิชาระบบสารสนเทศ คณะบริหารธุรกิจ มหาวิทยาลัยเทคโนโลยีราชมงคลพระนคร
2สาขาวิชาเทคโนโลยีสารสนเทศ คณะเทคโนโลยีสารสนเทศ มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ
Email: 1[email protected], 2[email protected] บทคัดย่อ งานวิจัยนีเป็นการศึกษาและวิเคราะห์ระบบฐานข้อมูล บัณฑิตทีEสําเร็จการศึกษาและติดตามผลสัมฤทธิIทางการศึกษา ของผู้สําเร็จการศึกษาในระดับปริญญาตรี มหาวิทยาลัย เทคโนโลยีราชมงคลพระนคร โดยมีวัตถุประสงค์เพืEอทํานาย ผลสัมฤทธิIทางการศึกษาต่อการมีงานทําของนักศึกษา และเป็น แนวทางในการแก้ปัญหาการว่างงานของนักศึกษาในอนาคต ผลการวิจัยพบว่าการเปรียบเทียบเทคนิคการจําแนกการทํานาย ข้อมูลด้วยโมเดล CN2, Naïve Bayes, LIBSVM, J48 และ Multilayer Perceptron พบว่าโมเดล Multilayer Perceptron ให้ ค่าความถูกต้องสูงสุด 96.91% และโมเดล CN2 มีค่าความ ถูกต้องใกล้เคียงกัน และใช้เทคนิค Rule-Base CN2 สําหรับ สร้างกฎจําแนกสถานะการมีงานทํา ได้จํานวน 22 กฎ เพืEอ ทํานายข้อมูลเพืEอให้ผู้บริหารสามารถนําผลลัพธ์ทีEได้ไปใช้ใน การสนับสนุนการตัดสินใจในการสร้างกลยุทธ์สําหรับการ บริหารการจัดการศึกษา คําสําคัญ : เหมืองข้อมูล, การพยากรณ์ข้อมูล, ผลสัมฤทธิI ทางการศึกษา Abstract
This research is to study and analyze the database of graduates who completed their education and pursue educational achievement of graduates at the Rajamangala University of Technology Phra Nakhon. The objective is to predict the academic achievement of the students to have a job and to the solutions to the problems of unemployment for students in the future. The results showed the comparison
techniques, classification, and prediction data with model CN2, Naïve Bayes, LIBSVM, J48 and Multilayer Perceptron found that model Multilayer Perceptron provides the highest accuracy 96.91% and model CN2 with an accuracy similar. We apply the CN2 classification and the results are 22 rules to predict data for support the decision of management education strategy for the executives.
Keyword: Data Mining, Prediction, Educational Achievement
1. บทนํา
การทําเหมืองข้อมูล (Data Mining) เป็นการวิเคราะห์ ข้อมูลเพืEอค้นหาความรู้ และค้นหารูปแบบความสัมพันธ์ของ ข้อมูลทีEซ่อนอยู่ในชุดข้อมูล เพืEออยู่ในรูปฐานความรู้ (Knowledge Base) เพืEอนําไปใช้ประโยชน์ต่อไป เทคนิคการทํา เหมืองข้อมูลมีหลายเทคนิค ได้แก่ การค้นหากฎความสัมพันธ์ (Association Rule), การวิเคราะห์ทางด้านสถิติ (Statistical analysis), การจัดกลุ่ม (Clustering) , การพยากรณ์ (Prediction) และการจําแนกประเภท (Classification) ในปัจจุบันการนํา เทคนิคดาต้าไมน์นิงไปประยุกต์ใช้กับงานด้านต่างๆ ส่วนใหญ่ ได้นําไปใช้ทางธุรกิจเพืEอช่วยในการตัดสินใจเพืEอสร้าง มูลค่าเพิEมทางธุรกิจ อาทิ เช่น งานด้านการตลาดสําหรับกลยุทธ์ ในการส่งเสริมการขาย และการสร้างความสัมพันธ์กับลูกค้า ซึEง องค์กรทีEเป็นสถาบันการศึกษาได้มีการนําเอาเทคนิคดังกล่าวมา ประยุกต์ใช้กับข้อมูลต่างๆ ในสถาบันการศึกษาเกีEยวกับ พยากรณ์หรือทํานายผลสัมฤทธิIทางการเรียนของนักศึกษา ในช่วงทีEผ่านมามีงานวิจัยทีEได้นําเอาเทคนิคทางดาต้าไมน์นิงมา วิเคราะห์ปัญหาด้านการจัดการเรียนการสอน อาทิเช่น
Minaei-~ 156 Minaei-~ Bidgolim, et al. [1] ได้ใช้นําเอาจีเนติกอัลกอริทึมมาจําแนก ประเภทนักศึกษาเพืEอพยากรณ์เกรดของนักศึกษา Kotsiantis et al.[2] ได้ใช้หลักการวิเคราะห์การถดถอยเพืEอพยากรณ์คะแนน สอบนักศึกษา Superby et al [3] ได้พยากรณ์ความสําเร็จด้าน วิชาการของนักศึกษาโดยใช้เทคนิคด้านดาต้าไมน์นิงคือต้นไม้ การตัดสินใจและนิวรอลเน็ตเวริIค Al-Radaideh et al. [4] ได้ นําเอาโมเดลการตัดสินใจแบบต้นไม้สําหรับพยากรณ์เกรดของ นักศึกษาทีEเรียนวิชา C++ ในมหาวิทยาลัย Yarmouk ประเทศ จอร์แดน Romero et al. [5] ทําการเปรียบเทียบความแตกต่าง ระหว่างโมเดลด้านดาต้าไมน์นิงสําหรับทํานายคะแนนสอบจาก การเรียนบทเรียนออนไลน์Baradwai et al.[6] ได้ใช้ดาต้าไมนิEง เพืEอประเมินประสิทธิภาพของนักศึกษา โดยใช้การตัดสินใจ แบบต้นไม้ในการจําแนกโดยมีเป้าหมายการศึกษาคือความรู้จาก ทีEได้จากการสอบปลายภาคเพืEอช่วยให้นักศึกษาในการสอบ และ Kumar et al.[7] ใช้ต้นไม้ตัดสินใจสําหรับพยากรณ์ผลของ การสอบปลายภาคซึEงจะช่วยให้อาจารย์สามารถแนะนํานักเรียน ทีEต้องการความช่วยเหลือสําหรับการสอบ เพืEอปรับปรุง ประสิทธิภาพการทํางานเรียนและสามารถสอบผ่าน ซึEง ภาวะการมีงานทําของผู้สําเร็จการศึกษาเป็นตัวชีวัดคุณภาพทีE สําคัญในการประเมินสถาบันการศึกษา ดังนันงานวิจัยนีได้นําเสนอเทคนิคต่างๆของดาต้าไมน์ นิงสําหรับการจําแนกเพืEอหาโมเดลทีEเหมาะสมกับข้อมูลเพืEอใช้ ในการวิเคราะห์ จึงได้ทําการศึกษาโมเดลด้านการจําแนก สําหรับการวิเคราะห์ข้อมูล ซึEงประกอบด้วย CN2, Naïve Bayes, LIBSVM, J48 และ Multilayer Perceptron เพืEอเปรียบเทียบและ ค้นหาโมเดลทีEเหมาะสมในการพยากรณ์ผลสัมฤทธิIทางการ ศึกษาของผู้สําเร็จการศึกษาในระดับปริญญาตรี ปีการศึกษา 2556 ของมหาวิทยาลัยเทคโนโลยีราชมงคลพระนคร 2. แนวคิดทฤษฎีหรืองานวิจัยทีLเกีLยวข้อง 2.1 การจําแนกประเภทข้อมูล (Data Classification) เป็นกระบวนการสร้างโมเดล สําหรับการจัดกลุ่มหรือ ประเภทของข้อมูลโดยวิเคราะห์จากข้อมูลระบบเพืEอเรียนรู้ (Training Data) โดยแต่ละแถว (Record) ประกอบด้วยแอทริ บิวท์ (Attribute) ทีEมีลักษณะเป็นข้อมูลเชิงตัวเลขค่าต่อเนืEอง (Continuous) หรือข้อมูลเชิงคุณลักษณะ (Categorical) และมี คลาสแอทริบิวท์ (Class Attribute) เป็นตัวจําแนกประเภทของ
ข้อมูล และนําข้อมูลส่วนทีEเหลือจากข้อมูลเพืEอการเรียนรู้เป็น ข้อมูลทีEใช้ทดสอบ (Testing Data) ซึEงจะถูกนํามาทดสอบความ ถูกต้องของโมเดล 2.2 ต้นไม้การตัดสินใจ (Decision Tree) เป็นการตัดสินใจเป็นแบบจําลองทีEมีลักษณะคล้ายกับ ต้นไม้ โดยจะสร้างกฎต่างๆ เพืEอใช้ในการจัดสินใจ เป็นการ เรียนรู้โดยการจําแนกลักษณะของการเรียนรู้แบบต้นไม้ ตัดสินใจ โดยจะกําหนดเส้นทางจากโหนดราก (Root Node) ถึง โหนดใบ (Leaf Node) ซึEงสามารถแสดงให้อยู่ในรูปของกฎ IF-THEN ได้ ตัวอย่างการตัดสินใจแบบต้นไม้แสดงดังภาพทีE 1 แสดงการตัดสินใจว่าจะออกไปเล่นกอล์ฟหรือไม่โดยพิจารณา จากสภาพอากาศต่างๆ ประกอบการตัดสินใจ โดยผลลัพธ์การ ทํานายตามเส้นทางของต้นไม้จะตัดสินใจว่าจะออกไปเล่น กอล์ฟ (Play) หรือไม่ออกไปเล่นกอล์ฟ (Don’t Play) [8] 2.3 การพยากรณ์ข้อมูล (Data Prediction) เป็นการทํานายค่าใน อนาคตจากข้อมูลทีEมีอยู่โดยอาศัยข้อมูลทีEเป็นค่าตัวเลข เช่น พยากรณ์ยอดขายในอนาคตจากยอดขายทีEผ่านมาในอดีต หรือ พยากรณ์จํานวนการสัEงซือสินค้าพิจารณาจากยอดสัEงซือก่อน หน้า เป็นต้น ภาพทีL 1: โมเดลการตัดสินใจแบบต้นไม้ [9] 2.4 การวัดค่าความถูกต้องของการจําแนกประเภทข้อมูล (Classifier Accuracy Measures)
การวัดความถูกต้องจากโมเดลทีEจําแนกประเภทข้อมูล สามารถทํานายคลาสของข้อมูลชุดทดสอบได้อย่างถูกต้อง สามารถวัดความถูกต้องจากคอนฟิวชันเมตริกซ์ (Confusion Matrix) โดยกําหนดให้มี m คลาส ดังนันขนาดของเมตริกซ์มี ขนาด m x m แสดงดังภาพทีE 2 [10]
~ 157 ~ Predicted class Ac tua l Class C1 C2 C1 TP FN C2 FP TN ภาพทีL 2 : การวัดค่าความถูกต้อง ค่าต่างๆ ภายใน Confusion Matrix มีความหมายดังนี [10]
1) True Positive (TP) คือจํานวนข้อมูลทีEโมเดลจําแนก กลุ่มเป็น C1 และคําตอบเป็น C1
2) True Negative (TN) คือจํานวนข้อมูลทีEโมเดล จําแนกกลุ่มเป็น C2 และคําตอบเป็น C2
3) False Positive (FP) คือจํานวนข้อมูลทีEโมเดลจําแนก กลุ่มเป็น C1 แต่คําตอบเป็น C2
4) False Negative (FN) คือจํานวนข้อมูลทีEโมเดล จําแนกกลุ่มเป็น C2 แต่คําตอบเป็น C1
โดยสามารถคํานวณค่า Accuracy, Precision, Recall และ F-Measure จากสูตรสมการดังนี [10] 1) Accuracy = (TP+TN) / (TP+TN+FP+FN) (1) 2) Precision = TP / (TP+FP) (2) 3) Recall = TP / (TP+FN) (3) 4) F-Measure = 2x (4) 3. โมเดลการพยากรณ์ข้อมูลผลสัมฤทธิทางการศึกษาของ นักศึกษา 3.1 การเตรียมข้อมูล (Data Preparations) ชุดข้อมูลทีEใช้ในงานวิจัยนีได้จากข้อมูลภาวะการมีงาน ทําของผู้สําเร็จการศึกษาของมหาวิทยาลัยเทคโนโลยีราชมงคล พระนคร มาใช้รวมทังสิน 2,716 ระเบียน ทีEทําการติดตามหลัง สําเร็จการศึกษาในระดับปริญญาตรี ปีการศึกษา 2556 การ เตรียมข้อมูลเพืEอนําไปสร้างโมเดลคัดเลือกเฉพาะข้อมูลทีEมี ความสัมพันธ์กัน จํานวน 9 แอทริบิวท์ มีลักษณะข้อมูล ดังนี ตารางทีL 1 : คุณลักษณะของข้อมูลทีEใช้ในการจําแนก ลําดับ ชืLอแอทริบิวท์ ความหมาย รายละเอียด
1 Gender เพศ {Male, Female} 2 Int สามารถใช้
อินเตอร์เน็ต {Yes, No} 3 Isport เล่นกีฬา {Yes, No} 4 Scholarshop ได้รับทุน {Yes, No} 5 GPA เกรดเฉลีEย สะสม {High > 3.32, Medium 2.60 – 3.32, Low 2.00 – 2.66} 6 Professional ความสามารถ พิเศษ {language, computer, music, non} 7 Facuty คณะฯทีE สําเร็จ
{ARCH, IE, MCT, SCI, ENG, MET, ITF, BUS, LA} 8 Satisfied ความพึงพอใจ
ต่อคณะทีEจบ
{Highest 5, High 4, Medium 3, low 2, lowest 1} 9 Work สถานะการมี งานทํา {Worked มีงานทําแล้ว, nonworked ยังไม่มีงานทํา Wait ไม่พร้อมทํางาน} 3.2 การสร้างโมเดล (Modeling) ในโมเดลการจําแนกประเภทข้อมูล แต่ละกิEงแทน ลักษณะต่างๆ ของผู้สําเร็จการศึกษา โดยศึกษาเปรียบเทียบ 5 โมเดลด้าน Classification ได้แก่ CN2, Naïve Bayes, LIBSVM, J48 และ Multilayer Perceptron แสดงดังภาพทีE 3
ภาพทีL 3 : ขันตอนการจําแนกผลสัมฤทธิIทางการศึกษาของ นักศึกษา
~ 158 ~
งานวิจัยนีได้ใช้โปรแกรม Weka สําหรับเปรียบเทียบ โมเดลการจําแนกทีEเหมาะสมกับปัญหา ซึEงผลการทดสอบข้อมูล จํานวน 2,716 ระเบียน พบว่าโมเดล Multilayer Perceptron มี เปอร์เซ็นต์ความถูกต้องทีEสูงสุด คือ 96.91% ค่าความแม่นยํา (Precision) และ ค่า ROC สูงสุด ดังนันโมเดล Multilayer Perceptron มีประสิทธิภาพดีกว่าโมเดลอืEนดังแสดงในตารางทีE 2 ตารางทีL 2 : เปรียบเทียบระหว่างโมเดล Classifier Classifier CN2 Naïve Bayes LIBSV M J.48 Multilayer Perceptron Correct 96.42% 94.29% 95.54% 95.99% 96.91% Incorrect 3.58% 5.71% 4.46% 4.01% 3.09% Precision 0.956 0.942 0.954 0.96 0.969 Recall 0.880 0.943 0.955 0.96 0.969 F-Measure 0.916 0.943 0.954 0.958 0.969 ROC 0.964 0.983 0.93 0.951 0.995 จากผลลัพธ์ตารางทีE • เลือกเทคนิคการจําแนกข้อมูล โมเดล Multilayer Perceptron นํามาปรับเปลีEยนค่าพารามิเตอร์ นําหนัก โดยกําหนดค่า Momentum เท่ากับ 0.2 ให้ผลค่าความ ถูกต้องสูงสุดดังแสดงในตารางทีE Ž กําหนดให้ค่า Momentum มีค่าเท่ากับ •.• และค่า Learning rate เท่ากับ 0.3
ตารางทีL 3 : โมเดล Multilayer Perceptron Multilayer
Perceptron Learning rate = 0.3
Momentum 0.2 0.4 0.8 1.0 Correct 96.91% 96.61% 96.69% 77.06% Incorrect 3.09% 3.39% 3.31% 22.94% Precision 0.969 9.966 0.967 0.595 Recall 0.969 0.966 0.967 0.771 F-Measure 0.969 0.966 0.967 0.671 ROC 0.995 0.991 0.988 0.508
จากผลลัพธ์ตารางทีE Ž นํามาหาค่า Learning rate ซึEง พบว่าค่า Learning rate เท่ากับ 0.3 เป็นค่าทีEให้ความถูกต้องสูง ทีEสุด ดังแสดงในตารางทีE • ซึEงเป็นการปรับเปลีEยน ค่าพารามิเตอร์นําหนัก โดยปรับทีละน้อยจะให้ผลลัพธ์ทีEดี ตารางทีL 4 : โมเดล Multilayer Perceptron Multilayer Perceptron Momentum = 0.2 Learning rate 0.3 0.4 0.5 0.8 Correct 96.91% 96.43% 96.69% 96.69% Incorrect 3.09% 3.57% 3.31% 3.31% Precision 0.969 0.964 0.967 0.967 Recall 0.969 0.964 0.967 0.967 F-Measure 0.969 0.964 0.967 0.967 ROC 0.995 0.993 0.994 0.994 ผลจากการทดสอบในโมเดลสามารถสรุปผลลัพธ์ได้ ดังนี เทคนิคการจําแนกข้อมูลแบบ Multilayer Perceptron ให้ ค่าความถูกต้องสูงสุด 96.91% ทีEค่า Momentum มีค่าเท่ากับ 0.2 และค่า Learning rate เท่ากับ 0.3 การศึกษาสร้างกฎเพืEอทํานายผลสัมฤทธิIทางการศึกษา โดยเลือกใช้เทคนิคการจําแนกข้อมูล Rule base ด้วยโปรแกรม Orange Canvas แบบ CN2 (WRAcc) แบบ 10 fold ซึEงให้ค่า ความถูกต้องใกล้เคียงกับ Multilayer Perceptron ดังนันจึงแสดง กฏในการทํานายผลสัมฤทธิIทางการศึกษาด้วยโมเดล CN2 ได้ ผลลัพธ์จํานวน 22 กฎ แสดงดังภาพทีE 4 5. สรุปผลการวิจัยและข้อเสนอแนะ ผู้วิจัยได้นําเสนอเทคนิคดาต้าไมน์นิงมาประยุกต์ใช้เพืEอ ช่วยพิจารณาหารูปแบบกฎความสัมพันธ์ โดยได้ศึกษา เปรียบเทียบ 5 โมเดล ได้แก่ CN2, Naïve Bayes, LIBSVM, J48 และ Multilayer Perceptron ซึEงพบว่าโมเดล Multilayer Perceptron ให้ค่าความถูกต้องสูงสุดคือ 96.91% โดยกําหนดค่า Momentum เท่ากับ 0.2 และค่า Learning rate เท่ากับ 0.Ž และ สร้างการจําแนกข้อมูลด้วยเทคนิค Rule-Base CN2 แบบ 10 fold ได้ผลลัพธ์จํานวน 22 กฎ ซึEงประกอบด้วย 1) กลุ่มทีEยังไม่มีงาน ทํามีค่าความถูกต้องของกฎมากทีEสุดคือ นักศึกษาไม่มีทักษะ ด้านอินเตอร์เน็ตและอยู่คณะเทคโนโลยีคหกรรม และได้รับทุน 2) กลุ่มทีEไม่พร้อมทํางาน มีค่าความถูกต้องของกฎมากทีEสุดคือ คือ นักศึกษาทีEมีความถนัดด้านดนตรีหรือศิลปะ และเล่นกีฬา 3) กลุ่มทีEทํางานแล้วมีค่าความถูกต้องของกฎมากทีEสุดคือ คือ นักศึกษาสังกัดคณะอุตสาหกรรมสิEงทอฯ และไม่มีทักษะด้าน อินเตอร์เน็ต และเพศหญิง
~ 159 ~
work=nonworked
IF proficiency=none THEN work=nonworked 0.608 IF isport=no AND gpa=medium THEN work=nonworked 0.219 IF gpa=low AND faculty=bus AND isport=no AND int=yes THEN
work=nonworked 0.296
IF int=no AND faculty=eng AND gpa=high THEN
work=nonworked 0.499
IF int=no AND faculty=ie AND scholarship=yes THEN
work=nonworked 0.999
IF proficiency=music AND isport=yes THEN work=wait 0.300
IF int=no AND gpa=high AND satisfy=low AND
proficiency=computer THEN work=wait 0.259 IF gpa=medium AND proficiency=music AND int=no THEN
work=wait 0.207
IF faculty=met AND proficiency=computer AND scholarship=not
THEN work=wait 0.116
IF proficiency=computer AND gpa=medium AND scholarship=not
THEN work=wait 0.100
IF proficiency=computer AND satisfy=medium AND gpa=high
AND gender=female THEN work=wait 0.125
IF satisfy=low AND gpa=high AND faculty=arch AND
gender=female THEN work=wait 0.188
IF int=no AND gpa=high AND faculty=sci THEN work=wait 0.199 IF int=no AND faculty=itf AND gender=male THEN work=wait 0.249 IF scholarship=sometime AND satisfy=low AND gender=male
THEN work=wait 0.110
IF int=yes AND proficiency=computer THEN work=worked 0.116 IF proficiency=language AND int=yes THEN work=worked 0.405 IF satisfy=highest THEN work=worked 0.508
IF faculty=itf AND int=no AND gender=female THEN work=worked
0.552
IF scholarship=sometime AND proficiency=language THEN
work=worked 0.245
IF scholarship=yes AND gpa=low THEN work=worked 0.328
ภาพทีL 4 : กฎทีEได้จากการทํานายด้วยโมเดล CN2
เอกสารอ้างอิง
[1] Minaei-Bidgoli, B., Punch, W.F. (2003), “Using Genetic Algorithms for Data Mining Optimization in an
Educational Web-based System”, GECCO 2003 Genetic
and Evolutionary Computation Conference, Chicago, 2003, pp. 2252-2263.
[2] Kotsiantis, S.B. & Pintelas, P.E., “Predicting Students Marks in Hellenic Open University”, ICALT 2005. Fifth IEEEInternational Conference on Advanced Learning Technologies, Kaohsiung, 2005, pp. 664 – 668. [3] Superby J.F., Vandamme J.P. & Meskens N.,
“Determination of Factors Influencing the Achievement of the Firstyear University Students using Data Mining Methods”, Proceedings of the 8th international conference
on intelligent tutoring systems, Educational Data Mining Workshop, (ITS`06), Jhongali, 2006, pp. 37-44. [4] Al-Radaideh, Q., Al-Shawakfa, E. & Al-Najjar, M., “Mining Student Data Using Decision Trees”, International Arab Conference on Information Technology
(ACIT'2006), 2006, Yarmouk University. [5] Romero C., Ventura S., Espejo, P.G. &
Hervás C., “Data mining algorithmsto classify students”, International Conference on Educational Data Mining (EDM). Montreal, 2008, pp. 8-17.
[6] Kumar S.A. & Vigayalakshmi M.N., “Efficiency of Decision Trees in Predicting Student’s Academic Performance”, Computer Science, Engineering and Application, Dubai, 2011, pp.335-343.
[7] Baradwaj, B. and Pal, S. ‘Mining Educational Data to Analyze Student s’ Performance’, International Journal of Advanced Computer Science and Applications, 2011, vol. 2, pp.63-69.
[8] Boonserm Kijsirikul และ Kongsak
Chongkasemwongse, “Decision Tree Pruning Using Backpropagation Neural Networks”, INNS-IEEE International Joint Conference on Neural Networks
(IJCNN), Washington, DC, 2001, pp. 14-19.
[9] Tom M. Mitchell, “Machine Learning” 1997. [10] ชินพัฒน์ แก้วชินพร. Online 2013. Available: