THE MODEL OF COMPUTER KNOWLEDGE CONTROL

(1)

УДК 004.81:159.953

И. В. КУЦЕВИЧ, Н. В. БЕЛОУС (Харьковский национальный университет радиоэлектроники)

МОДЕЛЬ КОМПЬЮТЕРНОГО КОНТРОЛЯ ЗНАНИЙ

Устаттіописуєтьсямоделькомп'ютерногоконтролюзнань, розглядаютьсяосновністадіїпроцесуконт -ролюзнаньіпоказуєтьсяроботапредставленоїмоделівпроцесіконтролюзнань. Устаттінаведенаконцеп -ціянавчаннятаконтролюзнань об’єктунавчанняпри використаннірізноманітних формтестових завдань, запропонованамодифікованасистеманавчанняйоцінюваннязнаньдлякожноїзформтестовихзавданьта відображеніперевагивикористаннязапропонованихметодів. Устаттінаводитьсякомп'ютернасистемакон -тролюзнаньзвикористаннямописаноїмоделі.

Встатьеописываетсямоделькомпьютерного контролязнаний, рассматриваютсяосновныестадиипро -цессаконтролязнанийипоказываетсяработапредставленноймоделивпроцессеконтролязнаний. Встатье приведенаконцепцияобученияиконтролязнанийиспытуемогоприиспользованииразличныхформтесто -выхзаданий. Предлагаетсямодифицированнаясистемаобученияиоцениваниязнанийдлякаждойизформ тестовых заданий. Показаны преимущества использования предложенных методов. В статье приводится компьютернаясистемаконтролязнанийсиспользованиемописанноймодели.

In work the description of the computer model of the knowledge control is shown. The basic stages of the knowledge control process are considered and work of the given model is shown during the knowledge control. In this article the concept of training and knowledge control testee over use of various test items forms and a technique of optimal test length from an investigated material volume are described. The modified marking and trained knowl-edge system for each test items form is offered. Advantages of the application of these methods are shown. The computer system of the knowledge control with using the described model is offered.

Введение

Внастоящее время впроцесс обучения ши

-роковнедряютсяинформационныетехнологии,

в частности, такие как автоматизированные обучающие системы (АОС). Под АОС будем понимать организованный на базе ЭВМ ком

-плекс программного и учебно-методического обеспечения, предназначенный для поддержки процессаобученияипредоставляющийпользо

-вателю-непрограммисту возможность настрой

-ки на произвольную предметную область и произвольнуюметодикупреподавания.

Однойиззадач, возникающихприсоздании АОС, является контроль знаний обучаемого.

Он обеспечивает обратную связь с обучаемым и предназначен в первую очередь для опреде

-ления уровня его знаний с целью организации адаптивногоуправленияобучением.

В настоящее время существует большое количество систем контроля знаний (СКЗ),

как выполненных в виде отдельных про

-граммных продуктов (например, ITEMAN, RASCAL, RSP, The Examiner testing system, FastTEST professional, C-Quest, CONTEST,

ГРАММАТЕЙ-КЛАСС, ПОЛСТАР, «Контроль знаний», «Экзаменатор», «Аттестация»), так и встроенныхвобучающиесистемы.

Для разработки качественного теста и для проверки уровня знаний по предмету рекомен

-дуется использовать тестовые задания различ

-ных форм [3,4,5]. Разнообразие форм тестовых

заданий позволяет минимизировать вероят

-ность угадывание ответов и охватить различ

-ныевидызнанийиуменийобучаемого.

Существуют следующие формы тестовых заданий:

1) тестовые задания закрытой формы – за

-дания с предложенными вариантамиответов, из которых выбирают один (или несколько) пра

-вильный. Закрытые задания делятся на много

-альтернативные и одноальтернативные. Эта форма тестовых заданий является распростра

-ненной, таккактребует меньшевременикакдля выполнения, такидляих разработкипосравне

-ниюстестовымизаданиямидругихформ.

Одноальтернативные тестовые задания пред

-ставляют собой задания, содержащие 3–5 вари

-антов ответа, один из которых правильный.

Многоальтернативные задания представляют собой задания, содержащие 5–8 вариантовотве

-та, дваиболееизкоторыхправильные. тестовые задания закрытой формы часто считают наибо

-лее легкими, нонасамом делепри необходимо

-сти их всегда можно усложнить, используя, так называемые, «ловушки», или увеличить количе

-ствоправильныхответов взаданиях. «Ловушка» – этовариантответа, оченьпохожийнаправиль

-ныйпокакому-либоотдельномупризнаку, кото

-рый предлагается вместе с действительно пра

-вильным ответом, внешне воспринимаемым ме

-нее привлекательно с точки зрения поверхност

(2)

2) тестовые заданияоткрытой формы – за

-даниясосвободно конструируемымиответами.

Задания открытого типа предусматривают вве

-дение ответов обучаемым. Эти тестовые зада

-ния не предусматривают вариантов ответа.

Обучаемый выполняет открытые задания по собственному представлению, так как по со

-держанию они представляют собой утвержде

-ние с неизвестной переменной. Тестовые зада

-ния закрытой формы являются самыми труд

-ными, так как они требуют самостоятельного воспроизведения ответа без какой-либо под

-сказкив видевариантов длявыбора. Однако, с их помощью можно проверить лишь знание команд, терминологии, фактов. Умение само

-стоятельно применять усвоенное в новых си

-туациях, глубину понимания материала оце

-нить при помощи этой формы тестовых зада

-нийневозможно.

Однимизвидовоткрытыхтестовыхзаданий являются многошаговые. Многошаговое тесто

-вое задание состоит из вопросов, решаемых последовательно, когдапереходк следующему шагу задания осуществляется только после правильного ответа на предыдущий шаг. Это дает возможность обучаемому анализировать не только задание в целом, но иразбираться в каждой составляющей задания. Благодаря это

-муобучаемыйсразуможет увидеть, где им до

-пущена ошибка и в дальнейших шагах полу

-чить правильные исходные данные, то есть ошибкивзаданияхнебудутнакапливаться;

3) тестовое задание на установление со

-ответствия между элементами задания. Зада

-ния данной формы представляют собой два

(или более) множества понятий, названий команд, характеристик, графических изобра

-жений, цифровых или буквенных обозначе

-ний, которые заданы в форме двух (или бо

-лее) столбцов. Тестируемый должен устано

-вить содержательное соответствие между их элементами и выразить его в ответе с помо

-щью установления соответствия между ко

-дамиэлементовизразныхстолбцов.

4) тестовые задания на установление пра

-вильной последовательности выполняемых действий. Задания наустановление правильной последовательностииспользуют, какправило, в виде модели действий. В этих заданияхот тес

-тируемого требуется определить правильную последовательность каких-либо команд, дейст

-вий, событий, этапов, которые предлагаются в задании. Этитестовые задания обладают боль

-шим обучающим потенциалом, чем закрытые тестовыезадания.

Анализ существующих СКЗ выявил ряд не

-достатков. Основным недостатком является ограниченное количествотиповзаданий. Нево всех системах реализованы даже основные формытестовыхзаданий.

1. Моделькомпьютерногоконтроля

знаний

Предлагается модель компьютерного кон

-троля знаний, учитывающая выявленные не

-достаткиСКЗ (рис. 1).

Рис. 1. Моделькомпьютерногоконтролязнаний Блок «Система контроля» выполняет сле

-дующиефункции:

− анализдеятельностистудента (проверка правильности его ответов ивыполняемых дей

-ствий);

− управление процессом контроля знаний наосновевыбранногометода;

− определение результатов контроля, ко

-торое обычно сводится к выставлению оценки студенту.

База знаний (БЗ) содержит методы и/или модели процесса контроля, а также совокуп

-ностьзнанийпредметнойобласти. Базаданных

(БД) включает наборы вопросов и задач, пред

-назначенных для проверки знаний студента и/илиданныедля формирования заданий. Кон

-трольные задания могут также генерироваться автоматическинаосновеБЗ.

Модель студента включает разнообразную информацию о студенте: предыстория обуче

-ния; результаты текущей работы (тип выпол

-ненных заданий, время выполнения заданий,

число обращений за помощью и т.д.); общий уровеньподготовленностиидругие.

Формировщиквопросовизадачиспользует

-ся для формирования и выдачи студенту оче

-редного задания (вопроса или задачи). Кон

-трользнанийосуществляетсяследующимобра

(3)

и результат его работы помещается в модель студента. Блок «Система контроля» на основе анализа ответа студента, целей контроля Z и используемого метода проведения контроля,

учитывая внешние ресурсы R1 (например, воз

-можности системы контроля) и внутренние ре

-сурсыстудента R2 (например, время контроля),

а также состояние среды Dx, определяет пара

-метры задания, которое должно быть предло

-жено студенту. Формировщик вопросов и за

-дач, получив от «Системы контроля» данные о параметрах следующего задания, выбирает из БДи/илиБЗнеобходимуюинформациюI, фор

-мирует текстзадания ивыдает его студенту. В простейшем случае работаэтого блокасводит

-сяквыборунужноговопросаилизадачиизба

-зы данных. В модели предусмотрена обратная связьК, котораясостоитввыдачекомментария наответстудента.

2. Системаконтролязаданий

Процесс контроля знаний состоит из трех этапов:

− формирование вопросов для контроля знанийна основе контрольныхзаданий, храня

-щихсявБД;

− выдача вопросов студенту и получение егоответа, возможно, собратнойсвязью;

− выставлениеоценкизаконтроль.

Первые два этапа относятся к организации процесса компьютерного контроля и обычно объединяются.

Для разработки качественного теста и для проверки уровня знаний по предмету рекомен

-дуется использовать тестовые задания различ

-ных форм [1-3]. Для того, чтобы объективно

оценить знания по тестовым заданиям разных формпредлагаетсяиспользоватьдлякаждойиз нихсвоюметодикурасчетаоценки. Дляоцени

-вания одноальтернативного тестового задания достаточно применение известной и широко используемой дихотомической шкалы оцени

-вания, где 1 соответствуетправильному ответу, 0 – неправильному. При оцениваниимногоаль

-тернативных заданий этой шкалы недостаточ

-но, т.к. обучаемый можетдать неполныйответ,

либо один из выбранных вариантов ответа бу

-дет неточен. Такие ответы нельзя оценивать также, как и вопросы, в которых был выбран полностьюнеправильныйответ.

2.1. Оценивание ответов на многоальтер

-нативное тестовое задание. Для корректиров

-ки оценки многоальтернативного тестового за

-даниярассмотриммодифицированнуюсистему оценивания. В случае многоальтернативного

тестового задания необходимо учитывать не толькоправильностьответаназаданиевцелом,

но и процент выбора правильных вариантов ответа. Введемформулу, связывающуюмноже

-ство всех правильных вариантов ответа на за

-дание, количество правильных ответов, вы

-бранных обучаемым и количество неправиль

-ныхответов, выбранныхобучаемым.

Расчет оценки за выполнение многоальтер

-нативного тестового задания выполняется по формуле (1) [4]:

N Q Q

B Q r_i

⋅ +

⋅ =

)

( ₁ ₃

2 _, ₍₁₎

где ri – оценка i-го заданиятеста, Q1 – множе

-ство всех правильныхвариантов ответа взада

-нии, Q2 – количество правильных вариантов

ответа, выбранныхобучаемым, Q3– количество

неправильных вариантов ответа, выбранных обучаемым, В – шкалаоценивания.

2.2. Оценивание ответовна многоальтер

-нативноетестовоезадание, заданногоуровня

сложности. Одним из рекомендуемых правил

для построения тестов является следующее: «Вопросы, включенные втест, могут бытьраз

-ного уровня сложности». Однако при оценива

-нии такихвопросовформулы (1) недостаточно.

Для оценивания многоальтернативных тесто

-вых заданий с разными уровнями сложности введемкоэффициенттрудностиzi i-гозадания.

Расчет результата выполнения i-го тестово

-го задания с заданнымуровнем сложности вы

-полняетсяпоформуле (2).

N Z Q Q

z B Q r

i i

i z ₊ _⋅ _⋅

⋅ ⋅ =

)

( ₁ ₃

2

, (2)

где

r_z_i

–

оценка

i

-го

задания

теста,

содер-жащего

Z

уровней сложности.

2.3. Оценивание

ответов

на

задания

на

установление

соответствия.

При ответе на задание на установление соответствия каждую паруответовможнорассматриватькакотдельный вариантответаипривыставлениирезультатавы

-полнениязадания следуетучитыватьсколькопар было выбрано верно. Следовательно, функцио

-нальная зависимостьдля определения результата выполнения задания на установление соответст

-виявыглядитследующимобразом (3).

N Q

B Q r_i

⋅ ⋅ =

1

2 _, ₍₃₎

где Q1 – количество пар для сопоставления;

(4)

В случае использования в тесте тестовых заданийсразнымиуровнямисложности, расчет результатавыполненияi-готестовогозаданияс заданным уровнем сложности выполняется по формуле (4).

Z N Q

z B Q

r i

zi ⋅ ⋅ ⋅ ⋅ =

1

2 _,₍₄₎

2.4. Оценивание ответов на задания на

установление правильной последовательно

-сти. При оценивании заданий на установление правильной последовательности возможен только один заведомо правильных ответ. Сле

-довательно, дляоцениванияданнойформытес

-товыхзаданий, как и для одноальтернативных,

достаточно использовать дихотомическую шкалуоценивания, скорректироваврезультатri

накоэффициентВ/N. Следовательно, результат выполнения такого задания определяется по формуле (5).

N B r r D

i

⋅

= , (5)

где rD – результат выполнения тестовых зада

-ний, оцененныйподихотомическойшкале оце

-нивания.

Z N

z B r

r D i

zi ⋅ ⋅ ⋅

= , (6)

2.5. Оцениваниеответовназаданияна

вычислениеарифметическихвыражений

Для ответа на задание, результатом которо

-го является арифметическое выражение опре

-деляется эталонЕ (правильное значение) и до

-пустимая погрешность ε. Использование по

-грешностизаключается втом, чтоеслиответА

находится в ε-окрестности эталона Е, то ответ считаетсяправильным, иначеответневерен (7).

)

(

)

(

E

−

ε

≤

A

≤

E

+

ε

, (7)

Числовые ответы могут с успехом исполь

-зоваться втестировании не только по техниче

-ским дисциплинам, но и по гуманитарным. В тех случаях, когда требуется получить точный ответ, погрешность можетбытьнулевой. Нену

-леваяпогрешность позволяет учитыватьситуа

-ции, когдадаты историческихсобытийопреде

-ленынеточно.

Точная дата рождения великого инквизито

-ра Томаса Торквемады неизвестна. Считается,

что он родился около 1420 года. Таким обра

-зом, в соответствии с эталоном ответы 1419,

1420, 1421 будут признаны правильными. По

-добная форма записи ответа несравненно луч

-ше, чем выбор из нескольких вариантов или перечисление нескольких эталонов ответа в явномвиде.

Длярешенияподобныхзадачещев 1966 году ЖПитраи независимо отнего Дж. Робинсоном был разработан алгоритм унификации [6]. Этот алгоритм позволяет формальнымметодом опре

-делитьидентичностьлюбыхдвухвыражений.

2.6. Оценивание ответов на задания со

свободно конструируемыми ответами. Ис

-пользование ответов, вводимых в свободной тестовойформе, являетсясамойестественнойи наиболее сложной задачей при организации системы контроля знаний обучаемых. Анализ текста предполагает использование лингвисти

-ческих процессоров, выполняющих синтакси

-ческий, лексический и семантический анализ текста. Но такие программы на современном уровне развития знаний о языке могут быть ориентированы только на конкретную пред

-метную область. Поэтому, если говорится об оболочках автоматизированных обучающих системах либо про проверку заданий людьми,

не являющимися специалистами в данной предметнойобласти, тоздесьприходитсяполь

-зоваться более простыми, но формализованны

-ми вариантами. При заданииэталона текстово

-го ответа преподавателю предлагается указать ключевые слова, которые должны присутство

-ватьвответеобучаемого, ислова, которыхтам быть не должно. На основании этой информа

-ции производится анализ ответа обучаемого и определяетсяегоправильность.

Такимобразом, частьработы поанализутек

-ста ответа – разбиение его на словосочетания –

выполняется преподавателем, составляющим тест. Ответ представляется набором элементов,

каждыйизкоторыхможетбытьсловомилисло

-восочетанием. Если рассмотреть этот набор как двухуровневую структуру (например, список множеств) и использовать предложенный метод сравнения, то получаем формальную процедуру определения правильности текстового ответа,

которая по своим характеристикам не уступает предлагаемойпроцедуре.

Другой способ организации работы с тек

-стовыми ответами – шаблоны. Под шаблоном понимается некоторый тест, содержащий про

(5)

-просы в заданиях определяют, какая информа

-ция должна быть введена в данное поле. Обу

-чаемый может ответить не на все вопросы, но приэтомего оценка, естественно, уменьшится.

Длятого чтобы избежать вводаслов, неизвест

-ных системе, целесообразно предоставить обу

-чаемому словарь, содержащий все слова, вхо

-дящие в эталонные ответы для данного теста

(илигруппытестов).

2.7. Оценивание ответов на задания на

заполнение таблиц. Одной из формоткрытых

тестовых заданий является заполнение таблиц.

Каждая ячейка таблицы является отдельным вариантом ответа и. если одна из ячеек запол

-нена неправильно, такой ответнельзя засчиты

-вать как полностью неправильный (введение одного неверного значения в ячейку может быть лишь механическая ошибка, и поэтому оно должно не полностью обнулить результат выполнения работы, а лишь снизить результат выполнения задания). Для оценивания заданий назаполнения таблицрекомендуется использо

-вать показательную функциональную зависи

-мость, представленнуюформулой (8).

2 1 (2 1) Q Q i B r N − ⋅

= , (8)

где Q1 – количество ячеек, которые предлагает

-сязаполнитьтестируемому; Q2 – количествояче

-ек, котороетестируемыйзаполнилправильно.

Таким образом, следует отметить, что при оцениваниивыполнения заданияназаполнение таблиц получается не прямолинейная зависи

-мость, а показательная, чтоповышает качество оцениваниязнаний.

Z N

z B

r Q i

Q

zi ⋅ ⋅ ⋅ − =(2 1 1)

2

, (9)

2.8. Многошаговые тестовые задания. Многошаговое задание считается пройденным,

если на любом его шаге получен правильный ответ. Для объективного оценивания ответа и глубинызнанийобучаемогоиспользуетсясчет

-чик допускаемых ошибок, количество которых учитывается при выставлении оценки. Однако,

встает вопрос об оценивании таких вопросов.

Для них простая дихотомическая шкала не подходит. Рекомендуемая формула для вычис

-ления результата многошагового тестового за

-данияимеетвид:

∑

= +

⋅

= n

i i M _N _n _m

B R

1 1

1

, (10)

где RМ – результатвыполнениямногошагового

тестовогозадания, i – номершага, mi – количе

-ство ошибок, допущенных на i-том шаге, n –

количествошагов.

Формула (10) справедлива для многошаго

-вых тестовых заданий, в которых на каждом шаге используются одноальтернативные зада

-ния или задания на установление правильной последовательности. В случае использования на каком-либо из шагов тестового задания на соответствие или многоальтернативного тесто

-вого задания целесообразно использоватьфор

-мулы (11) и (12) соответственно.

) 1

(

1 1 2

1

∑ ∑

= = ⋅ = n i m j i M i j i j i Q Q m n N B

R (11)

где j – номер попыткипрохождения шага, если на нембыла допущена ошибка;

j i

2

Q – количест

-во пар для составленияна i-том шагепри j-той попытке;

j i

1

Q – количество верно составленных парнаi-томшагеприj-тойпопытке.

∑

= = + ⋅ ⋅ = n i m j i M _i j i j i i Q Q Q m n N B R 1 1 3 1 2 ) (

, (12)

где j i

Q₁ – количество правильных вариантов

ответов i-том на шаге при j-ой попытке;

i Q₂ –

количество правильных ответов, выбранных тестируемым на i-том шаге;

j i

Q₃ – количество неправильных ответов, выбранных тестируе

-мымна i-томшаге приj-ой попытке; j – номер попытки прохождения шага, если на нем была допущенаошибка.

В случаеиспользования втесте многошаго

-вых тестовых заданий с разными уровнями сложности, расчет результата выполнения i-го тестовогозаданиясзаданнымуровнемсложно

-стивыполняетсяпоследующимформулам.

1. (13) – для оценивания заданий, на каж

-дом из уровней которого используются одно

-альтернативныетестовыезадания.

∑

= + ⋅ ⋅ ⋅ = n i i i z m Z n N z B r_i 1 1 1

(6)

2. (14) – дляоценивания заданий, накаж

-домизуровнейкоторогоиспользуютсязадания наустановлениесоответствия.

) 1

(

1 1 2

1

∑

= =

⋅ ⋅

⋅

= n

i

m

j i i

z

i

j i

i _Q

Q

m Z

n N

z B

r . (14)

3. (15) – для оценивания заданий, на каж

-дом из уровней которого используются много

-альтернативныетестовыезадания.

∑

=

+ ⋅ ⋅

⋅ ⋅

= n

i m j

i i

z _i

j i j i

i i

Q Q

Q m Z

n N

z B r

1 1

3 1

2

) (

. (15)

Общая оценка Rz за выполнение теста, со

-держащего тестовые задания с разными уров

-нямисложности, вычисляетсяпоформуле (16).

∑

=

i i i

z z _z

r R

i

, (16)

где i=1...N.

Выводы

Система компьютерного контроля знаний,

построеннаянаосновеописанной встатьемоде

-ли компьютерного контроля знаний и исполь

-зующаяразработанные авторами методы пред

-ставленияианализаответов, внастоящеевремя сертифицирована [7; 8] иуспешноприменяется в Харьковском национальном университете радиоэлектроники и Харьковском торгово

-экономическом институте КНТЕУ для тестиро

-ваниястудентовпоразличнымдисциплинам.

БИБЛИОГРАФИЧЕСКИЙСПИСОК 1. КолисникМ. Методическое обеспечениерабо

-таетнауспех. Зарубежнаяпрактикапреподава -ния дисциплин // Аналитический журнал по менеджменту СИНΣРГИЯ. – 2003. – № 2(6) – С. 48–53.

2. Комплекснормативныхдокументовдляразра -ботки составляющихсистемы стандартов выс -шегообразования. – К.: 1998.

3. Образовательный стандарт высшей школы: сегодня и завтра / Под ред. д.п.н. Байденко, д.т.н. Селезневой. – М.: 2001.

4. БелоусН. В., КуцевичИ. В. Автоматизирован -наясистемаоцениваниятестовыхзаданийраз -ныхформ // ВестникХГТУ. – 2006. – № 1(24) – С. 422–426.

5. Белоус Н. В., Войтович И. В. Концепция не -прерывногообучениянаосноветрехуровневой моделиконтроляиполучениязнаний// Восточ -но-Европейский журнале передовых техноло -гий. – 2004. – № 4(10) – С. 63–67.

6. Воронин А. Т. Интеллектуальная инстру -ментальная система для WINDOWS / А. Т. Воронин, Ю. А. Чернышев // ИТНО'95. Те -зисы докладов конференции. Секция B.//http://petrsu.karelia.ru/psu/General/Conference s/Data/ 19950605.

7. Белоус Н. В., Войтович И. В. Программный комплексдляпроведениякомпьютерногоиин -терактивного обучения и тестирования знаний «КОДЭКС УМА» (Контролирующая Обучаю -щаяДидактическая ЭкспериментальнаяСисте -ма, Учитывающая Мозговую Атаку // Свиде -тельствопрорегистрациюавторского права№ 14030, Государственный департамент интел -лектуальнойсобственности, 02.09.2005. 8. БелоусН. В. Компьютерныйпрактикумпокурсу

«Обновидискретнойматематики» («ПОДМОГА» – Понимание Основ Дискретной Математики, Описанных Главными Аспектами) // Свиде -тельствопрорегистрациюавторского права№ 14031, Государственный департамент интел -лектуальнойсобственности, 02.09.2005.