О
СУЩНОСТИ
МЕТОДА
МОДЕЛИРОВАНИЯ
В ПЕДАГОГИКЕ

ЧТО
ТАКОЕ
МОДЕЛЬ?

Первоначально
моделью называли

некое
вспомогательное
средство или
объект,
который в
определенной
ситуации заменял
другой
объект.

Например,
древние философы
считали
невозможным
моделирование
естественных
процессов,
так как, по их
представлениям,
природные и
искусственные
процессы подчинялись
различным
закономерностям.

Они
полагали, что
отобразить
природу
можно только
с помощью логики,
методов
рассуждений,
споров, т.е., по
современной
терминологии,
языковых моделей.

Через
несколько
столетий девизом
английского Королевского
научного общества
стал лозунг "Ничего
словами!",
который
явился
кратчайшим изложением
принципов
естествознания:
признавались
только
выводы, подкрепленные
экспериментально
или математическими
выкладками.

В
английском
языке до сих
пор в понятие
"наука" не
входят
области
знания, которым
в русском
языке
соответствует
термин
"гуманитарные
науки", - они
отнесены к
категории "искусств".

В
результате
очень долго
понятие "модель"
относилось
только к материальным
объектам
специального
типа,
например манекен
(модель человеческой
фигуры),
гидродинамическая
уменьшенная
модель
плотины,
модели судов
и самолетов,
чучела
(модели животных)
и т.п.

Одно
из
определений
таких моделей:

моделью
называется
некий объект-заместитель,
который в  определенных
условиях
может
заменять
объект-оригинал,
воспроизводя
интересующие
нас свойства
и
характеристики
оригинала,
причем имеет
существенные
преимущества
удобства (наглядность,
обозримость,
доступность
испытаний, легкость
оперирования
с ним и пр.).

Затем
были осознаны
модельные
свойства
чертежей,
рисунков,
карт -
реальных
объектов искусственного
происхождения,
воплощающих
абстракцию
довольно высокого
уровня. Следующий
шаг
заключался в
признании
того, что
моделями могут
служить не
только
реальные
объекты, но и
абстрактные,
идеальные построения.

Типичным
примером
служат математические
модели. В
результате
деятельности
математиков,
логиков и
философов,
занимавшихся
исследованием
оснований
математики,
была создана теория
моделей.

В
ней модель
определяется
как
результат
отображения
одной абстрактной
математической
структуры на
другую, тоже
абстрактную,
либо как
результат интерпретации
структуры в
терминах и
образах второй.

Модель
является не
просто
образом -
заменителем
оригинала, не
вообще
каким-то
отображением,
отображением
целевым.

Чтобы
подчеркнуть
это
рассмотрим
модель «абитуриент»
(рис. 1).

Рис. 1.
Использование
модели
«абитуриент»

Из
того, что
модель
является
целевым
отображением,
с
очевидностью
следует множественность
моделей
одного и того
же объекта:
для разных целей
обычно
требуются
разные
модели.

Любая
отрасль
знания может
с большим
основанием
именоваться
наукой, чем в
большей
степени в ней
используется
математика. Математические
модели обладают
абсолютной
точностью, но
чтобы дойти
до их использования
в данной области,
необходимо
получить
достаточное
для этого количество
знаний.
Нематематизированность
какой-то
науки не
означает ее
"ненаучность",
а есть
следствие
сложности,
недостаточной
познанности
ее предмета.

Модель
представляет
собой
математическое
описание
интересующих
исследователя
связей и
соотношений
между реальными
элементами
анализируемой
системы.

Если в
описании
модели
используются
случайные
величины, то такая
модель
называется
вероятностной,
или
стохастической

Главная
ценность
моделей
как формы знаний
состоит в
том, что они содержат
объективную
истину, т.е. в
чем-то
правильно
отображают
моделируемое.

Однако,
кроме
безусловно
истинного содержания
в модели
имеется и условно-истинное
(т.е. верное
лишь при
определенных
условиях), и
предположительно-истинное
(т.е.
условно-истинное
при неизвестных
условиях), а
следовательно,
и ложное.

При
этом в каждых
конкретных
условиях
точно
неизвестно,
каково же фактическое
соотношение
истинного и
ложного в
данной модели.
Ответ на
этот вопрос
дает только
практика.

Однако
в любом
случае
модель
принципиально
беднее
оригинала,
это ее
фундаментальное
свойство.

Говоря
о ходе
построения
модели,
необходимо
отметить, что
общая процедура
построения
модели, как
правило,
включает ряд этапов:

1)   создание
модели;

2)   вывод
теоретических
соотношений,
аналитических
представлений
и зависимостей;

3)   оценка
параметров
модели;

4)   получение
численных
предсказаний;

5)   уточнение
самой модели.

При
описании
педагогического
явления,
следует всегда
учитывать,
тот факт, что
любое педагогическое
понятие
следует
относить к гибким
(расплывчатым)
научным
понятиям,
использование
которых в
педагогических
исследованиях
как на этапе
формулировки
рабочей
гипотезы, так
и на этапе
интерпретации
полученных
результатов
ставит
педагога-исследователя
перед
необходимостью
выбора

q
соответствующих
критериев,
определяющих
уровень
точности и корректности
описаний
самих педагогических
явлений.

В
настоящее
время можно
выделить, по
крайней мере,
два основных
подхода к
моделированию
педагогических
понятий.

Первый
подход
основан на
необходимости
грубой
схематизации
и упрощения
самого
явления, что
позволяет
описывать
отдельные
стороны его
проявления на
строго
количественном
уровне с
использованием
различных
методов
многомерного
статистического
анализа.

Второй
подход к
моделированию
педагогических
понятий -
путь строгого,
формального
их описания,
основанного
на
применении алгоритмических
моделей.

Преимущество
второго
подхода
заключается
в том, что в
сочетании с
вычислительной
техникой
появляются
возможности
практической
формализации
и описания
педагогических
понятий во
многих их существенных
проявлениях
и особенностях.

ОСНОВНЫЕ
МОДЕЛИ
СОВРЕМЕННОЙ
ТЕОРИИ ТЕСТИРОВАНИЯ

Основное
назначение
педагогического
тестирования –
оценивание
уровня подготовленности
участников
тестирования
в определенной
области
знаний.

Причем
оценка должна
обладать
свойством
объективности,
то есть при
тестировании
одного и того
же
испытуемого различными
тестами
должны
получаться
близкие, с
точностью до
погрешности
вычислений,
результаты.

В
первой
половине 20-го
века была
разработана
теория,
позволяющая
получать и интерпретировать
результаты
тестирования
с единой
точки зрения.
Эта теория
получила название
классической
теории
тестирования
(КТТ). В ее
основу лег
постулат, что
наблюдаемый
балл
участника
тестирования
представляет
собой сумму
его
истинного
балла и некоторой
случайной
ошибки
измерения.

,                                            (1)

где    Tист – истинное
значение
(истинный
балл),

Xф –
наблюдаемый
результат,

Е –
суммарная
ошибка
измерения.

На
практике в
КТТ часто
вообще
игнорируется,
и первичный
балл
испытуемого
принимается
за его
истинный
балл.

Если же
этот вопрос
не
игнорируется,
то ошибка измерения
определяется
через коэффициент
надежности
теста:

,
(2)

где
- среднее
квадратичное
отклонение  первичных
баллов
испытуемых,

r -
коэффициент
надежности.

Таким
образом,
ошибка
измерения Е
является
функцией
двух величин
– надежности
теста и
среднего
квадратичного
отклонения баллов
испытуемых,
то есть ошибка
измерения
является
одинаковой
для всех
испытуемых
данной
выборки.

Зная
ошибку
измерения,
можно
построить доверительный
интервал
для любого
первичного
балла . Так при
доверительной
вероятности
95 % доверительный
интервал
принимается
равным

,

где
1,96 – значение -константы
Стьюдента
при данной
доверительной
вероятности.

Достоинство
КТТ -
простота
обработки и
интерпретации
результатов.
Однако КТТ
обладает
целым рядом
существенных
недостатков,
которые
привели к
появлению в
60-х годах
прошлого
столетия
принципиально
нового
подхода к
теории
тестирования.

Новая
теория
тестирования
получила
название Item Response Theory (IRT)
или теории
моделирования
и
параметризации
тестов (ТМПТ)
в
русскоязычной
литературе.

Основная
цель ТМПТ состоит
в разработке
математической
модели процесса
тестирования,
параметрами
которой,
подлежащими
определению,
служат
характеристики
участников
тестирования
и самого
теста.

В основе
всех моделей
ТМПТ лежит функция
успеха,
определяющая
зависимость
вероятности
правильного
выполнения задания
(или
какой-либо
его части) от
уровня подготовленности
участника
тестирования
и параметров
задания.

Использование
моделей ТМПТ
позволяет преодолеть
недостатки
КТТ и перейти
к оцениванию
уровня
подготовленности
как к процессу
объективного
измерения,
результаты
которого сопровождаются
характеристиками
точности и
отражены на
метрической
шкале.

Исходная
матрица
ответов
содержит в
себе лишь
результаты
формальных наблюдений
над
случайными
событиями.
Первичные баллы,
по существу,
не являются
баллами,
что-либо
оценивающими,
а лишь
фиксируют
количество
положительных
исходов случайных
событий.

Эти
количества
естественно
образуют порядковую
шкалу. Задача
состоит в
том, чтобы
преобразовать
формальные
наблюдения за
исходом
отдельных случайных
событий в
измерения, то
есть
непрерывные
переменные
со
значениями
на метрической
шкале.

В
результате
получаем
объективные
оценки
параметров
уровня
подготовленности
испытуемых и
трудностей
заданий теста,
что
позволяет
обоснованно
пользоваться
методами
статистического
анализа,
оценивать точность
тестовых
баллов,
строить доверительные
интервалы и
т.д.

Понятие
функции
успеха

Основное
предположение   ТМПТ
подразумевает,  что
наблюдаемые
результаты
выполнения
теста
порождаются
взаимодействием
двух
множеств:

q
множества
значений  (n=1,…,N) латентного
(то есть
скрытого от
непосредственного
наблюдения)
параметра,
характеризующего
уровень
знаний испытуемого
n,  и

q
множества
значений  (i=1,…,I) латентного
параметра,
характеризующего
уровень
трудности i-го задания
теста [1; 7; 9].

Причем,
чем выше
уровень
знаний
испытуемого
в
определенной
области, тем
больше его шансы
на успех при
выполнении
любого задания
из этой
области. И
наоборот, чем
ниже уровень
знаний
испытуемого,
чем хуже
подготовлен
он относительно
того, что
нужно знать и
уметь в данной
области
знаний, тем
меньше
вероятность
верного
выполнения любого
задания из
этой области.

Предположим,
что
параметры  и  оцениваются
в одной и той
же шкале. Тогда
значение
параметра  можно
рассматривать
как положение
испытуемого n , а
как положение
задания  i  на
одной и той
же оси
переменных , .

Пусть
-
вероятность
того, что
участник
тестирования
n правильно
выполнит   i-ое задание
теста. Тогда
разумно
предположить,
что

q
Если
->0  (что
означает, что
уровень
знаний
испытуемого
выше уровня
трудности
данного
задания), то >, то есть
более
вероятно, что
испытуемый
выполнит это
задание
верно.

q
Если же  -<0 (что
означает, что
уровень
трудности
задания выше
уровня
знаний
испытуемого),
то  <, то есть
более
вероятно, что
испытуемый выполнит
это задание
неверно.

q
Если
-=0, то разумно
считать  =.

Таким
образом,
вероятность   может
быть
представлена
как функция
разности переменных    и   :

= f (-)
(3)

В ТМПТ
эту функцию
принято
называть функцией
успеха.
Если вид
функции успеха
известен, то
по результатам
реальных
испытаний (и
при наличии
некоторой дополнительной
информации)
можно
известными
методами с
определенной
точностью
количественно
оценить
аргументы
этой функции,
то есть оценить
уровни
знаний испытуемых
и уровни
трудностей
заданий
теста. На рис. 1
представлен
примерный
график
функции успеха  (3):

Рис.
1. График
функции
успеха (2.1)

Если
в формуле (3)
зафиксировать
переменную  , а  рассматривать
как независимую
переменную, то
получим

(4)

-   вероятность
правильного
выполнения
испытуемыми
с различными
уровнями
подготовки i- го задания
теста.

Примерный
график
функции (4)
представлен
на рис. 2 и
называется характеристической
кривой i- го
задания
теста.

Рис.
2.
Характеристическая
кривая i-го
задания
теста

Таким
образом, если
уровень
знаний
испытуемого  намного
больше
уровня трудности
данного
задания  , то
вероятность
его
правильного
ответа на это
задание стремится
к 1.
Аналогично,
если  намного
меньше
, то . Если же , то .

Если
в формуле (3)
зафиксировать
переменную , а  рассматривать
как независимую
переменную,
то получим

(5)

-
вероятность
правильного
выполнения
испытуемым  n  различных
по трудности
заданий
теста.

Примерный
график
функции (5)
представлен
на рис. 3 и
называется характеристической
кривой
испытуемого n.

Рис.
3.
Характеристическая
кривая
испытуемого n

Таким
образом, если
уровень
трудности
задания   намного
больше
уровня подготовленности
данного
испытуемого  , то
вероятность
его
правильного
ответа на это
задание  стремится
к 0.
Аналогично,
если  намного
меньше
, то . Если же , то .

Выбор
вида функции
успеха
определяется
математической
моделью,
которая наиболее
адекватна
реальным
данным.
Рассматрим
основную
модель,
применяемую
в педагогическом
тестировании
(например, в
ЕГЭ).

Основная
модель Раша

Предположим,
что для
сравнения
уровней подготовленности
и двух испытуемых  n и m в
какой-либо
области
знаний им
предлагается
выполнить  k дихотомических заданий
одинаковой
трудности t.
Положим

Пусть
- число
заданий,
которые оба
испытуемых
выполнили
верно, - число заданий,
которые
выполнил
верно только
испытуемый n (а
испытуемый m –
неверно), - число
заданий,
которые
выполнил  верно
только
испытуемый m (а
испытуемый n – неверно)
и - число
заданий,
которые оба
испытуемых
выполнили
неверно.
Очевидно, что
. Табл. 1
наглядно
представляет
рассматриваемую
ситуацию.

Таблица
1

Таким
образом,
возможны 4
различных
исхода при
решении
испытуемыми n и  m заданий
теста.
Но два из
этих исходов
неинформативны,
так как не
позволяют
сравнить испытуемых  n  и  m. Действительно,
если оба
испытуемых
выполнили
задание
верно или оба
испытуемых
выполнили
задание
неверно, то
это задание
не несет никакой
информации относительно
сравнения
уровней
подготовленности
испытуемых n и  m.

Пусть
-
вероятность
того, что
испытуемый n выполнит
верно i-ое задание
теста, тогда  -
вероятность
противоположного
события, то
есть того
,что
испытуемый  n выполнит
i-ое задание
теста
неверно.
Соответственно,
- то же для
испытуемого m.
В табл. 2
представлены
вероятности
всех четырех
возможных
исходов.

Таблица 2

Для
сравнения
испытуемых  n и  m удобнее
рассматривать
отношение , которое и
определяет
соотношение
уровней подготовленности
испытуемых n и   m –
тем точнее,
чем больше
количество
заданий k. В
пределе при  имеем:

.
(6)

Таким
образом,
уровни
подготовленности
двух
испытуемых
измеряются с
помощью
заданий
одной и той
же трудности t.

Однако,
объективное
сравнение
испытуемых не
должно
зависеть от
измерительного
инструмента,
то есть от
трудности
заданий, с
помощью которых
они оцениваются.
Другими
словами,
соотношение  должно
оставаться
неизменным
при использовании
любых других
заданий (но
из той же
области
содержания) с
отличным от t уровнем
трудности.

На
математическом
языке это
означает следующее:

для  любых
i,j
(7)

или

.
(8)

Рассмотрим
некоторое
стандартное
задание,
уровень
трудности
которого
условно принят
за единицу.
Пусть -
вероятность
того, что
испытуемый n выполнит
это задание
верно, .
Соответственно,
- то же для
испытуемого m. Тогда
соотношение
(7) можно
переписать в
виде

.
(9)

Данное
соотношение
позволяет
вложить в понятие
уровня
подготовленности
определенный
количественный
смысл, а
именно

,
(10)

то есть
уровень
подготовленности
любого испытуемого
определяется
как
отношение
вероятности
верного
выполнения
им стандартного
задания,
уровень
трудности
которого
принят за
единицу, к
вероятности
неверного
выполнения
этого
задания.

Далее
заметим, что
процесс
измерений не
должен
зависеть не
только от
измерительного
инструмента
(то есть от
избранных
заданий), но и от
объекта
измерений
(то есть от
испытуемых).
Это означает,
что пропорция
(7) должна
оставаться
справедливой
для любой
пары
испытуемых.

Рассмотрим
некоторого
стандартного
испытуемого,
уровень
подготовленности
которого
условно
принят за
единицу.
Пусть  -
вероятность
того, что
этот испытуемый
выполнит
верно
стандартное
задание,
уровень
трудности
которого
условно
принят за единицу.
Тогда из (10)
имеем, что
уровень
подготовленности
рассматриваемого
испытуемого  определяется
как

,
(11)

и так
как  =1, то
из (11) следует,
что .

Таким
образом,
вероятность
того, что
стандартный
испытуемый
верно
выполнит
стандартное
задание
равна .

Тогда
из (8) имеем (m=1, j=1):

.
(12)

Как
уже
отмечалось
выше,  характеризует
уровень
подготовленности
испытуемого n. Аналогично,
величина

(13)

характеризует
уровень
трудности i-го задания
теста. Здесь -
вероятность
того, что данное
задание
будет
выполнено
верно участником
тестирования,
уровень
подготовленности
которого
условно
принят за
единицу.

Определения
(10) и (13) связаны с
таким
заданием или
таким
испытуемым,
которые
определяют
единицы
измерения
для трудности
или
подготовленности
соответственно.

Таким
образом, из (12)
имеем

.
(14)

В
формуле (14)  - характеристика
исключительно
испытуемого,  - характеристика
исключительно
задания.

Следовательно,
параметры
испытуемого
и задания
полностью
разделены, что
дает
возможность
оценить
уровень подготовленности
испытуемого
независимо от
уровня
трудности
задания, и,
наоборот, оценить
уровень
трудности
задания
независимо
от уровня
подготовленности
испытуемого.

Прологарифмируем
обе части
равенства (14)

(15)

или

,
(16)

где  =>  bn = eqn, di = edi.

При
этом функция
успеха
принимает
вид

(17)

Переменные
и  будем,
по-прежнему,
называть
соответственно
уровнем подготовленности
испытуемого n и
уровнем
трудности
задания  i.

Очевидно,
что они измеряются
по одной и
той же
линейной
шкале
действительных
чисел, единицу
измерения
которой
принято
называть один
логит.

Формула
(16) определяет
вид функции
успеха в
рассматриваемом
случае и получила
название основной
модели Раша.

Переменные
и  здесь
трактуются
как
способность испытуемого
и трудность задания
соответственно.
Из (16) видно, что
вероятность
того, что
испытуемый n выполнит
верно -ое
задание ,по
существу,
зависит
только от
разности  и
потому
модель (16)
может
считаться однопараметрической.
Функция (16)
принадлежит
к семейству
логистических
функций,
поэтому
иногда эту
модель называют
логистической.
И так как
рассматриваемые
задания были
дихотомическими
(то есть
оценивались
лишь в двух
категориях
верно/неверно),
то модель
называют
дихотомической.
Таким образом,
полное название
данной
модели –
основная
однопараметрическая
дихотомическая
логистическая
модель Раша.

Существуют
расширения
дихотомической
модели Раша,
которые
образуют семейство
основных
моделей Раша.
В основном
эти модели
пока еще
практически
не используются
в нашей
стране.
Рассмотрим
их области
применения:

Рис.
4. Диаграмма
связей между
основными
моделями Г.
Раша

ЗАКЛЮЧЕНИЕ

Функция
(16)
представляет
собой
функцию двух
параметров:
способности
испытуемого  и
трудности
выполнения
соответствующего
шага в
задании i.

Уравнение
(16) определяет
совокупность
из  параллельных  не
пересекающихся
логистических
кривых, что
является
главным отличием
этих моделей
от других моделей
современной
теории
тестирования
IRT. Параметр
наклона
кривых
намеренно исключен
из рассмотрения.

Это
свойство
имеет важное
значение, так
как
позволяет
отделить
параметры испытуемых
и параметры
заданий, что
играет большую
роль при их
оценивании. Отделимость
параметров позволяет
гарантировать
инвариантность
параметров.

Баллы,
выставляемые
испытуемым
по результатам
тестирования,
можно
вносить в
свидетельства
государственного
образца,
использовать
при
конкурсном
отборе в вузы
и т.п. только
при условии
их
инвариантности
относительно
тестовых
заданий, по
результатам
выполнения
которых они
получены.

Аналогично,
характеристики
трудности тестовых
заданий,
полученные
по результатам
тестирования
определенной
группы людей,
можно
вносить в
банк
тестовых
заданий с
целью
дальнейшего
использования
только при
условии их
инвариантности
относительно
различных
контингентов
испытуемых.
Таким
образом,
инвариантность
- необходимое
условие
оценивания
испытуемых и
калибровки
заданий.

Использование
моделей Раша
имеет и ряд
других
существенных
преимуществ.
Уровни
подготовленности
испытуемых и
уровни
трудности
заданий
теста могут
быть представлены
на одной
метрической
шкале и
сопровождены
качественной
характеристикой
точности
измерения.
Таким
образом,
использование
моделей Раша
позволяет
преобразовать
результаты
наблюдений в
такие оценки  и , которые
можно трактовать
как результаты
измерения
уровня
подготовленности
испытуемых и
уровня
трудности
заданий.

Пример
– тема 2

Список
литературы

1. Нейман
Ю.М.,
Хлебников
В.А. Введение
в теорию моделирования
и

параметризации
педагогических
тестов. – М.:
Прометей, –2000.  – 169 с.

2.
Нейман Ю.М.,
Хлебников
В.А. Педагогическое
тестирование
как
измерение.

Учебное
пособие, ч.1. – М.:
Центр
Тестирования
МО РФ. – 2002. –  67 с.

3.
Нейман Ю.М.,
Хлебников
В.А. Как оценивается
уровень
подготовленности
учащихся по
результатам
единого
государственного
экзамена. – М.:
– Центр
Тестирования
МО РФ. – 2003. –  44 с.

4.
Психологическая
диагностика /
Под
редакцией
Гуревича К.М.,
Борисовой   Е.М. – М.:
Издательство
УРАО. – 2000. – 302 с.

5.
Калинина В.Н.,
Панкин В.Ф.
Математическая
статистика. –
М.: Высшая
Школа. – 1994.– 336 с.

6.
Пайнс Э.,
Маслач К.
Практикум по
социальной
психологии. –
С.-П.: Питер. –2000. –
522 с.

7. Wright B.D., Stone M.N. Best Test Design. Rasch
Measurement Chicago, 1979, Mesa
Press,  223 p.

8. Wright B.D., Masters G.N.
Rating Scale Analysis. Rasch Measurement. – Chicago:  Mesa
Press. – 1979. – 206 p.

9. Hamblenton R.K., Swaminathan
H., Rogers H.J.
Fundamentals of Item Response Theory. – London.: Sage publications.
–1982. – 174 p.

10. Wright B.D., Mok M. Rasch
Model Overview // Journal of Applied Measurement, 2000. – V.1. –
№ 1. – Р. 83-106.

11. Rasch G. Probabilistic Models
for Some Intelligence and Attainment Tests. Copengagen, 1960, Danish Institute
of Educational Research (Expanded edition, –Chicago.: Mesa Press. –
1980. – 199 p.).

12. Smith R.M. Rasch Measurement
Models: Interpreting Winsteps/Bigsteps and Facets Output. Maple Grove. – Minnesota.:  JAM Press. – 1999. – 58 p.

13. Smith E.V., Wakely M.B., Kruif
R. Optimizing Rating Scales. In press: Educational and Psychological
Measurement, 31 p.