План-проспект раздела

«Применение математико-статистических методов

при разработке тестовых материалов»

Входные требования: знание понятийного аппарата теории педагогических измерений; основных форм тестовых заданий; навыки работы со стандартным набором программ Microsoft Office – Word, Excel. Желательно иметь результаты апробации тестовых заданий.

Объем раздела: 18 часов, из них: лекции – 6 часов; практические работы – 12 часов.

Место проведения занятий: 8 корпус ТПУ (Усова, 7), ауд. 349.

Преподаватель: Муратова Елена Анатольевна, к.т.н., доцент.

Консультации: понедельник с 16.00 до 17.00 в кабинете № 300, 8 корпус ТПУ (Усова, 7).

Если по какой-либо причине эти часы для Вас неудобны, Вы можете предварительно договориться о встрече в другое время.

Телефон: (8-3822) 56-46-70

E-mail: muratova@tpu.ru

Материалы, требуемые при изучении раздела:

Материалы лекций и презентаций, методических указаний к практическим занятиям.

Основная литература:

1. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. – М.: Логос, 2002. – 432 с.

2. Муратова Е.А. Представление результатов тестирования. Расчет и интерпретация описательных статистик: Методические указания по лабораторным работам для слушателей, обучающихся по направлению «Разработка и экспертиза аттестационных педагогических измерительных материалов». – Томск: Изд-во ТПУ, 2007. – 36 с.

Дополнительная литература:

3. Гласс Дж., Стенли Дж. Статистические методы в педагогике психологии / Пер. с англ. Л. И. Хайрусовой. – М.: Прогресс, 1976.

4. Серогодский В.В. Эффективный самоучитель c цветными вкладками Excel 2003: Подробное описание работы в Excel; Вычисления в Excel; Построение графиков и диаграмм; Оформление таблиц; Подготовка таблиц к печати; Обработка списков и баз данных + Пошаговые примеры и упражнения. – М.: Наука и техника, 2005. – 392 с.

Результаты обучения. К моменту окончания раздела Вы будете:

1. Демонстрировать знание основных статистических характеристик тестовых заданий, теста и распределения результатов тестирования;

2. Уметь проводить вычисления статистических характеристик тестовых заданий, теста и распределения результатов тестирования;

3. Понимать и объяснять основные этапы математико-статистического анализа при конструировании теста четко и ясно, в их логической взаимосвязи;

4. Проводить математико-статистический анализ результатов апробации теста, интерпретировать полученные результаты;

5. Составлять отчет по результатам проведения математико-статистического анализа результатов апробации теста.

Чтобы достичь этих целей и успешно пройти раздел, необходимо:

· Знакомиться с материалом предварительно, до рассмотрения на занятиях;

· Не опаздывать и не пропускать занятия;

· Выполнять все необходимые задания;

· Уметь работать с партнером или в составе группы;

· Обращаться за помощью и получать ее, когда Вы в ней нуждаетесь.

Критерии оценивания:

1.1. Демонстрирует знание и понимание основных статистических характеристик тестовых заданий.

1.2. Демонстрирует знание и понимание основных статистических характеристик теста.

1.3. Демонстрирует знание и понимание основных статистических характеристик распределения результатов тестирования.

1.4. Обосновывает выбор статистических характеристик для проведения математико-статистического анализа результатов апробации теста.

2.1. Формирует и подготавливает матрицу результатов тестирования к математико-статистическому анализу.

2.2. Проводит вычисления статистических характеристик тестовых заданий, теста и распределения результатов тестирования.

2.3. Выбирает и обосновывает способ представления результатов вычислений статистических характеристик.

3.1. Демонстрирует знание и понимание основных этапов математико-статистического анализа при конструировании теста.

3.2. Составляет план апробации тестовых заданий.

4.1. Организует и проводит математико-статистический анализ результатов апробации теста.

4.2. Демонстрирует умение представлять и интерпретировать результаты апробации теста.

4.3. Формирует список корректирующих мероприятий по результатам апробации.

4.4. Конструирует шкалу оценивания результатов тестирования.

5.1. Составляет отчет по результатам проведения математико-статистического анализа результатов апробации теста.

5.2. Оценивает качество составления теста по результатам проведения математико-статистического анализа результатов апробации теста.

Комплексная оценка:

Для оценивания результатов обучения по данному разделу используются комплексная оценка, формируемая из оценивания теоретических знаний и практических умений и навыков.

Теория: тест.

Практика: портфолио.

Кроме того, оценивание достижения результатов обучения проводится во время обучения и защиты аттестационной работы.

Результат обучения	Объективный письменный тест	Отчет о выполненных действиях	Устный опрос	Наблюдение за работой, действиями	Аттестационная работа	Итоговая презентация
1.1. Демонстрирует знание и понимание основных статистических характеристик тестовых заданий.	+		+
1.2. Демонстрирует знание и понимание основных статистических характеристик теста.	+		+
1.3. Демонстрирует знание и понимание основных статистических характеристик распределения результатов тестирования.	+		+
1.4. Обосновывает выбор статистических характеристик для проведения математико-статистического анализа результатов апробации теста.	+		+	+	+
2.1. Формирует и подготавливает матрицу результатов тестирования к математико-статистическому анализу.				+	+
2.2. Проводит вычисления статистических характеристик тестовых заданий, теста и распределения результатов тестирования.		+		+	+
2.3. Выбирает и обосновывает способ представления результатов вычислений статистических характеристик.		+		+	+	+
3.1. Демонстрирует знание и понимание основных этапов математико-статистического анализа при конструировании теста.	+		+	+
3.2. Составляет план апробации тестовых заданий.		+			+
4.1. Организует и проводит математико-статистический анализ результатов апробации теста.		+		+	+
4.2. Демонстрирует умение представлять и интерпретировать результаты апробации теста.	+	+		+	+	+
4.3. Формирует список корректирующих мероприятий по результатам апробации.		+			+	+
5.1. Составляет отчет по результатам проведения математико-статистического анализа результатов апробации теста.		+			+
5.2. Оценивает качество составления теста по результатам проведения математико-статистического анализа результатов апробации теста.		+		+	+	+

Содержание раздела:

Форма занятия	Содержание	Выполненная работа
Лекция 1	Способы представления результатов тестирования. Подготовка матрицы результатов тестирования к математико-статистическому анализу. Основные статистические характеристики тестовых заданий и теста, распределения результатов тестирования. Способы их представления и интерпретации.	Конспект лекции. План апробации тестовых заданий.
Практика 1	Формирование и подготовка матрицы результатов тестирования к математико-статистическому анализу. Вычисление основных статистических характеристик тестовых заданий.	Отчет по результатам проведения математико-статистического анализа результатов апробации тестовых заданий.
Практика 2	Вычисление основных статистических характеристик распределения результатов тестирования. Представление и интерпретация результатов математико-статистического анализа.	Отчет по результатам проведения математико-статистического анализа распределения результатов тестирования.
Лекция 2	Методы параметрического оценивания статистических характеристик тестовых заданий и уровня подготовки испытуемых. Построение характеристических кривых тестовых заданий и индивидуальных кривых обучающихся. Основные принципы моделирования теста.	Конспект лекции. План апробации тестовых заданий и конструирования теста.
Практика 3	Вычисление статистических характеристик тестовых заданий. Построение характеристических кривых тестовых заданий и индивидуальных кривых обучающихся. Конструирование теста.	Отчет по результатам проведения математико-статистического анализа результатов апробации тестовых заданий. Оценка качества составления теста.
Практика 4	Составление итогового отчета по результатам проведения математико-статистического анализа результатов апробации теста.	Итоговый отчет по результатам проведения математико-статистического анализа результатов апробации тестовых заданий. Список корректирующих мероприятий по результатам апробации.
Лекция 3.	Основные этапы математико-статистического анализа при конструировании теста. Методы шкалирования результатов тестирования.	Конспект лекции. План математико-статистического анализа при конструировании теста.
Практика 5	Шкалирование результатов тестирования.	Отчет по результатам шкалирования результатов тестирования.
Практика 6	Тест. Обсуждение результатов. Подведение итогов.

Если у Вас возникнут любые вопросы по данному разделу, пожалуйста, свяжитесь со мной. УДАЧИ!

Содержание теоретического курса раздела «Конструирование тестовых материалов»

Лекция 1.

План:

1. Способы представления результатов тестирования.

2. Подготовка матрицы результатов тестирования к математико-статистическому анализу.

3. Основные статистические характеристики тестовых заданий.

4. Основные статистические характеристики теста.

5. Основные статистические характеристики распределения результатов тестирования.

6. Способы их представления и интерпретации.

Конспект содержания:

Слайд 1.

Слайд 2.

Слайд 3.

Слайд 4.

Слайд 5.

Слайд 6.

Слайд 7.

Слайд 8.

Слайд 9.

Слайд 10.

Слайд 11.

Слайд 12.

Слайд 13.

Слайд 14.

Слайд 15.

Слайд 16.

Слайд 17.

Слайд 18.

Слайд 19.

Слайд 20.

Слайд 21.

Слайд 22.

Слайд 23.

Слайд 24.

Слайд 25.

Слайд 26.

Слайд 27.

Слайд 28.

Слайд 29.

Слайд 30.

Слайд 31.

Слайд 32.

Слайд 33.

Самоконтроль:

1. В какой форме представляются результаты тестирования?
2. Что такое дихотомическая и политомическая оценка?
3. Почему перед проведением математико-статистическим анализом матрицы ответов на этапе апробации рекомендуется удалять нулевые (единичные) строки?
4. Перечислите основные статистические характеристики тестового задания.
5. Что такое дифференцирующая способность задания?
6. Какое соотношение характерно для суммы правильных ответов и суммой первичных тестовых баллов в матрице ответов?
7. При использовании политомической оценки, в чем особенность вычисления доли правильных ответов?
8. Трудность характерна для теста или тестового задания?
9. Какой показатель характеризует качество теста?
10. Какое свойство тестового задания характеризует квадрат коэффициента корреляции задания с тестовым баллом?
11. О чем свидетельствует отрицательное значение дифференцирующей способности тестового задания?
12. Что такое гистограмма распределения результатов тестирования?
13. Почему необходимо проверять «нормальность» распределения результатов тестирования?
14. Какие статистические характеристики следует использовать в случае асимметричности распределения?

Лекция 2.

План:

1. Понятие латентной переменной.
2. Методы параметрического оценивания статистических характеристик тестовых заданий и уровня подготовки испытуемых.
3. Построение характеристических кривых тестовых заданий и индивидуальных кривых обучающихся.
4. Основные принципы моделирования теста.