Презентация на тему: Справедливость оценивания студентов: зачем в вузах нужны психометрики

Справедливость оценивания студентов: зачем в вузах нужны психометрики.
Тесты и тестовые задания
Справедливость оценивания студентов: зачем в вузах нужны психометрики
Психометрика
Справедливость оценивания студентов: зачем в вузах нужны психометрики
Справедливость оценивания студентов: зачем в вузах нужны психометрики
Справедливость оценивания студентов: зачем в вузах нужны психометрики
Справедливость оценивания студентов: зачем в вузах нужны психометрики
Что повлияет на дизайн теста?
Типичные этапы разработки теста
Тестовые теории
Простейший анализ тестовых заданий «на каждый день»
Коэффициент решаемости
Дискриминативность задания
Мы знаем, где искать баги
Быстрая оценка
Анализ дистракторов
Item writing То, о чем часто забывают: ИНСТРУКЦИЯ
Экспертиза заданий с множественным выбором
(анти)пример 1
(анти)пример 2
(анти)пример 3
Онлайнизация и дистант : новые трудности
Справедливость оценивания студентов: зачем в вузах нужны психометрики
Справедливость оценивания студентов: зачем в вузах нужны психометрики
Цель стандартов тестирования
Справедливость оценивания студентов: зачем в вузах нужны психометрики
Справедливость оценивания студентов: зачем в вузах нужны психометрики
Справедливость оценивания студентов: зачем в вузах нужны психометрики
Справедливость оценивания студентов: зачем в вузах нужны психометрики
1/30
Средняя оценка: 4.2/5 (всего оценок: 15)
Код скопирован в буфер обмена
Скачать (2370 Кб)
1

Первый слайд презентации: Справедливость оценивания студентов: зачем в вузах нужны психометрики

28.08.2020 Инна Антипкина Центр психометрики и измерений в образовании Института образовании НИУ ВШЭ академический руководитель магистерской программы «Измерения в психологии и образовании»

Изображение слайда
2

Слайд 2: Тесты и тестовые задания

Историческая справка: слава разработчика вопросов с множественным выбором досталась Fredrick J. Kelly (Rogers, 1995). В 1916 году он опубликовал Kansas Silent Reading Test в журнале the Journal of Educational Psychology. Учащиеся должны были не вписывать ответ, а обводить кружком верный вариант. В 1920 году формат множественного выбора был использовал в SAT и в тесте Stanford–Binet Intelligence Test В 1934 США: IBM представила “ testscoring machine” В 1936 в России вышло постановление «О педологических извращениях» В 20 веке психометрика пережила несколько кризисов (кризис тестов «способностей», кризис «низкоуровневых» заданий), создала минимум три теории тестирования, решила множество методологических проблем и сейчас врастает в вычислительные науки, с одной стороны, и нейробиологию -- с другой.

Изображение слайда
3

Слайд 3

Что такое тест? Тест — это процедура, в которой рассматриваются примеры поведения испытуемого в определенной области, которые затем оцениваются согласно стандартизированному процессу. AERA/APA/NMCE, 2014, p. 2 Сегодня в России есть тестологи, которые настаивают на разделении терминологии: тест, опросник, анкета. Международная практика: тест – это любой инструмент оценивания. Но это нужно учитывать при коммуникации в России.

Изображение слайда
4

Слайд 4: Психометрика

Наука о разработке и анализе образовательных и психологических тестов и методик.

Изображение слайда
5

Слайд 5

Образовательное оценивание. 4 типа задач тестов

Изображение слайда
6

Слайд 6

Образовательное оценивание. 4 типа рамок

Изображение слайда
7

Слайд 7

« One cannot measure things without affecting them » В педагогике этот принцип привел к неизбежности обучения, настроенного на оценивание ( measurement driven instruction) Парадокс: оценивание -- самая «консервативная» часть процесса обучения, но когда меняется система оценивания, меняется и система обучения Вернер Гейзенберг

Изображение слайда
8

Слайд 8

Оценивание обучение Начало ХХ века Вторая половина ХХ века Рубеж ХХ-ХХ I века Оценивание компетенций ( perfomance -based assessment) «Триангуляция» оценивания Повторение Отработка Проверка дискретных знаний и навыков Адаптивность (CBT, IBT) Справедливость (универсальный дизайн: аккомодации, модификации) Маскировка game-based assessments, conversation-based assessment) Бихевиоризм Когнитивизм /Конструктивизм Эпоха эклектики парагогика, хьютагогика https://files.lab-h.eu/LEARNING_THEORIESv2.svg

Изображение слайда
9

Слайд 9: Что повлияет на дизайн теста?

Какова основная цель теста? Каковы дополнительные цели? Для кого он предназначен (ГС) Какие последствия после его прохождения могут быть (высокие ставки, низкие ставки) Кто заинтересованные стороны? Как обеспечить стандарты качества (надежность, валидность и другие стандарты) Как часто он будет применяться? Сколько вариантов? Нужно ли сравнивать баллы по разным формам/по годам? Нужно ли связывать тест с другими тестами? Будут ли устанавливаться пороговые баллы? Какие типы заданий будут использоваться? Какие отчеты и кому будут даваться?

Изображение слайда
10

Слайд 10: Типичные этапы разработки теста

Определение целей Теоретическая рамка (обзор литературы!+эксперты) Психология Образование 3. Операционализация конструкта Разработка тестовой спецификации 4. Написание заданий 5. Экспертная оценка заданий + правки 6. Когнитивные лаборатории + правки 7. Подготовка тестовых материалов (программирование или верстка) 8. Пилотирование (выборка?) 9. Анализ результатов 10. Правки в задания и/или дизайн теста 11. Администрирование теста (подготовка мануалов/ тренинга+стандартизация процедур) 12. Анализ результатов, подготовка отчетов и форм обратной связи 13. Если предусмотрено распространение теста – подготовка публикации или тех.отчета

Изображение слайда
11

Слайд 11: Тестовые теории

Классическая теория тестирования (КТТ) Статистические показатели зависят от выборки Простые процедуры Можно применять на маленьких выборках Не требует специального ПО Item response theory ( современная теория тестирования) Инвариантность Вероятностные модели Нужны большие выборки (чем сложнее модель, тем больше) Нужно специально ПО Возможность решать специфические задачи (выравнивание, адаптивные алгоритмы)

Изображение слайда
12

Слайд 12: Простейший анализ тестовых заданий «на каждый день»

Коэффициент решаемости задания Дискриминативность задания Анализ дистракторов

Изображение слайда
13

Слайд 13: Коэффициент решаемости

Изображение слайда
14

Слайд 14: Дискриминативность задания

Изображение слайда
15

Слайд 15: Мы знаем, где искать баги

2 26

Изображение слайда
16

Слайд 16: Быстрая оценка

Изображение слайда
17

Слайд 17: Анализ дистракторов

Варианты ответов а б+ в г Эмпирическая частота выбора дистрактора 1 (2%) 36 (73%) 2 (4%) 10 (21%) Корреляция с общим результатом (r Пирсона) -0.273 0.626** -0.13 -0.501** Варианты ответов а б в г+ д Эмпирическая частота выбора дистрактора 4 (8%) 0% 12 (24%) 34 (68%) 2 (4%) Корреляция с общим результатом (r Пирсона) -0.091 -- -0.699** 0.659** -0.071

Изображение слайда
18

Слайд 18: Item writing То, о чем часто забывают: ИНСТРУКЦИЯ

Инструкция должна быть ко всему тесту и к каждому заданию. Инструкция должна быть максимально краткой, ясной, однозначной. В инструкции к тесту указаны: задачи тест ограничения по времени (если есть) возможности использовать сопроводительные материалы, черновик, калькулятор и пр. можно ли пропускать задания и возвращаться к ним В инструкции к заданию Указано что делать (например, выбрать один или все подходящие варианты).

Изображение слайда
19

Слайд 19: Экспертиза заданий с множественным выбором

выделяйте отрицание в вопросе жирным шрифтом или КАСПЛОКОМ; делайте текст задания кратким забудьте про выражения «все перечисленные», «ничего из перечисленного», «все, кроме...», слова «иногда», «часто», всегда»; располагайте ответы, выраженные в числах, в начале или конце ряда ответов; избегайте повторяющихся слов в ответах; (переносите их в задания) держите в голове, что разработать хорошую методику тестирования — стоит денег ( вы стоите дорого!); приводите ответы к единому внешнему виду соблюдайте баланс числа заданий (слишком длинные тесты утомительны, слишком короткие могут быть ненадежными) хотя бы четыре ответных опции на вопрос с множественным выбором проводите когнитивные лабортории и пилотаж (апробации) ищите другие формы контроля верстка: задания не разрываются на страницах верстка: для ответа достаточно места верстка: шрифт хорошо читается, достаточно большой

Изображение слайда
20

Слайд 20: (анти)пример 1

Какое оружие считается стрелковым   ? ствольное оружие калибром менее 20 мм ствольное оружие калибром менее 30 мм ствольное оружие калибром менее 57 мм ствольное оружие калибром менее 76 мм ствольное оружие калибром менее 40 мм Ответ: 1  .

Изображение слайда
21

Слайд 21: (анти)пример 2

Изображение слайда
22

Слайд 22: (анти)пример 3

Поставьте в правильном порядке операции при методе послойного наплавления (FDM): 1) экструдер наносит пластик на платформу 2) шаговые двигатели с помощью зубчатых ремней приводят в движение экструдер, экструдер перемещается по направляющим 3) филамент поступает в экструдер 4) филамент разогревается, материал плавится и выдавливается через сопло экструдера 5) По окончании одного слоя принтер приподнимает экструдер или опускает платформу, далее начинает печатать новый слой поверх только что нанесенного слоя. Ответ: 3, 4, 2, 1, 5.

Изображение слайда
23

Слайд 23: Онлайнизация и дистант : новые трудности

https://ernbilen.github.io/pdfs/Cheating.pdf Bilen, E., & Matrosa, A. (2020). Online Cheating Amid COVID-19.

Изображение слайда
24

Слайд 24

Анализ времени ответов Bilen, E., & Matrosa, A. (2020). Online Cheating Amid COVID-19.

Изображение слайда
25

Слайд 25

Bilen, E., & Matrosa, A. (2020). Online Cheating Amid COVID-19.

Изображение слайда
26

Слайд 26: Цель стандартов тестирования

«Испытуемые имеют право быть оцененными с помощью тестов, которые соответствуют текущим профессиональным стандартам, в том числе стандартам технического качества, справедливости, администрирования и сообщения результатов». APA, AERA & NCME

Изображение слайда
27

Слайд 27

Ежегодник Оскара Буроса 1938 Защита прав потребителей Институт психических измерений Выходят до сих пор (электронный вид) https://buros.org/standards-codes-guidelines Эксперты Института Буроса используют APA, AERA & NCME, а также Guidelines for Computer-Based Testing : the Association of Test Publishers (ATP, 2001). Стандарты оценивания: США APA, AERA и NCME 1954 APA Technical Recommendations for Psychological Tests and Diagnostics Techniques 1955 AERA и NCME создали аналогичный документ для образовательных тестов. 1966 APA, AERA и NCME объединили усилия: Standards for Educational and Psychological Tests and Manuals, APA, AERA & NCME Обновления в 1974, 1985, 1999, 2009 и 2013 годах.

Изображение слайда
28

Слайд 28

С 1959 Комитет по тестированию Нидерландов (COTAN) С 1990 Британия, BPS С 2006 Германия, Национальный институт стандартизации Стандартизация тестов в европе Европейская федерация психологических ассоциаций ( EFPA ) объединяет 35 стран. EFPA Test Review Model опубликована в 2002, обновлена в 2013. http://www.efpa.eu/professional-development/assessment Есть русский перевод ITC International Test Commission (основана в 1978) : руководства по адаптации и проведению тестов, использованию их в бланковой и компьютерной форме,сообщению результатов. https:/www.intestcom.org/page/5

Изображение слайда
29

Слайд 29

4 июля 2008 года РПО (Российское психологическое общество) Принятие стандарта EFPA Методики, выкладываемые в открытом доступе, лишаются профессионального статуса «поскольку это ведет к несанкционированному и непрофессиональному использованию методик, приводит к неадекватным результатам (в связи с рассекречиванием методик для потенциальных испытуемых), нарушает права человека, может нанести вред здоровью и психическому благополучию обследуемых» 2015 год «Российский стандарт оценки персонала» https://orgpsyjournal.hse.ru/data/2015/07/10/1082537178/OrgPsy_2015_5_2_6(StandardPersonelTesting)67-138.pdf Стандарты ОЦЕНИВАНИЯ в России Глава 2. Понятие теста, классификация тестов и ситуаций тестирования Глава 3. Подготовка тестирования в организации Глава 4. Требования к методикам тестирования Глава 5. Требования к квалификации исполнителей Глава 6. Проведение тестирования Глава 7. Обработка, интерпретация и анализ результатов Глава 8. Информационные технологии в тестировании Глава 9. Сопряжение с другими оценочными процедурами и контроль качества тестирования Глава 10. Обратная связь и принятие решений по результатам тестирования Глава 11. Этические нормы в тестировании персонала

Изображение слайда
30

Последний слайд презентации: Справедливость оценивания студентов: зачем в вузах нужны психометрики

Сложный мир – сложные задачи Мир VUCA: volatility (нестабильность) uncertainty (неопределенность) complexity (сложность) ambiguity (неоднозначность) Актуальные темы: 4К и новые грамотности социально-эмоциональные навыки составные предметные умения универсальный дизайн тестирования онлайнизация оценивания вычислительные подходы

Изображение слайда