Презентация на тему Педагогика высшей школы. Конструирование тестов контроля компетенций

первого теста интеллекта для детей

1928)
Создатель первой батареи тестов интеллекта для детей
(«профиль Россолимо»)

1920-м годам;
Классический период тестологии в в оценке академических достижений

– 30-е – 70-е годы ХХ века;
В конце 1970–х годов классическая теория тестов уступила свои позиции современной Item Response Theory (IRT) Г. Раша (Georg Rasch)
В СССР развитие тестологии было прервано постановлением ЦК ВКП(б) «О педологических извращениях в системе наркомпросов») (1936)
Вплоть до 1980-х годов тестологические исследования и публикация книг по тестологии была проблематична

систем
• изменение содержания образования;
• информатизация всех его уровней и

повышение роли творческих аспектов подготовки обучающихся на всех образовательных этапах;
• обеспечение вариативности учебных программ, совершенствование структуры государственных образовательных стандартов;
• введение единого государственного экзамена (ЕГЭ) как независимой формы аттестации выпускников и эффективной системы отбора абитуриентов;
• интеграция страны в мировое образовательное пространство

тесты успешности, тесты успеваемости, педагогические тесты) являются диагностическим инструментом

объективной оценки и контроля результатов образовательной или профессиональной подготовки

показателей. В этом плане выделяют тесты достижений, ориентированные на

норму, и тесты достижений, ориентированные на критерий.
2. Применение процедур стандартизации при подготовке и проведении теста. В связи с этим основанием выделяют стандартизированные и неформальные тесты достижений.

— критерий;
Выводы, которые делаются на основании результатов тестирования,

всегда выражаются в терминах специфического содержания;
Выводы на их основе конкретны и тем самым открывают путь для коррекции.

сопровождающие конструирование этих тестов, определяются профессиональной подготовкой преподавателя, имеющимися

техническими средствами, наличием времени;
ориентация этих тестов на педагогические потребности одной группы или немногих групп;
Низкие затраты на создание

успеваемости.
2. Для итоговой аттестации выпускников.
3. Для оценки качества педагогической

деятельности отдельных образовательных учреждений и педагогов в ходе их аттестации.

наличие стандартной процедуры оценки результатов и постановки диагноза.

быть выстроено в строгом соответствии с целями и задачами

учебного курса, с учебными программами, стандартами и др. документами, регламентирующими учебный процесс;
Основное значение имеет учебная программа: задания должны быть относительно равномерно распределены по разным темам и разделам рабочей программы, с учетом их важности - это называется тематической репрезентативностью заданий теста.
Тематическая репрезентативность – это важнейшее условие содержательной валидности теста.

учитывать различные типы и показатели достижений:
1. Овладение теоретическим материалом.
2.

Овладение умениями (применение теоретических знаний в привычных условиях).
3. Творческое применение знаний (перенос знаний и умений в новые ситуации и сферы деятельности).
1, 2 – овладение ЗУН, 3 – творческое применение знаний

терминов.
3. Знание классификаций, законов, принципов, теорий.
4. Знание способов деятельности

и методов познания.

ситуациях на обычном материале;
Показателем творческого применения знаний является

способность решать творческие задания, проблемы связанные с переносом ЗУН в новые ситуации и условия, на иной материал;
Желательно относительно равномерное распределение заданий на различные показатели достижений в рамках каждой темы или раздела

элементарные показатели достижений (знание фактов, знание понятий) и недостаток

заданий на сложные показатели достижений (знание законов, теорий, способов деятельности, владение умениями и навыками, способность решать творческие задания и проблемы).
Опора на репродуктивный уровень усвоения знаний и игнорирование продуктивного уровня.

число заданий, отражающих малозначимые ЗУН и недостаток заданий –

на основные
Наличие взаимозависимых заданий, когда формулировка или ответ одного из заданий подсказывают ответ на другое задание.
Некачественный подбор дистракторов (неверных вариантов ответа), позволяющий испытуемым найти правильный ответ «окольными путями».

присутствовать ключевые слова;
Б) дистракторы не должны быть существенно короче

или проще правильного ответа;
В) правильный ответ не должен быть средним из ряда дистракторов (не давать возможность использовать правило «золотой середины»);
Г) правильный ответ не должен быть более наукообразным, чем дистракторы;
Д) дистракторы не должны быть необычными, вычурными.

с разным уровнем успеваемости;
Дискриминативность теста высока, если слабые

учащиеся получают низкие баллы (близкие к минимально возможным), а сильные – высокие баллы;
Дискриминативность теста в целом зависит от трудности отдельных заданий;
Трудность заданий определяется тем, какая доля испытуемых сумела дать правильный ответ на задание

Определение качества теста

не должен забывать, что тестовые задания по своей трудности

есть нечто противоложное так называемым творческим» или «олимпиадным», заданиям. Если для «олимпиад» уместны трудные задания, позволяющие дифференцировать прежде всего лучших от самых лучших, то для тестов нужны элементарные задания, позволяющие скорее дифференцировать неподготовленных (худших) от умеренно подготовленных («середнячков»). Кроме того, следует учесть, что тесты даются с ограничением времени: на 20 заданий отводить целесообразно не более 10 минут».

тот, кто уверенно и быстро применяет базовые знания, кто

способен показать хороший умственный темп, высокую степень автоматизации основных навыков, «свернутость» понятий и умственных операций. Без ограничений времени отличник должен уметь ответить на все 100 процентов тестовых заданий, но при ограничении времени отличник со средним умственным темпом должен ответить только на 70-80 процентов тестовых заданий».

исследования;
Чрезмерно легкие задания (с коэффициентом трудности 0,2 и менее),

чрезмерно сложные задания (с коэффициентом трудности 0,8 и более) должны быть исключены из теста, либо переформулированы;
Вопрос о трудности заданий тесно связан с вопросом о том, какие стандартные процедуры оценки результатов и постановки диагноза будут использоваться;
Следует понимать, что установление любых границ для определения уровня успеваемости (норм) является условным.

горных рек относится река
а) Дон б) Кубань в) Нева

г) Печора.
2. Не должны содержать намека как на правильный, так и на неправильный ответ.

утверждать что-то одно, избегать оборотов с частицей «не».
ПРИМЕР:
Природные

ресурсы относятся к числу
а) неисчерпаемых
б) исчерпаемых возобновляемых
в) исчерпаемых не возобновляемых.

предложения и не более трех.
ПРИМЕР
Массовое освоение целинных земель 50-е

гг. вызвало переселение россиян в … (Казахстан).
5. По возможности чаще использовать количественные термины.
ПРИМЕР
Доля городского населения России составляет
а) 18% б) 33% в) 52% г) 74%

же числом альтернатив.
ПРИМЕР
Среди источников питания у большинства рек России

преобладает
а) грунтовое
б) дождевое
в) ледниковое
г) снеговое
2. Количественные ответы располагать от большего к меньшему или наоборот.
ПРИМЕР
Сколько процентов площади России занимает Восточный макрорегион?
а)25% б) 50% в) 75% г)90%

не должен зависеть от предыдущих ответов:
ПРИМЕР
Самое большое озеро на

нашей планете?
а) Каспийское
б) Байкал
в) Аральское
г) Ладожское
Оно является
а) пресным
б) соленым
в) сточным
г) бессточным
Неправильный ответ на первый вопрос влечет за собой ошибку на второй.

водоем в углублении на поверхности суши;
б) сильно увлажненный участок

суши, образованный в результате застоя воды;
в) искусственный водоем, создаваемый для накопления воды.
Лучше:
Природный водоем в углублении на поверхности суши
а) река б) озеро в) пруд

задачи в тесте - три этапов:
1. Упорядочивание заданий для

испытания теста (случай, если составляет сам преподаватель).
Правила этой процедуры:
а) Располагайте задания каждого типа вместе.
б) Располагайте задания в порядке возрастания предполагаемой трудности – это предотвратит случаи, когда слишком старательный студент тратит много времени на задание, которое он не может решить.
в) С учетом (а) и (б) располагайте материал с разными формами представления данных с чередованием, на сколько это возможно. Это снижает монотонность и связанное с ней утомление.
г) Дать указание испытуемым отмечать, какое задание теста они выполняют в разные моменты времени, для того, чтобы убедиться, сколько времени требуется на выполнение заданий теста.
д) При конструировании бланковых тестов лучше разместить задачи на местах так, чтобы они были пространственно разнесены и легко воспринимались. Задания и варианты ответов к ним должны располагаться на одной странице.
е) Важные части инструкции должны быть подчеркнуты или выделены особым шрифтом.

различными путями;
Наиболее доступным является отбор в случайном порядке

по алфавиту;
После того, как определен состав выборки, испытуемым предлагается решить составленные задачи;
Полученные ответы анализируются с целью установления трудностей.

трудность задачи связана с индивидуально–психологическим барьером. В психологии величина

этого барьера определяется различными факторами, в том числе:
а) условием решения задачи (временем, отведенным на решение, понятностью инструкции и т.п.);
б) уровнем формирования необходимых для решения знаний, умений и навыков;
в) состоянием испытуемого.
Объективная (статистическая) трудность определяется долями выборки решивших и не решивших задачу.

– индекс трудности в процентах, n – число испытуемых,

правильно решивших задачу, N – общее число испытуемых;
Задания, которые имеют индекс трудности от 0 до 50% - задания для проверки требований стандарта, их, как правило 70%;
если от 50 до 70% - эти задания для проверки требований программы, их 20%;
от 70 до 80% - задания высшей программы - их не должно быть в тесте более одного;
Задания, которые имеют значение показателя индекса трудности больше 80%, как правило, в тест не включаются.

- надежность и валидность;
Надежность – три вида;
Методы определения надежности:
а)

повторное (проводится от двух недель до шести месяцев);
Повторное с проведением другим экзаменатором;
б) параллельное (тестирование параллельной формой теста – два варианта)
в) расщепление (метод деления целого теста на части).
При этом распределение оценок за выполнение всего теста в целом должно быть близко распределению оценок при выполнении частей теста.

которые допускают неоднозначное толкование результатов.
· Угадывание ответов.
· Величина теста.

Чем тест длиннее, тем он надежнее.
· Источники связанные с испытуемыми. (Усталость, скука, невнимательность, жара или холод, самочувствие, различная мотивация).

насколько хорошо он это делает (А. Анастази);
Вопрос о

валидности решается лишь после того, как установлена достаточная ее надежность,
ненадежная методика не может быть валидной.

Валидность по содержанию (содержание каждого тестового задания соответствует цели

тестирования). Основная для тестов достижений.
· Конструктивная (концептуальная). Для тестов достижений не используется.
· Сравнительная валидность рассчитывается по результатам выполнения одного теста с результатами других тестов.
· Валидность по критерию (состоит в сравнении результатов, полученных при тестировании с данными по критерию, например с контрольной работой).
Валидность теста устанавливается сериями результатов. Изучение валидности превращается в экспериментально – описательные исследования.

Эксперты оценивают задачи теста в соответствии с целями предполагаемого

тестирования;
Процедура определения содержательной валидности:
· Укажите точно категорию лиц, для которой предназначен тест.
· Определите навыки, подлежащие тестированию. Составьте список.
· Преобразуйте этот список в перечень заданий, используя, когда это возможно, равное количество заданий на каждый навык.
· Представьте эти задания экспертам для проверки.

о выборе критерия является в этом виде основным;
От

выбора критерия зависит качественная и количественная оценка валидности;
Критерий валидности теста – это признак его обоснованности, правомерности его применения как измерительного инструмента

проверки и оценки выполнения) задание (система заданий), направленное на

выявление и дихотомическую оценку достижения студентами заданного государственным образовательным стандартом уровня подготовки

в тест заданий, обязательных для выполнения, известных учащимся и

отработанных с ними на уроках. Все задания должны соответствовать требованиям стандарта. Индекс трудности таких заданий не превышает 50%. Задания лучше располагать по видам, разделяя каждый вид заданий инструкцией. При оценки каждое задание оценивается в 1 балл.
2. Полнота охвата заданиями проверяемого учебного материала, «репрезентативность» (представительность) проверочных заданий.
3. Надежность, т.е. давать одни и те же результаты для каждого испытуемого при повторном тестировании.
4. Объективность, т.е. результаты тестирования не должны зависеть от личности проверяющего.
Критерий оценки: Если студент справился со всеми заданиями, то ему ставится отметка «5», если с 99–80% - отметка «4», <80–60% - «3» менее 60%, то делается вывод, что данный обучающийся не достиг требований стандарта.

ответов.
Бланк заданий включает в себя:
1. название предмета;
2. курс, группа,

факультет;
3. тема, по которой осуществляется контроль;
4. время, отведенное на выполнение заданий;
5. возможно указание знаний и умений, проверяемых данным тестом;
6. инструкция на каждую группу заданий, объединенных по видам;
7. тестовые задания;
8. оценочная таблица или критерий оценки;
9. благодарность за работу.

и инструкциями не должен быть перегружен цифрами, делениями, строками

и другими обозначениями;
· задания и ответ к ним должны быть расположены на одной странице;
· ответ желательно свести к подчеркиванию, обведению кружком, обозначению простыми символами;
· задания должны быть разделены по видам. Перед каждым видом задач должна быть инструкция.
Инструкция содержит указания на то,
что испытуемый должен сделать,
каким образом выполнить задание,
где и как делать пометки.

написания, как правило, используют простые предложения, без уточняющих и

придаточных;
· важные части инструкции подчеркивают или выделяют особым шрифтом;
· инструкция сопровождается примерами.

изложения: закончите предложение, ответ должен быть развернутый и отражать

ваше понимание вопроса.
«Иммунитет – это …» (защитный механизм организма человека)

дополнения: заполните пропуски (многоточия), чтобы получилось верное утверждение.
Инструкция. Впиши

пропущенное слово.
Вопрос. Растения, животные и человек – это ….. природа.
Ответ. Живая.

тип ответов: установите, истины или ложны следующие утверждения.
«Сумма квадратов

катетов равна квадрату гипотенузы прямоугольного треугольника», «да» – «нет».
«В легких осуществляется газообмен», «да» – «нет».
«Клубнем можно размножить морковь», (истинно или ложно).

множественным выбором: в каждом задании установите верный ответ из

числа предложенных: а), б), в).
Инструкция. Обведи кружком букву, соответствующую правильному ответу. Найди несколько правильных ответов.
Вопрос. Какие движения совершает Земля?
А). Вращение вокруг Солнца. Б). Вращение вокруг Луны. В). Вращение вокруг оси.
Ответ. А) и В).

восстановление соответствия: соедините стрелками элементы первого списка и второго
Солнце

Планета.
Луна Спутник.
Земля Звезда.

исключение лишнего: выделите лишний элемент в списке.
Испытуемому предъявляется список

объектов: слов, фигур, чисел или чего-нибудь еще – всего, что только может придумать разработчик тестов; а испытуемый должен найти общие закономерности отношения между элементами списка, на основании которых и делать заключение об их подобии или различии.

установите правильную последовательность
Установите последовательность
Движение крови в сердце
1. Аорта
2. Левый

желудочек
3. Левое предсердие
Ответ: 3,2,1.