Бунин

Основные понятия теории тестов. Теория тестов и тестирование физической подготовленности учащихся. Что такое тест

Описание презентации по отдельным слайдам:

1 слайд

Описание слайда:

2 слайд

Описание слайда:

Физическими качествам принято называть врожденные (генетически унаследованные) морфофункциональные качества, благодаря которым возможна физическая (материально выраженная) активность человека, получающая свое полное проявление в целесообразной двигательной деятельности. К основным физическим качествам относят силу, быстроту, выносливость, гибкость, ловкость.

3 слайд

Описание слайда:

Двигательные способности- это индивидуальные особенности, определяющие уровень двигательных возможностей человека (В. И. Лях, 1996). Основу двигательных способностей человека составляют физические качества, а форму проявления - двигательные умения и навыки. К двигательным способностям относят силовые, скоростные, скоростно-силовые, двигательно-координационные способности, общую и специфическую выносливость

4 слайд

Описание слайда:

Схема систематизации физических (двигательных) способностей Физические (двигательные) способности Кондиционные (энергетические) Силовые Сочетания кондиционных способностей Выносливость Скоростные Гибкость Координационные (информационные) КС, относящиеся к отдельным группам двигательных действий, специальные КС Специфические КС Сочетания координационных способностей Сочетания кондиционных и координационных способностей

5 слайд

Описание слайда:

ПОЛУЧИТЬ ТОЧНУЮ ИНФОРМАЦИЮ ОБ УРОВНЕ РАЗВИТИЯ ДВИГАТЕЛЬНЫХ СПОСОБНОСТЕЙ /высокий, средний, низкий/ МОЖНО С ПОМОЩЬЮ ТЕСТОВ /или контрольных упражнений/.

6 слайд

Описание слайда:

С помощью контрольных испытаний (тестов) можно выявить абсолютные (явные) и относительные (скрытые, латентные) показатели этих способностей. Абсолютные показатели характеризуют уровень развития тех или иных двигательных способностей без учета их влияния друг на друга. Относительные показатели позволяют судить о проявлении двигательных способностей с учетом этого влияния.

7 слайд

Описание слайда:

Вышеназванные физические способности можно представить как существующие потенциально, т. е. до начала выполнения какой-либо двигательной деятельности или деятельностей (их можно называть потенциальными способностями) и как проявляющиеся реально в начале (в том числе при выполнении моторных тестов) и в процессе выполнения этой деятельности (актуальные физические способности).

8 слайд

Описание слайда:

С определенной долей условности можно говорить об ЭЛЕМЕНТАРНЫХ и физических способностях СЛОЖНЫХ физических способностях

9 слайд

Описание слайда:

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ ПОЗВОЛЯЮТ РАЗЛИЧАТЬ СЛЕДУЮЩИЕ ФИЗИЧЕСКИЕ СПОСОБНОСТИ СПЕЦИАЛЬНЫЕ СПЕЦИФИЧЕСКИЕ ОБЩИЕ КС

10 слайд

Описание слайда:

Специальные физические способности относятся к однородным группам целостных двигательных действий или деятельностей: бегу, акробатическим и гимнастическим упражнениям на снарядах, метательным двигательным действиям, спортивным играм (баскетболу, волейболу).

11 слайд

Описание слайда:

О специфических проявлениях физических способностей можно говорить как о компонентах, составляющих их внутреннюю структуру.

12 слайд

Описание слайда:

Так, основными компонентами координационных способностей человека являются: способности к ориентированию, равновесию, реагированию, дифференцированию параметров движений; способности к ритму, перестроению двигательных действий, вестибулярной устойчивости, произвольному расслаблению мышц. Эти способности являются специфичными.

13 слайд

Описание слайда:

Основными компонентами структуры скоростных способностей считают быстроту реагирования, скорость одиночного движения, частоту движений и скорость, проявляемую в целостных двигательных действиях.

14 слайд

Описание слайда:

К проявлениям силовых способностей относят: статическую (изометрическую) силу, динамическую (изотоническую) силу - взрывную, амортизационную силу.

15 слайд

Описание слайда:

Большой сложностью отличается структура выносливости: аэробная, требующая для своего проявления кислородных источников расщепления энергии; анаэробная (гликолитический, креатинфосфатный источники энергии - без участия кислорода); выносливость различных мышечных групп в статических позах - статическая выносливость; выносливость в динамических упражнениях, выполняемых со скоростью 20-90% от максимальной.

16 слайд

Описание слайда:

Менее сложными являются проявления (формы) гибкости, где выделяют активную и пассивную гибкость.

17 слайд

Описание слайда:

Под общими физическими способностями следует понимать потенциальные и реализованные возможности человека, определяющие его готовность к успешному осуществлению различных по происхождению и смыслу двигательных действий. Специальные физические способности - это возможности человека, определяющие его готовность к успешному осуществлению сходных по происхож­дению и смыслу двигательных действий. Поэтому тесты дают информацию прежде всего о степени сформированности специальных и специфических физических (скоростных, координационных, силовых, выносливости, гибкости) способностей.

18 слайд

Описание слайда:

Специальные физические способности - это возможности человека, определяющие его готовность к успешному осуществлению сходных по происхождению и смыслу двигательных действий. Поэтому тесты дают информацию прежде всего о степени сформированности специальных и специфических физических (скоростных, координационных, силовых, выносливости, гибкости) способностей.

19 слайд

Описание слайда:

Задачи тестирования выявлять уровни развития кондиционных и координационных способностей, оценивать качество технической и тактической подготовленности. На основе результатов тестирования можно: сравнивать подготовленность как отдельных учащихся, так и целых групп, проживающих в разных регионах и странах; проводить спортивный отбор для занятий тем или иным видом спорта, для участия в соревнованиях; осуществлять в значительной степени объективный контроль за обучением (тренировкой) школьников и юных спортсменов; выявлять преимущество и недостатки применяемых средств, методов обучения и форм организации занятий; наконец, обосновывать нормы (возрастные, индивидуальные) физической подготовленности детей и подростков.

20 слайд

Описание слайда:

Наряду с вышеназванными задачами в практике разных стран задачи тестирования сводятся к следующему: научить самих школьников определять уровень своей физической подготовленности и планировать необходимые для себя комплексы физических упражнений; стимулировать учащихся к дальнейшему повышению своего физического состояния (формы); знать не столько исходный уровень развития двигательной способности, сколько его изменение за определенное время; стимулировать учащихся, добившихся высоких результатов, но не столько за высокий уровень, сколько за запланированное повышение личных результатов.

21 слайд

Описание слайда:

Тест - это измерение или испытание, проводимое для определения способностей или состояния человека.

22 слайд

Описание слайда:

В качестве тестов могут использоваться лишь те испытания (пробы), которые отвечают специальным требованиям: должна быть определена цель применения любого теста (или тестов); следует разработать стандартизированную методику измерения результатов в тестах и процедуру тестирования; необходимо определить надежность и информативность тестов; результаты тестов могут быть представлены в соответствующей системе оценки

23 слайд

Описание слайда:

Тест. Тестирование. Результат тестирования Система использования тестов в соответствии с поставленной задачей, организацией условий, выполнением тестов испытуемыми, оценка и анализ результатов называется тестированием. Полученное в ходе измерений числовое значение - результатом тестирования (теста).

24 слайд

Описание слайда:

В основе тестов, используемых в физической культуре, лежат двигательные действия (физические упражнения, двигательные задания). Такие тесты называются двигательными или моторными.

25 слайд

Описание слайда:

Известна классификация тестов по их структуре и по их преимущественным показаниям различают единичный и комплексный тесты. Единичный тест служит для измерения и оценки одного признака (координационной или кондиционной способности).

26 слайд

Описание слайда:

27 слайд

Описание слайда:

С помощью комплексного теста оценивается несколько признаков или компонентов разных или одной и той же способности. например, прыжок вверх с места (со взмахом рук, без взмаха рук, на заданную высоту).

28 слайд

Описание слайда:

29 слайд

Описание слайда:

ТЕСТЫ могут быть кондиционные тесты для оценки силовых способностей для оценки выносливости; для оценки скоростных способностей; для оценки гибкости координационные тесты для оценки координационных способностей, относящихся к отдельным самостоятельным группам двигательных действий, которые измеряют специальные координационные способности; для оценки специфических координационных способностей - способностей к равновесию, ориентированию в пространстве, реагированию, дифференцированию параметров движений, ритму, перестроению двигательных действий, согласованию (связи), вестибулярной устойчивости, произвольному расслаблению мышц).

30 слайд

Описание слайда:

Каждая классификация – это своеобразные ориентиры для выбора (или создания) того типа тестов, которые в большей мере соответствуют задачам тестирования.

31 слайд

Описание слайда:

КРИТЕРИИ ДОБРОТНОСТИ ДВИГАТЕЛЬНЫХ ТЕСТОВ понятие «двигательный тест» отвечает своему назначению тогда, когда тест удовлетворяет соответствующим основным критериям: надежности, стабильности, эквивалентности, объективности, информативности (валидности), а также дополнительным критериям: нормированию, сопоставляемости и экономичности. Тесты, удовлетворяющие требованиям надежности и информативности, называют добротными, или аутентичными (достоверными).

32 слайд

Описание слайда:

Под надежностью теста понимают степень точности, с которой он оценивает определенную двигательную способность независимо от требований того, кто ее оценивает. Надежность проявляется в степени совпадения результатов при повторном тестировании одних и тех же людей в одинаковых условиях; это стабильность или устойчивость результата теста индивида при повторном проведении контрольного упражнения. Другими словами, ребенок в группе обследуемых по результатам повторных тестирований (например, показа­телей прыжков, времени бега, дальности метания) устойчиво сохраняет свое ранговое место. Надежность теста определяется с помощью корреляционно-статистического анализа путем расчета коэффициента надежности. При этом используют различные способы, на основании которых судят о надежности теста.

33 слайд

Описание слайда:

Стабильность теста основывается на зависимости между первой и второй попытками, повторенными через определенное время в одинаковых условиях одним и тем же экспериментатором. Способ повторного тестирования на определение надежности называется ретестом. Стабильность теста зависит от вида теста, возраста и пола испытуемых, временного интервала между тестом и ретестом. Например, показатели кондиционных тестов или морфологических признаков при небольших временных интервалах более стабильны, чем результаты координационных тестов; у более старших детей - результаты стабильнее, чем у более младших. Ретест обычно проводится не позднее, чем через неделю. При более длительных интервалах (например, через месяц) стабильность даже таких тестов, как бег на 1000 м или прыжок в длину с места, становится уже заметно ниже.

34 слайд

Описание слайда:

Эквивалентность теста Эквивалентность теста заключается в корреляции результата теста с результатами других однотипных тестов. Например, когда надо выбрать, какой тест более адекватно отражает скоростные способности: бег на 30, 50, 60 или 100 м. Отношение к эквивалентным (гомогенным) тестам зависит от многих причин. Если надо повысить надежность оценок или выводов исследования, тогда целесообразно использовать два и больше эквивалентных теста. А если стоит задача создать батарею, содержащую минимум тестов, тогда следует применять только один из эквивалентных тестов. Такая батарея, как отмечалось, является гетерогенной, так как входящие в нее тесты измеряют разные двигательные способности. Примером гетерогенной батареи тестов является бег на 30 м, подтягивание на перекладине, наклон вперед, бег на 1000 м.

35 слайд

Описание слайда:

Надежность тестов определяют также по сопоставлению средних оценок четных и нечетных попыток, входящих в тест. Например, среднюю точность бросков в цель из 1, 3, 5, 7 и 9 попыток сравнивают со средней точностью бросков из 2, 4, 6, 8 и 10 попыток. Такой метод оценки надежности называется методом удвоения, или расщеплением. Он используется преимущественно при оценке координационных способностей и в том случае, если число попыток, образующих тестовый результат, не меньше шести.

36 слайд

Описание слайда:

Под объективностью (согласованностью) теста Под объективностью (согласованностью) теста понимают степень согласованности результатов, получаемых на одних и тех же испытуемых разными экспериментаторами (учителями, судьями, экспертами). Для повышения объективности тестирования необходимо соблюдение стандартных условий проведения теста: время тестирования, место, погодные условия; единое материальное и аппаратурное обеспечение; психофизиологические факторы (объем и интенсивность нагрузки, мотивация); подача информации (точная словесная постановка задачи теста, объяснение и демонстрация). Это так называемая объективность проведения теста. Говорят еще об интерпретационной объективности, касающейся степени независимости интерпретации результатов тестирования разными экспериментаторами.

37 слайд

Описание слайда:

В целом, как отмечают специалисты, надежность тестов можно повысить различными путями: более строгой стандартизацией тестирования, увеличением числа попыток, лучшей мотивацией испытуемых, увеличением числа оценщиков (судей, экспертов), повышением согласованности их мнений, увеличением числа эквивалентных тестов. Фиксированных значений показателей надежности теста не имеется. В большинстве случаев пользуются следующими рекомендациями: 0,95 - 0,99 - отличная надежность; 0,90 -- 0,94 -- хорошая; 0,80 -- 0,89 -- приемлемая; 0,70 - 0,79 - плохая; 0,60 - 0,69 - для индивидуальных оценок сомнительная, тест пригоден только для характеристики группы испытуемых.

38 слайд

Описание слайда:

Информативность теста это степень точности, с какой он измеряет оцениваемую двигательную способность или навык. В иностранной (и отечественной) литературе используют вместо слова «информативность» термин «валидность» (от англ. validity-обоснованность, действительность, законность). Фактически, говоря об информативности, исследователь отвечает на два вопроса: что измеряет данный конкретный тест (батарея тестов) и какова при этом степень точности измерения. Различают несколько видов валидности: логическую (содержательную), эмпирическую (на основании опытных данных) и предсказательную.

39 слайд

Описание слайда:

Важными дополнительными критериями тестов, как отмечалось, являются нормирование, сопоставляемостъ и экономичность. Суть нормирования состоит в том, что на основе результатов тестирования можно создать нормы, имеющие особое значение для практики. Сопоставляемостъ теста заключается в возможности сравнивать результаты, полученные по одному или нескольким формам параллельных (гомогенных) тестов. В практическом плане применение сопоставляемых моторных тестов снижает вероятность того, что в результате регулярного применения одного и того же теста оценивается не только и не столько уровень способности, сколько степень навыка. Одновременно сопоставляемые результаты тестов повышают достоверность выводов. Суть экономичности как критерия добротности теста состоит в том, что проведение теста не требует длительного времени, больших материальных затрат и участия многих помощников.

40 слайд

Описание слайда:

ОРГАНИЗАЦИЯ ТЕСТИРОВАНИЯ ПОДГОТОВЛЕННОСТИ ДЕТЕЙ ШКОЛЬНОГО ВОЗРАСТА Второй важной проблемой тестирования двигательных способностей (напомним, что первая - отбор информативных тестов, является организация их применения. Учитель физической культуры должен определить: в какие сроки лучше организовать тестирование, как осуществлять его на уроке и как часто следует проводить тестирование. Сроки тестирования согласуются со школьной программой, которая предусматривает обязательное двухразовое тестирование физической подготовленности учащихся.

41 слайд

Описание слайда:

Знание годичных изменений в развитии двигательных способностей детей позволяет учителю вносить соответствующие коррективы в процесс физической культуры на следующий учебный год. Однако учитель должен и может проводить более частое тестирование, вести так называемый оперативный контроль. Это целесообразно делать для того, чтобы определить, например, изменение уровня скоростных, силовых способностей и выносливости под влиянием уроков легкой атлетики в течение первой четверти. С этой целью учитель может применить тесты для оценки координационных способностей детей в начале и в конце освоения материала программы, например, по спортивным играм, для выявления изменения показателей развития этих способностей.

42 слайд

Описание слайда:

Следует учитывать, что разнообразие решаемых педагогических задач не позволяет предоставить учителю унифицированную методику тестирования, одинаковых правил проведения тестов и оценки результатов тестирования. Это требует от экспериментаторов (учителей) проявления самостоятельности в решении теоретико-методологических и организационных вопросов тестирования. Тестирование на уроке необходимо увязать с его содержанием. Другими словами, примененный тест или тесты при соблюдении соответствующих требований (как к методу исследования) должны органически входить в состав запланированных физических упражнений. Если, допустим, у детей требуется определить уровень развития скоростных способностей или выносливости, то необходимые тесты следует запланировать в ту часть урока, в которой будут решаться задачи развития соответствующих физических способностей.

43 слайд

Описание слайда:

Частота проведения тестирования во многом определяется темпами развития конкретных физических способностей, возрастно-половыми и индивидуальными особенностями их развития. Например, чтобы добиться существенного прироста быстроты, выносливости или силы, требуется несколько месяцев регулярных занятий (тренировок). В то же время для того, чтобы получить достоверный прирост гибкости или отдельных координационных способностей, требуется всего 4-12 тренировок. Достичь улучшения физического качества, если начинать «с нуля», можно и за более короткий срок. А для того, чтобы улучшить это же качество, когда оно у ребенка высокого уровня, требуется больше времени. В этой связи учитель должен глубже изучить особенности развития и совершенствования разных двигательных способностей у детей в разные возрастно-половые периоды.

44 слайд

Описание слайда:

При оценке общей физической подготовленности детей можно использовать самые разнообразные батареи тестов, выбор которых зависит от конкретных задач тестирования и наличия необходимых условий. Однако в связи с тем, что полученные результаты тестирования можно оценивать лишь путем сравнения, целесообразно выбирать тесты, которые широко представлены в теории и практике физического воспитания детей. Например, опираться на те, которые рекомендованы в программе по ФК. Для сравнения общего уровня физической подготовленности ученика или группы учащихся с помощью комплекса тестов прибегают к переводу результатов тестирования в очки или баллы. Изменение суммы очков при повторных тестированиях позволяет судить о прогрессе как отдельного ребенка, так и группы детей.

49 слайд

Описание слайда:

Важной стороной тестирования является проблема выбора теста для оценки конкретной физической способности и общей физической подготовленности.

50 слайд

Описание слайда:

Практические рекомендации и советы. ВАЖНО: Определить (выбрать) батарею (или совокупность) необходимых тестов с подробным изложением всех деталей их проведения; Установить сроки тестирования (лучше - 2-3 недели сентября - 1-е тестирование, 2-3 недели мая - 2-е тестирование); В соответствии с рекомендацией точно определить возраст детей на день тестирования и их пол; Разработать единые протоколы регистрации данных (возможно на основе использования ИКТ); Определить круг помощников и осуществить саму процедуру тестирования; Сразу провести математическую обработку данных тестирования - вычисление основных статистических параметров (средняя арифметическая, ошибка средней арифметической, стандартное отклонение, коэффициент вариации и оценки достоверности различий между средними арифметическими показателями, например параллель классов одной и той же и разных школ детей такого-то возраста и пола); Одним из значительных этапов работы может быть перевод результатов тестирования в очки или баллы. При регулярном тестировании (2 раза в год, в течение нескольких лет) это позволит учителю иметь представление о прогрессе результатов.

51 слайд

Описание слайда:

Москва «Просвещение» 2007 Книга содержит наиболее распространённые двигательные тесты по оценке кондиционных и координационных способностей учащихся. Пособие предусматривает индивидуальный подход учителя физической культуры к каждому конкретному ученику с учётом его возраста и телосложения.

Математические основы теории конструирования тестов

Типы тестовых заданий

Существует две существенно отличающихся формы заданий: закрытые (когда испытуемому для выбора предлагаются варианты ответов) и открытые (испытуемый должен получить ответ самостоятельно). Открытые задания, в свою очередь, можно разделить на две группы:

    задания с кратким регламентируемым ответом, формулировка которых должна порождать только один, запланированный разработчиком, ответ;

    задания со свободно конструируемым ответом, не имеющие никаких ограничений на содержание и форму представления ответов.

Выделяют пять основных типов заданий. Все остальные типы являются вариациями или комбинациями этих пяти типов.

    Задание с выбором. Текст задания состоит из вопроса. Для выбора предлагаются несколько вариантов ответа, из которых один или несколько являются правильными.

    Задание на дополнение. В формулировке зада-ния пропущен некоторый фрагмент текста, который указыва-ется подчерком (или несколькими подчерками одинаковой длины, если пропущенных слов несколько). Пропуск может быть в любой части текста, но рекомендуется делать его в конце. В ответе испытуемый должен написать пропущенные слова.

    Задание на установление правильной последовательности.

    Задание на установление соответствия. Формулировка задания содер-жит два перечня. Слева, как правило, приводятся элементы множества, содержащие постановку проблемы, справа – элементы, подлежащие выбору. Элементы левого множества нумеруются, правого – обозначаются буквами. Желательно, чтобы второе множество содержало большее число элементов по сравнению с первым множеством. При этом каждому эле-менту первого множества соответствует один или несколько элементов второго множества.

    Задание с развернутым ответом.

Этапы разработки теста

    Формулировка цели и объекта исследования.

Кто, что и почему подлежит тестированию

    Разработка содержания тестирования.

Изучение требований образовательного стандарта, содержания учебников.

Составление спецификации теста:

    Выделение разделов (тем) и их процентного содержания в тесте

    Выбор типов заданий

    Определение уровней овладения знаниями и умениями:

    1 уровень

    Знание определений основных понятий дисциплины, а также основных утверждений о методах дисциплины

    2 уровень

    Знание основных формул и алгоритмов; умение применять их при решении стандартных задач

    3 уровень

    Применение полученных знаний для решения нетипичных задач

  1. Определение примерного количества заданий в тесте и распределение этого количества по типам заданий.

    Разработка заданий.

Поскольку первый вариант теста должен выявить недостатки заданий (в том числе и предложенных дистракторов), то в каждом задании предлагалось возможно наибольшее число дистракторов, чтобы при выбраковке их осталось достаточное количество.

    Экспертиза сырого теста.

Целью экспертизы является выявление и исправление некорректных и непонятных формулировок. В результате из теста могут быть удалены какие-либо задания (поэтому рекомендуется заданий).

    Апробация.

    Расчет характеристик заданий и теста.

По результатам тестирования проводят расчет следующих статистических характеристик заданий и теста.

Размах индивидуальных баллов измеряет расстояние, в пределах которого изменяются все значения показателя в распределении (индивидуальных баллов).

Среднее выборочное (среднее арифметическое ) для совокупности индивидуальных баллов Х 1 , Х 2 , …, Х K группы K испытуемых вычисляется по формуле

.

Подсчет дисперсии основан на вычислении отклонений каждого значения показателя от среднего арифметического в распределении:

.

Низкая дисперсия указывает на низкое качество теста, поскольку слабая вариация результатов говорит о слабой дифференциации испытуемых по уровню подготовки. Излишне высокая дисперсия характерна для случая, когда все учащиеся различны по числу выполненных заданий, что также требует переработки теста.

Завершает расчёт характеристик теста оценка надёжности теста. Для вычисления коэффициента надёжности можно использовать формулу коэффициента Кьюдера-Ричардсона (только в случае, когда все веса заданий равны единице) :

.

Чтобы по значению коэффициента дать качественную оценку надежности теста, используют следующую таблицу:

Значение коэффициента надежности

Оценка надежности

неудовлетворительная

удовлетворительная

отличная

Оценка трудности j-го задания рассчитывается по формуле

.

Заметим, что чем легче задание, тем больше будет доля правильных ответов на него (p j ), поэтому естественнее было бы интерпретировать эту долю как легкость задания. В хорошо сбалансированном по трудности тесте должно быть несколько трудных заданий, несколько легких, но основная масса заданий должна иметь трудность от 0,3 до 0,7; при этом желательно, чтобы за-да-ния располагались в порядке воз-рас-та-ния их трудности.

Валидность заданий теста определяется степенью соответствия задания цели дифференциации испытуемых. Для этого определяются коэффициенты корреляции оценки за задание с баллом по всему тесту. Это делается с помощью коэффициента корреляции по формуле

,

где X i тестовый балл i -го испытуемого, Y i  балл i -го испытуемого за задание. Заметим, что в случае дихотомического оценивания задания расчёт коэффициента несколько упрощается . Если r < 0, то задание следует удалить из теста, т. к. в нем побеждают слабые ученики, а сильные выбирают неверный ответ либо пропускают задание при выполнении теста. Положительные значения, но близкие к нулю (незначимые), указывают на низкую прогностическую способность задания теста; такие задания требуют доработки содержания.

Способность дифференцировать испытуемых на лучших и худших показывает коэффициент дифференцирующей способности (или индекс дискриминативности ) задания. Самый простой способ вычисления такого индекса называется методом контрастных групп и заключается в следующем. Из всей группы испытуемых выделяется некоторая часть лучших по результатам выполнения теста испытуемых (будем называть их сильной подгруппой) и столько же худших (слабая подгруппа). Затем для каждой из этих подгрупп вычисляется доля правильных ответов в подгруппе. Обозначим через p 1 j долю правильных ответов на j -е задание в сильной подгруппе, а через p 0 j – долю правильных ответов в слабой подгруппе. Тогда индекс дискриминативности i -го задания определяется по формуле:

(r дис) j = p 1 j p 0 j .

Для задания, с которым справились все сильные испытуемые, и не справился ни один слабый, индекс дискриминативности r дис будет равен 1; в этом случае задание обладает максимальным дифференцирующим эффектом. Для задания, с которым справились все слабые испытуемые, и не справился ни один сильный, индекс дискриминативности будет равен –1. В остальных случаях индекс будет принимать значения между –1 и 1. Задания с нулевым и отрицательным значением индекса дискриминативности плохо дифференцируют учащихся, поэтому должны быть удалены из теста. Если индекс положителен, но меньше 0,2 , то такое задание требует тщательного анализа содержания.

Согласно этим характеристикам какие-то задания могут быть удалены из теста, какие-то подлежат исправлению. После этого должны быть повторены этапы 5, 6.

Формулы для вычисления вероятности угадывания

При составлении теста нужно определить, сколько ответов следует предлагать на каждый вопрос, чтобы вероятность успешно пройти тестирование, просто угадав правильные ответы, была меньше 0,05 (т.е. меньше 5%). Тестирование будем считать успешно пройденным, если тестируемый верно отвечает не менее, чем на Q % вопросов. Если тест включает N вопросов, то для вычисления вероятности “успешного угадывания” используется следующая формула :

,

где m - число ответов, предлагаемых на каждый вопрос.

В случае, когда количество предлагаемых ответов на вопросы в разных заданиях различно, формула имеет более сложный вид:

,

где - вероятность угадывания ответов на j вопросов, которая вычисляется следующим образом. Пусть все вопросы в тесте можно разделить на r групп так, что в одну группу объединены вопросы с одинаковой вероятностью угадывания. Обозначим p i , 0< p i <1 - вероятность угадывания и k i - количество вопросов в i - той группе (
) , причем

.

Тогда для j от
до N:

,

где t r = j  (t 1 + t 2 +…+ t r -1) , причем если t r > k r , то будем считать
= 0 .

Примеры.

N=10, Q=2/3: m=2, P<0,2; m=3, P<0,02; m=4, P<0,004

Литература

    Челышкова М. Б. Теория и практика конструирования педагогических тестов: Учебное пособие. – М.: Логос, 2002. – 432 с.

    Малыгин А. А., Светцов В. И., Щаницина С. В. Практические рекомендации к составлению контрольно–измерительных материалов: Метод. пособие / Иван. гос. хим.–технол. ун-т. – Иваново, 2005. – 30 с.

    Как составить тест // Слойер К. Математические фантазии. - М.: Мир, 1993. - с.116-118.

ОТЧЕТ

студента 137 гр. Иванова И.

о проверке эффективности методики тренировки
с применением методов математической статистики

Разделы отчета оформляются в соответствии с образцами, приведенными в настоящем пособии в конце каждого этапа игры. Зачтенные отчеты хранятся на кафедре биомеханики до консультации перед экзаменом. Студенты, не отчитавшиеся за проделанную работу и не сдавшие тетрадь с отчетом преподавателю, к экзамену по спортивной метрологии не допускаются.


I этап деловой игры
Контроль и измерения в спорте

Цель:

1. Ознакомиться с теоретическими основами контроля и измерений в спорте и физическом воспитании.

2. Приобрести навыки измерения показателей скоростных качеств у спортсменов.

1. Контроль в физическом
воспитании и спорте

Физическое воспитание и спортивная тренировка – не стихийный, а управляемый процесс. В каждый момент времени человек находится в определенном физическом состоянии, которое определяется, главным образом, здоровьем (соответствием показателей жизнедеятельности норме, степенью устойчивости организма к неблагоприятным внезапным воздействиям), телосложением и состоянием физических функций.

Физическим состоянием человека целесообразно управлять, изменяя его в нужном направлении. Это управление осуществляется средствами физического воспитания и спорта, к которым, в частности, относятся физические упражнения.

Это только кажется, что преподаватель (или тренер) управляет физическим состоянием, воздействуя на поведение спортсмена, т.е. предлагая определенные физические упражнения, а также контролируя правильность их выполнения и получаемые при этом результаты. В действительности же поведением спортсмена управляет не тренер, а сам спортсмен. В ходе спортивной тренировки оказывается воздействие на самоуправляемую систему (организм человека). Индивидуальные различия в состоянии спортсменов не дают уверенности в том, что одно и то же воздействие вызовет одинаковую ответную реакцию. Поэтому актуален вопрос об обратной связи: информации о состоянии спортсмена, поступающей тренеру в ходе контроля тренировочного процесса.

Контроль в физическом воспитании и спорте базируется на измерениях показателей, отборе наиболее существенных и их математической обработке.

Управление учебно-тренировочным процессом включает в себя три стадии:

1) сбор информации;

2) ее анализ;

3) принятие решений (планирование).

Сбор информации обычно осуществляется во время комплексного контроля, объектами которого являются:

1) соревновательная деятельность;

2) тренировочные нагрузки;

3) состояние спортсмена.



Различают (В.А. Запорожанов) три типа состояний спортсмена в зависимости от длительности промежутка, необходимого для перехода из одного состояния в другое.

1. Этапное (перманентное) состояние. Сохраняется относительно долго – недели или месяцы. Комплексная характеристика этапного состояния спортсмена, отражающая его возможности к демонстрации спортивных достижений, называется подготовленностью, а состояние оптимальной (наилучшей для данного цикла тренировки) подготовленности – спортивной формой . Очевидно, что в течение одного или нескольких дней нельзя достигнуть состояния спортивной формы или утратить его.

2. Текущее состояние. Изменяется под влиянием одного или нескольких занятий . Нередко последствия участия в соревнованиях или выполненной на одном из занятий тренировочной работы затягиваются на несколько дней. В этом случае спортсмен обычно отмечает явления как неблагоприятного характера (например, мышечные боли), так и позитивного (например, состояние повышенной работоспособности). Такие изменения называют отставленным тренировочным эффектом .

Текущее состояние спортсмена определяет характер ближайших тренировочных занятий и величину нагрузок в них. Частный случай текущего состояния, характеризующийся готовностью к выполнению в ближайшие дни соревновательного упражнения с результатом, близким к максимальному, называется текущей готовностью .

3. Оперативное состояние. Изменяется под влиянием однократного выполнения физических упражнений и является временным (например, утомление, вызванное однократным пробеганием дистанции; временное повышение работоспособности после разминки). Оперативное состояние спортсмена изменяется в ходе тренировочного занятия и должно учитываться при планировании интервалов отдыха между подходами, повторными забегами, при решении вопроса о целесообразности дополнительной разминки и т.п. Частный случай оперативного состояния, характеризующийся немедленной готовностью к выполнению соревновательного упражнения с результатом, близким к максимальному, называется оперативной готовностью .

В соответствии с приведенной классификацией выделяют три основных вида контроля состояния спортсмена:

1) этапный контроль . Его цель – оценить этапное состояние (подготовленность) спортсмена;

2) текущий контроль . Его основная задача – определить повседневные (текущие) колебания в состоянии спортсмена;

3) оперативный контроль . Его цель – экспресс-оценка состояния спортсмена в данный момент.

Измерение или испытание, проводимое с целью определения состояния или способностей спортсмена, называется тестом . Процедура измерений или испытаний называется тестированием.

Любой тест включает в себя измерение. Но не всякое измерение служит тестом. В качестве тестов могут быть использованы лишь те, которые удовлетворяют следующим метрологическим требованиям :

2) стандартизация;

3) наличие системы оценок;

4) надёжность и информативность (добротность) тестов;

5) вид контроля (этапный, текущий или оперативный).

Тест, в основе которого лежат двигательные задания, называется двигательным. Существует три группы двигательных тестов:

1. Контрольные упражнения, выполняя которые спортсмен получает задание показать максимальный результат. Результатом теста является двигательное достижение. Например, время, за которое спортсмен пробегает дистанцию 100 м.

2. Стандартные функциональные пробы, в ходе которых задание, одинаковое для всех, дозируется либо по величине выполненной работы, либо по величине физиологических сдвигов. Результатом теста являются физиологические или биохимические показатели при стандартной работе либо двигательные достижения при стандартной величине физиологических сдвигов. Например, процент увеличения ЧСС после 20 приседаний или скорость, с которой бежит спортсмен при фиксируемой величине ЧСС 160 ударов в минуту.

3. Максимальные функциональные пробы, в ходе которых спортсмен должен показать максимальный результат. Результатом теста являются физиологические или биохимические показатели при максимальной работе. Например, максимальное потребление кислорода или максимальная величина кислородного долга.

Высококачественное тестирование предполагает знание теории измерений.

Первый компонент, теория тестов, содержит описание статистических моделей обработки диагностических дан­ных. Здесь содержатся модели анализа ответов в тестовых заданиях и модели подсчета суммарных результатов теста. Мелленберг (1980, 1990) назвал это «психометрией». Клас­сическая теория тестов, современная теория тестов (или модель анализа ответов на задания тестов - IRT) и модель


выборки заданий составляют три наиболее важных типа моделей теории тестов. Предметом рассмотрения психоди­агностики являются первые две модели.

Классическая теория тестов. На основе этой теории раз­работано большинство интеллектуальных и личностных те­стов. Центральным понятием этой теории является понятие «надежности». Под надежностью понимается согласован­ность результатов при повторном оценивании. В справоч­ных пособиях это понятие обычно представляется очень кратко, а затем дается подробное описание аппарата мате­матической статистики. В этой, вводной, главе мы предста­вим сжатое описание основного значения отмеченного понятия. В классической теории тестов под надежностью понимается повторяемость результатов нескольких проце­дур измерения (преимущественно измерений при помощи тестов). Понятие надежности предполагает вычисление ошибки измерения. Результаты, полученные в процессе тестирования, могут быть представлены как сумма истин­ного результата и ошибки измерения:

Xi = Ti + Еj

где Xi - оценка полученных результатов, Ti - истин­ный результат, а Еj - ошибка измерения.

Оценка полученных результатов - это, как правило, количество правильных ответов на задания теста. Истин­ный результат можно рассматривать как истинную оценку в платоновском смысле (Gulliksen, 1950). Широко распро­страненным является понятие ожидаемых результатов, т.е. представлений о баллах, которые могут быть получены в результате большого числа повторений процедур измере­ния (Lord & Novich, 1968). Но проведение одной и той же процедуры оценивания с одним человеком не представля­ется возможным. Поэтому необходим поиск других вариан­тов решения проблемы (Witlman, 1988).

В рамках этой концепции делаются некоторые допуще­ния относительно истинных результатов и ошибок измере­ния. Последние принимаются в качестве независимого фактора, что, конечно, является вполне обоснованным предположением, так как случайные колебания результа­тов не дают ковариаций: r ЕЕ =0.

Предполагается, что корреляции между истинными бал­лами и ошибками измерения не существует: r EE =0.


Суммарная ошибка равна 0, т.к. в качестве истинной оценки берется среднее арифметическое значение:

Эти допущения приводят нас в итоге к известному опре­делению надежности как отношения истинного результата к общей дисперсии или выражению: 1 минус отношение, в числителе которого ошибка измерения, а в знаменателе - общая дисперсия:


, ИЛИ

Из этой формулы определения надежности получаем, что дисперсия ошибки S 2 (E) равна общей дисперсии в числе случаев (1 – r XX "); таким образом, стандартная ошибка из­мерения определяется по формуле:

После теоретического обоснования надежности и его производных необходимо определить индекс надежности того или иного теста. Существуют практические процедуры оценивания надежности тестов, такие как использование взаимозаменяемых форм (параллельные тесты), расщепле­ние заданий на две части, повторное тестирование и изме­рение внутренней согласованности. Каждый справочник содержит индексы постоянства тестовых результатов:

r XX ’ =r(x 1 , x 2)

где r XX ’ - коэффициент стабильности, а x 1 и x 2 - результаты двух измерений.

Понятие надежности взаимозаменяемых форм введено и разработано Гулликсеном (1950). Данная процедура до­статочно трудоемка, поскольку связана с необходимостью создания параллельной серии заданий

r XX ’ =r(x 1 , x 2)

где r XX ’ - коэффициент эквивалентности, а x 1 и x 2 - два параллельных теста.

Следующая процедура - расщепление основного теста на две части А и В - более проста в использовании. Пока­затели, полученные по обеим частям теста, коррелируются. С помощью формулы Спирмена-Брауна оценивается на­дежность теста в целом:

где А и В - две параллельные части теста.

Следующий метод - определение внутренней согласо­ванности выполнения заданий теста. Этот метод основан на определении ковариаций отдельных заданий. Sg - диспер­сия произвольно выбранного задания, и Sgh - ковариация двух произвольно выбранных заданий. Наиболее часто ис­пользуемый коэффициент для определения внутренней со­гласованности - это «коэффициент альфа» Кронбаха. Используются также формула КР20 и λ-2 (лямбда-2).

В классической концепции надежности определяются ошибки измерения, возникающие как в процессе тестиро­вания, так и в процессе наблюдений. Источники этих оши­бок различны: это могут быть и личностные особенности, и особенности условий тестирования, и сами тестовые зада­ния. Существуют конкретные методы вычисления ошибок. Мы знаем, что наши наблюдения могут оказаться ошибоч­ными, наши методические инструменты несовершенны так же, как несовершенны и сами люди. (Как не вспомнить Шекспира: «Ненадежен ты, чье имя человек»). То, что в классической теории тестов ошибки измерения эксплици­руются и объясняются, является важным положительным моментом.

Классическая теория тестов имеет ряд существенных особенностей, которые можно рассматривать и как ее недо­статки. Некоторые из этих характеристик отмечаются в справочниках, но их значение (с житейской точки зрения) подчеркивается нечасто, как не отмечается и то, что с тео­ретической или методической точки зрения их следует счи­тать недостатками.

Первое. Классическая теория тестов и понятие надежно­сти ориентированы на подсчет суммарных тестовых пока­зателей, представляющих собой результат сложения оценок, полученных в отдельных заданиях. Так, при работе


Второе. Коэффициент надежности предполагает оценку величины разброса измеряемых показателей. Отсюда сле­дует, что коэффициент надежности будет ниже, если (при равенстве других показателей) выборка является более од­нородной. Не существует единого коэффициента внутрен­ней согласованности заданий теста, этот коэффициент всегда «контекстуален». Крокер и Альджина (1986), напри­мер, предлагают специальную формулу «коррекции для гомогенной выборки», предназначенную для самых высо­ких и самых низких результатов, полученных проходящи­ми тестирование. Для диагноста важно знать характеристики вариаций в выборочной совокупности, иначе он не сможет использовать коэффициенты внутрен­ней согласованности, указанные в руководстве к данному тесту.

Третье. Феномен сведения к показателю среднего ариф­метического является логическим следствием классической концепции надежности. Если оценка в тесте колеблется (т.е. она недостаточно надежна), то вполне возможно, что при повторении процедуры субъекты, имеющие низкие по­казатели, получат более высокие баллы, и наоборот, субъ­екты с высокими показателями - низкие. Этот артефакт процедуры измерения нельзя ошибочно принять за истин­ное изменение или проявление процессов развития. Но в то же время разграничить их нелегко, т.к. никогда нельзя исключить возможность изменения в ходе развития. Для полной уверенности необходимо"сравнение с контрольной группой.

Четвертая характеристика тестов, разработанных в со­ответствии с принципами классической теории,- это на­личие нормативных данных. Знание тестовых норм позволяет исследователю адекватно интерпретировать ре­зультаты тестируемых. Вне норм тестовые оценки лишены смысла. Выработка тестовых норм - это достаточно доро­гостоящее предприятие, поскольку психолог должен пол­учить результаты тестирования на репрезентативной выборке.

2 Я. тер Лаак

Если говорить о недостатках классической концепции надежности, то здесь уместно привести высказывание Сий-тсма (1992, р. 123-125). Он отмечает, что первое и главное предположение классической теории тестов состоит в том, что тестовые результаты подчиняются интервальному принципу. Однако никаких исследований, подтверждаю­щих это предположение, нет. По сути, это «измерение по произвольно установленному правилу». Данная особен­ность ставит классическую теорию тестов в менее выгодное положение по сравнению со шкалами измерения установок и, конечно же, по сравнению с современной теорией тестов. Многие методы анализа данных (дисперсионный анализ. регрессионный анализ, корреляционный и факторный ана­лиз) основаны на допущении существования интервальной шкалы. Однако оно не имеет твердого обоснования. Рас­сматривать шкалу истинных результатов как шкалу значе­ний психологических характеристик (например, арифметических способностей, интеллекта, нейротизма) можно только предположительно.

Второе замечание касается того, что результаты выпол­нения теста - это не абсолютные показатели той или иной психологической характеристики тестируемого, их необхо­димо рассматривать лишь как результаты выполнения того или иного теста. Два теста могут претендовать на изучение одних и тех же психологических характеристик (например, интеллекта, вербальных способностей, экстраверсии), но это не означает, что эти два теста равноценны и обладают одинаковыми возможностями. Сравнение показателей двух людей, прошедших тестирование разными тестами, некорректно. То же относится и к заполнению двух разных тестов одним испытуемым. Третье замечание относится к предположению, что стандартная ошибка измерения оди­накова применительно к любому уровню измеряемых спо­собностей индивида. Однако не существует эмпирической проверки этого предположения. Так, например, нет гаран­тии того, что тестируемый с хорошими математическими способностями при работе с относительно простым арифме­тическим тестом получит высокие баллы. В этом случае высокую оценку скорее получит человек с низкими или средними способностями.

В рамках современной теории тестов или теории анализа ответов в заданиях теста содержится описание большого


количества моделей возможных ответов респондентов. Эти модели различаются положенными в их основу допущени­ями, а также требованиями по отношению к получаемым данным. Модель Раша часто рассматривается в качестве синонима теорий анализа ответов в заданиях теста (1RT). На самом деле это только одна из моделей. Представленная в ней формула для описания характеристической кривой задания g выглядит следующим образом:

где g - отдельное задание теста; ехр - функция экспо­ненты (нелинейная зависимость); δ («дельта») - уровень трудности теста.

Другие задания теста, например h, также получают соб­ственные характеристические кривые. Выполнение условия δ h >δ g (g означает, что h - более трудное задание. Следовательно, для любого значения показателя Θ («тета» - латентные свойства способностей тестируемых) вероят­ность успешного выполнения задания h меньше. Эта модель называется строгой, поскольку очевидно, что при низкой степени выраженности черты вероятность выполнения за­дания близка к нулю. В этой модели нет места угадыванию и предположениям. Для заданий с вариантами выбора нет необходимости делать предположения о вероятности успе­ха. Кроме того, эта модель строга в том смысле, что все задания теста должны иметь одинаковую дискриминатив-ную способность (высокая дискриминативность отражается в крутизне кривой; здесь возможно построение шкалы Гут-тмана, согласно которой в каждой точке характеристиче­ской кривой вероятность выполнения задания меняется от О до 1). Из-за этого условия не все задания могут быть включены в тесты, созданные на основе модели Раша.

Существует несколько вариантов этой модели (напри­мер, Birnbaura, 1968, См. Lord & Novik). Она допускает существование заданий с различной дискриминативной

способностью.

Голландский исследователь Моккен (1971) разработал две модели анализа ответов в заданиях теста, требования которых не так строги, как в модели Раша, и поэтому, возможно, более реалистичны. В качестве основного усло-

вия Моккен выдвигает положение о том, что характеристи­ческая кривая задания должна следовать монотонно, без обрывов. Все задания теста при этом направлены на изуче­ние одной и той же психологической характеристики, из­мерять которую должна в. Допускается любая форма этой зависимости, пока она не прервется. Следовательно, форма характеристической кривой не определяется какой-либо специфической функцией. Такая «свобода» позволяет ис­пользовать больше заданий теста, и уровень оценивания при этом оказывается не выше, чем обычный.

Методология моделей ответов на задания теста (IRT) отличается от методологии большинства эксперименталь­ных и корреляционных исследований. Математическая мо­дель предназначена для изучения поведенческих, когнитивных, эмоциональных характеристик, а также фе­номенов развития. Эти рассматриваемые феномены часто ограничиваются ответами на задания, что позволило Мел-ленбергу (1990) назвать теорию IRT «мини-теорией о ми­ни-поведении». Результаты исследования могут быть в определенной степени представлены как кривые согласо­ванности, особенно в тех случаях, когда теоретические представления об изучаемых характеристиках отсутству­ют. До сих пор в нашем распоряжении имеются лишь еди­ницы тестов интеллекта, способностей и личностных тестов, созданных на основе многочисленных моделей тео­рии IRT. Варианты модели Раша чаще используются при разработке тестов достижений (Verhelst, 1993), а модели Моккена больше подходят для феноменов развития (см. также гл. 6).

Ответ тестируемого на задания теста является основной единицей моделей IRT. Тип ответа определяется степенью выраженности у человека изучаемой характеристики. Та­кой характеристикой могут быть, например, арифметиче­ские или пространственные способности. В большинстве случаев это тот или иной аспект интеллекта, характеристи­ки достижений или личностные особенности. Предполага­ется, что между положением данного конкретного человека в некотором диапазоне изучаемой характеристики и веро­ятностью успешного выполнения того или иного задания существует нелинейная зависимость. Нелинейность этой зависимости в определенном смысле интуитивно понятна. Известные фразы «Всякое начало трудно» (медленный не-


линейный старт) и «Стать святым не так просто», означают что дальнейшее совершенствование после достижения оп­ределенного уровня идет трудно. Кривая медленно прибли­жается, но почти никогда не достигает 100%-го уровня успеха.

Некоторые модели скорее противоречат нашему интуи­тивному пониманию. Возьмем такой пример. Человек с ин­дексом выраженности произвольной характеристики равным 1,5 имеет 60-процентную вероятность успеха при выполнении задания. Это противоречит нашему интуитив­ному пониманию такой ситуации, ведь можно либо успеш­но справиться с заданием, либо не справиться с ним вообще. Возьмем такой пример: 100 раз человек пытается взять высоту 1м 50 см. Успех сопутствует ему 60 раз, т.е. он имеет 60-процентную вероятность успеха.

Для оценки степени выраженности характеристики не­обходимо, по крайней мере, два задания. Модель Раша предполагает определение выраженности характеристик вне зависимости от трудности задания. Это также противо­речит нашему интуитивному пониманию: предположим, что человек имеет 80-процентную вероятность прыгнуть выше 1,30 м. Если это так, то в соответствии с характери­стической кривой заданий он имеет 60-процентную веро­ятность прыгнуть выше 1,50 м и 40-процентную вероятность прыгнуть выше 1,70 м. Следовательно, вне за­висимости от значения независимой переменной (высоты) можно оценить способность человека прыгать в высоту.

Существует около 50 моделей IRT (Goldstein & Wood, 1989).Имеется множество нелинейных функций, описыва­ющих (объясняющих) вероятность успеха в выполнении задания или группы заданий. Требования и ограничения этих моделей различны, и эти различия могут быть обнару­жены при сопоставлении модели Раша и шкалы Моккена. К требованиям этих моделей можно отнести:

1) необходимость определения исследуемой характеристи­ки и оценку позиции человека в диапазоне этой черты;

2) оценку последовательности заданий;

3) проверку конкретных моделей. В психометрии разрабо­тано множество процедур для проверки модели.

В некоторых справочных пособиях теория IRT рассмат­ривается как форма анализа заданий теста (см., например,

Croker& Algina, J 986). Можно, однако, отстаивать ту точку зрения, что теория IRT - это «мини-теория о мини-пове­дении». Сторонники теории IRT замечают, что если-несо­вершенны концепции (модели) среднего уровня, то что же можно сказать о более сложных конструктах в психологии?

Классическая и современная теории тестов. Люди не мо­гут не сравнивать вещи, которые выглядят почти одинако­во. (Возможно, житейский эквивалент психометрии и состоит, главным образом, в сравнении людей по значимым характеристикам и выборе между ними). Каждая из пред­ставленных теорий - и теория измерения ошибок оцени­вания, и математическая модель ответов на задания теста - имеет своих сторонников (Goldstein & Wood, 1986).

Модели IRT не вызывают упреков в том, что это «оцени­вание по правилам», в отличие от классической теории те­стов. Модель IRT ориентирована на анализ оцениваемых характеристик. Характеристики личности и характеристи­ки заданий оцениваются с помощью шкал (порядковых или интервальных). Более того, возможно сопоставление пока­зателей выполнения разных тестов, направленных на изу­чение сходных характеристик. Наконец, надежность неодинакова для каждого значения на шкале, а средние показатели обычно являются более надежными, чем пока­затели, расположенные в начале и в конце шкалы. Таким образом, модели IRT в теоретическом отношении представ­ляются более совершенными. Существует и различия в практическом использовании современной теории тестов и классической теории (Sijstma, 1992, стр. 127-130). Совре­менная теория тестов более сложна по сравнению с класси­ческой, поэтому она реже используется неспециалистами. Более того, IRT предъявляет особые требования к задани­ям. Это означает, что задания должны быть исключены из теста, если они не удовлетворяют требованиям модели. Данное правило относится далее к тем заданиям, которые входили в состав широко используемых тестов, построен­ных по принципам классической теории. Тест становится короче, и, следовательно, надежность его снижается.

IRT предлагает математические модели для изучения реальных феноменов. Модели должны помочь нам понять ключевые аспекты этих феноменов. Однако здесь кроется основной теоретический вопрос. Модели можно рассматри-


ватькак подход к изучению сложной реальности, в которой мы живем. Но модель и реальность - не одно и то же. Согласно пессимистическому взгляду, возможно моделиро­вание лишь единичных (и притом не самых интересных) типов поведения. Также можно встретить утверждение, что реальность вообще не подлежит моделированию, т.к. она подчиняется не одним лишь причинно-следственным зако­нам. В лучшем случае возможно моделирование отдельных (идеальных) поведенческих феноменов. Существует и дру­гой, более оптимистичный, взгляд на возможности модели-рования. Приведенная выше позиция блокирует возможность глубокого постижения природы феноменов человеческого поведения. Применение той или иной моде­ли поднимает некоторые обшие, фундаментальные вопро­сы. На наш взгляд, не подлежит сомнению, что IRT является концепцией теоретически и технически превосхо­дящей классическую теорию тестов.

Практическим назначением тестов, на какой бы теоре­тической основе они не создавались, является определение значимых критериев и установление на их основе характе­ристик тех или иных психологических конструктов. Имеет ли модель IRT преимущества и в этом отношении? Вполне возможно, что тесты, созданные на основе этой модели, не дают более точного прогноза по сравнению с тестами, со­зданными на основе классической теории, и возможно, что их вклад в разработку психологических конструктов не яв­ляется более весомым. Диагносты предпочитают такие кри­терии, которые непосредственно относятся к отдельному человеку, институту или сообществу. Модель, более совер­шенная в научном отношении, «ipso facto»* не определяет более подходящий критерий и в определенной степени ог­раничена в объяснении научных конструктов. Очевидно, что разработка тестов на основе классической теории будет продолжаться, но вместе с тем будут создаваться и новые модели IRT, распространяющиеся на изучение большего числа психологических феноменов.

В классической теории тестов различаются понятия «на­дежности» и «валидности». Тестовхяе результаты должны быть надежны, т.е. результаты первоначального и повтор­ного тестировании должны согласовываться. Кроме того,

* ipso facto (лак) - сама по себе (прим. перев.).

результаты должны быть свободны (насколько это возмож­но) от ошибок оценивания. Наличие валидности - одно из требований, предъявляемых к полученным результатам. При этом надежность рассматривается как необходимое, но еще не достаточное условие валидности теста.

Понятие валидности предполагает, что полученные ре­зультаты относятся к чему-либо важному в практическом или теоретическом отношении. Выводы, сделанные на ос­нове тестовых оценок, должны быть валидными. Наиболее часто говорят о двух видах валидности: прогностической (критериальной) и конструктной. Существуют также и другие виды валидности (см. гл. 3). Кроме того, валидность может быть определена и в случае квазиэкспериментов (Cook & Campbell, 1976, Cook & Shadish, 1994). Однако основным видом валидности все же является прогностиче­ская валидность, под которой понимается возможность предсказывать по тестовому результату нечто существен­ное о поведении в будущем, а также возможность более глубокого понимания того или иного психологического свойства или качества.

Представленные типы валидности обсуждаются в каж­дом справочнике и сопровождаются описанием методов анализа валидности теста. Факторный анализ более подхо­дит для определения конструктной валидизации, а уравне­ния линейной регрессии используются для анализа прогностической валидности. Те или иные характеристики (успеваемость, эффективность терапии) могут быть пред­сказаны на основе одного или нескольких показателей, пол-ученных при работе с интеллектуальными или личностными тестами. Такие техники обработки данных, как корреляционный, регрессионный, дисперсионный ана­лиз, анализ частичных корреляций и дисперсий, служат для определения прогностической валидности теста.

Также часто описывается содержательная валидность. Предполагается, что все задачи и задания теста должны принадлежать специфической области (психических свойств, поведения и т.д.). Понятие содержательной валид­ности характеризует соответствие каждого задания теста измеряемой области. Содержательная валидность иногда рассматривается как часть надежности или «обобщаемость» (Cronbach, Gleser, Nanda & Rajaratnam, 1972). Однако при


выборе заданий для тестов достижений в конкретной пред­метной области важно также обращать внимание на прави­ла включения заданий в тест.

В классической теории тестов надежность и валидность рассматриваются относительно независимо друг от друга. Но существует и другое понимание соотношения этих по­нятий. Современная теория тестов основывается на приме­нении моделей. Параметры оцениваются внутри некоторой модели. Если задание не соответствует требованиям моде­ли, то в рамках этой модели оно признается невалидным. Конструктная валидизации представляет собой часть про­верки самой модели. Эта валидизации относится главным образом к проверке существования одномерной латентной исследуемой черты с известными шкальными характери­стиками. Шкальные оценки, несомненно, могут быть ис­пользованы для определения соответствующих критериев, и возможна их корреляция с показателями других конст­руктов для сбора информации о конвергентной и диверген­тной валидности конструкта.

Психодиагностика аналогична языку, описываемому как единство четырех компонентов, представленных на трех уровнях. Первый компонент, теория тестов, аналогичен синтаксису, грамматике языка. Порождающая (генератив­ная) грамматика - это, с одной стороны, остроумная мо­дель, с другой - система, подчиняющаяся правилам. С помощью этих правил на основе простых утвердительных предложений строятся сложные. При этом, однако, данная модель оставляет в стороне описание того, как организован процесс коммуникации (что передается и что воспринима­ется), и с какими целями он осуществляется. Для понима­ния этого требуются дополнительные знания. То же можно сказать и о теории тестов: она является необходимой в пси­ходиагностике, но она не способна объяснить, что психоди­агност делает и каковы его цели.

1.3.2. Психологические теории и психологические конструкты

Психодиагностика - это всегда диагностика чего-то конкретного: личностных характеристик, поведения, мыш­ления, эмоций. Тесты предназначены оценивать индивиду­альные различия. Существует несколько концепций

индивидуальных различий, каждая из которых имеет свои отличительные особенности. Если признается, что психо­диагностика не ограничивается только оценкой индивиду­альных различий, то тогда и другие теории приобретают существенное значение для психодиагностики. Примером является оценка различий процессов психического разви­тия и различий в социальном окружении. Хотя оценка ин­дивидуальных различий не является непременным атрибутом психодиагностики, тем не менее существуют оп­ределенные традиции исследования в этой области. Психо­диагностика начиналась с оценки различий интеллекта. Основной задачей тестов было «определение наследствен­ной передачи гениальности» (Gallon) или отбор детей для обучения (Binet, Simon). Измерение коэффициента интел­лектуальности получило теоретическое осмысление и прак-тическую разработку в трудах Спирмена (Великобритания) и Терстоуна (США). Раймонд Б.Кеттел сделал подобное для оценки личностных характеристик. Психодиагностика становится неразрывно связанной с тео­риями и представлениями об индивидуальных различиях в достижениях (оценка предельных возможностей) и формах поведения (уровень типичного функционирования). Эта традиция продолжает оставаться эффективной и сегодня. В учебных пособиях по психодиагностике гораздо реже оце­ниваются различия в социальном окружении по сравнению с рассмотрением особенностей самих процессов развития. Для этого не существует каких-либо разумных объяснений. С одной стороны, диагностика не ограничивается опреде­ленными теориями и понятиями. С другой стороны, она нуждается в теориях, поскольку именно в них определяется диагностируемое содержание (т.е. «что» диагностируется). Так, например, интеллект может рассматриваться и как общая характеристика, и как основание для множества не­зависимых друг от друга способностей. Если психодиагно­стика пытается «уйти» от той или иной теории, то тогда основой психодиагностического процесса становятся пред­ставления здравого смысла. В исследованиях применяются различные способы анализа данных, и общая логика иссле­дований определяет выбор той или иной математической модели и определяет структуру используемых психологи­ческих понятий. Такие методы математической статисти-


ки, как дисперсионный анализ, регрессионный анализ, факторный анализ, подсчет корреляций предполагают су­ществование линейных зависимостей. В случае некоррект­ного применения этих методов они «привносят» свою структуру в полученные данные и используемые конструк­ты.

Представления о различиях в социальном окружении и о развитии личности почти не оказали влияния на психоди­агностику. В учебных пособиях (см., например, Murphy & Davidshofer, 1988) рассматривается классическая теория тестов и обсуждаются соответствующие методы статисти­ческой обработки, описываются известные тесты, рассмат­риваются вопросы использования психодиагностики в практике: в психологии управления, при отборе персонала, при оценке психологических характеристик человека.

Теории индивидуальных различий (а также представле­ния о различиях между социальным окружением и о психи­ческом развитии) аналогичны изучению семантики языка. Это изучение и сущности, и содержания, и значения. Зна­чения структурируются определенным образом (подобно психологическим конструктам), например, по сходству или контрасту (аналогия, конвергенция, дивергенция).

1.3.3. Психологические тесты и другие методические средства

Третий компонент предложенной схемы - тесты, про­цедуры и методические средства, с помощью которых про­исходит сбор информации о характеристиках личности. Дрене и Сийтсма (1990, стр. 31) дают следующее определе­ние тестам: «Психологический тест рассматривается как классификация согласно определенной системе или как процедура измерения, которая позволяет вынести опреде­ленное суждение об одной или нескольких эмпирически выделенных или теоретически обоснованных характери­стиках конкретной стороны поведения человека (за рамка­ми тестовой ситуации). При этом рассматривается реакция респондентов на определенное число тщательно подобран­ных стимулов, а полученные ответы сравниваются с тесто­выми нормами».

Диагностике необходимы тесты и методики для сбора надежной, точной и валидной информации об особенностях

и характерных чертах личности, о мышлении, эмоциях и поведении человека. Помимо разработки тестовых проце­дур в этот компонент входят также следующие вопросы: как создаются тесты, как формулируются и отбираются зада­ния, как протекает процесс тестирования, каковы требова­ния к условиям проведения тестирования, как учитываются ошибки измерения, как подсчитываются и интерпретиру­ются тестовые результаты.

В процессе разработки тестов различаются рациональ­ная и эмпирическая стратегии. Применение рациональной стратегии начинается с определения основных понятий (на­пример, понятия интеллекта, экстраверсии), и в соответст­вии с этими представлениями формулируются задания теста. Примером такой стратегии может служить концеп­ция аспектного анализа (the facet theory) Гуттмана (1957, 1968, 1978). Сначала определяются различные аспекты ос­новных конструктов, затем подбираются задачи и задания таким образом, чтобы был учтен каждый из этих аспектов. Вторая стратегия состоит в том, что задания подбираются на эмпирической основе. Например, если исследователь попытается создать тест профессиональных интересов, ко­торый бы позволял дифференцировать медиков от инжене­ров, то процедура должна быть такой. Обе группы респондентов должны ответить на все задания теста, и те пункты, в ответах на которые обнаружены статистически значимые различия, входят в окончательный вариант тес­та. Если, например, между группами существуют различия в ответах на утверждение «Я люблю ловить рыбу», то это утверждение становится элементом теста. Основным поло­жением этой книги является то, что тест связан с концеп­туальной или таксономической теорией, определяющей эти характеристики.

Назначение теста обычно определено в инструкции по его применению. Тест должен быть стандартизирован для того, чтобы с его помощью можно было оценить различия между людьми, а не между условиями тестирования. Суще­ствуют, однако, отклонения от стандартизации в процеду­рах, называемых «тестированием границ возможностей» (testing the limits) и «тесты оценки потенциальных возмож­ностей в обучении» (learning potential tests). В этих услови­ях респонденту оказывается помощь в процессе


тестирования и затем оценивается влияние такой процеду­ры на результат. Подсчет баллов за ответы на задания объ­ективен, т.е. осуществляется в соответствии со стандартной процедурой. Интерпретация полученных результатов так­же строго определена и осуществляется на основе тестовых норм.

Третий компонент психодиагностики - психологиче­ские тесты, инструменты, процедуры - содержит опреде­ленные задания, которые являются наименьшими единицами психодиагностики и в этом смысле задания ана­логичны фонемам языка. Число возможных сочетаний фо­нем ограничено. Лишь определенные фонематические структуры могут образовывать слова и предложения, обес­печивающие доведение информации до слушателя. Также и тестовые задания: лишь в определенном сочетании друг с другом они могут стать эффективным средством оценки соответствующего конструкта.

Основные понятия теории тестов.

Измерение или испытание, проводимое с целью определения состояния или способностей спортсмена, называется тестом. Любой тест включает в себя измерение. Но не всякое изменение служит тестом. Процедура измерений или испытаний называется тестированием.

Тест, в основе которого лежат двигательные задания, называется двигательным. Существует три группы двигательных тестов:

  • 1. Контрольные упражнения, выполняя которые спортсмен получает задание показать максимальный результат.
  • 2. Стандартные функциональные пробы, в ходе которых задание, одинаковое для всех, дозируется либо по величине выполненной работы, либо по величине физиологических сдвигов.
  • 3. Максимальные функциональные пробы, в ходе которых спортсмен должен показать максимальный результат.

Высококачественное тестирование предполагает знание теории измерений.

Основные понятия теории измерений.

Измерение--это выявление соответствия между изучаемым явлением с одной стороны, и числами--с другой.

Основы теории измерений составляют три понятия: шкалы измерений, единицы измерений и точность измерений.

Шкалы измерений.

Шкала измерения -- это закон, по которому численное значение присваивается измеряемому результату по мере его возрастания или убывания. Рассмотрим некоторые из применяемых в спорте шкал.

Шкала наименований (номинальная шкала).

Это самая простая из всех шкал. В ней числа выполняют роль ярлыков и служат для обнаружения и различения изучаемых объектов (например, нумерация игроков футбольной команды). Числа, составляющие шкалу наименований, разрешается менять метами. В этой шкале нет отношений типа «больше-- меньше», поэтому некоторые полагают, что применение шкалы наименований не стоит считать измерением. При использовании шкалы, наименований могут проводиться только некоторые математические операции. Например, ее числа нельзя складывать или вычитать, но можно подсчитывать, сколько раз (как часто) встречается то или иное число.

Шкала порядка.

Есть виды спорта, где результат спортсмена определяется только местом, занятым на соревнованиях (например, единоборства). После таких соревнований ясно, кто из спортсменов сильнее, а кто слабее. Но насколько сильнее или слабее, сказать нельзя. Если три спортсмена заняли соответственно первое, второе и третье места, то каковы различие в их спортивном мастерстве, остается неясным: второй спортсмен может быть почти равен первому, а может быть слабее его и быть почти одинаковым с третьим. Места, занимаемые в шкале порядка, называются рангами, а сама шкала называется ранговой или неметрической. В такой шкале составляющие ее числа упорядочены по рангам (т.е. занимаемым местам), но интервалы между ними точно измерить нельзя. В отличие от шкалы наименований шкала порядка позволяет не только установить факт равенства или неравенства измеряемых объектов, но и определить характер неравенства в виде суждений: «больше -- меньше», «лучше--хуже» и т.п.

С помощью шкал порядка можно измерять качественные, не имеющие строгой количественной меры, показатели. Особенно широко эти шкалы используются в гуманитарных науках: педагогике, психологии, социологии.

К рангам шкалы порядка можно применять большее число математических операций, чем к числам шкалы наименований.

Шкала интервалов.

Это шкала, в которой числа не только упорядочены по рангам, но и разделены определенными интервалами. Особенность, отличающая ее от описываемой дальше шкалы отношений, состоит в том, что нулевая точка выбирается произвольно. Примерами могут быть календарное время (начало летоисчисления в разных календарях устанавливалось по случайным причинам), суставной угол (угол в локтевом суставе при полном разгибании предплечья может приниматься равным либо нулю, либо 180°), температура, потенциальная энергия поднятого груза, потенциал электрического поля и др.

Результаты измерений по шкале интервалов можно обрабатывать всеми математическими методами, кроме вычисления отношений. Данные шкалы интервалов дают ответ на вопрос: «на сколько больше», но не позволяют утверждать, что одно значение измеренной величины во столько-то раз больше или меньше другого. Например, если температура повысилась с 10 до 20 С, то нельзя сказать, что стало в два раза теплее.

Шкала отношений.

Эта шкала отличается от шкалы интервалов только тем, что в ней строго определено положение нулевой точки. Благодаря этому шкала отношений не накладывает никаких ограничений на математический аппарат, используемый для обработки результатов наблюдений.

В спорте по шкале отношений измеряют расстояние, силу, скорость и десятки других переменных. По шкале отношений измеряют и те величины, которые образуются как разности чисел, отсчитанных по шкале интервалов. Так, календарное время отсчитывается по шкале интервалов, а интервалы времени -- по шкале отношений. При использовании шкалы отношений (и только в этом случае!) измерение какой-либо величины сводится к экспериментальному определению отношения этой величины к другой подобной, принятой за единицу. Измеряя длину прыжка, мы узнаем, во сколько раз эта длина больше длины другого тела, принятого за единицу длины (метровой линейки в частном случае); взвешивая штангу, определяем отношение ее массы к массе другого тела -- единичной гири «килограмма» и т.п. Если ограничиться только применением шкал отношений, то можно дать другое (более узкое, частное) определение измерению: измерить какую-либо величину -- значит найти опытным путем ее отношение к соответствующей единице измерения.

Единицы измерений.

Чтобы результаты разных измерений можно было сравнить друг с другом, они должны быть выражены в одних и тех же единицах. В 1960 году на Международной генеральной конференции по мерам и весам была принята Международная система единиц, получившая сокращенное название СИ (от начальных букв слов System International). В настоящее время установлено предпочтительное применение этой системы во всех областях науки и техники, в народном хозяйстве, а также при преподавании.

СИ в настоящее время включает семь независимых друг от друга основных единиц (см. таблицу 2.1.)

Таблица 1.1.

Из указанных основных единиц в качестве производных выводят единицы остальных физических величин. Производные единицы определяются на основе формул, связывающих между собой физические величины. Например, единица длины (метр) и единица времени (секунда) -- основные единицы, а единица скорости (метр в секунду) -- производная.

Кроме основных, в СИ выделены две дополнительные единицы: радиан-- единица плоского угла и стерадиан--единица телесного угла (угла в пространстве).

Точность измерений.

Никакое измерение не может быть выполнено абсолютно точно. Результат измерения неизбежно содержит погрешность, величина которой тем меньше, чем точнее метод измерения и измерительный прибор. Например, с помощью обычной линейки с миллиметровыми делениями нельзя измерить длину с точностью до 0,01 мм.

Основная и дополнительная погрешность.

Основная погрешность -- это погрешность метода измерения или измерительного прибора, которая имеет место в нормальных условиях их применения.

Дополнительная погрешность--это погрешность измерительного прибора, вызванная отклонением условий его работы от нормальных. Понятно, что приборы, предназначенный для работы при комнатной температуре будет давать не точные показания, если пользоваться им летом на стадионе под палящим солнцем или зимой на морозе. Погрешности измерения могут возникать в том случае, когда напряжение электрической сети или батарейного источника питания ниже нормы или непостоянно по величине.

Абсолютная и относительная погрешности.

Величина E = А--Ао, равное разности между показанием измерительного прибора (А) и истинным значением измеряемой величины (Ао), называется абсолютной погрешностью измерения. Она измеряется в тех же единицах, что и сама измеряемая величина.

На практике часто удобно пользоваться не абсолютной, а относительной погрешностью. Относительная погрешность измерения бывает двух видов-- действительной и приведенной. Действительной относительной погрешностью называется отношение абсолютной погрешности к истинному значению измеряемой величины:

А Д =---------* 100%

Приведенная относительная погрешность--это отношение абсолютной погрешности к максимально возможному значению измеряемой величины:

Ап =----------* 100%

Систематическая и случайная погрешности.

Систематической называется погрешность, величина которой не изменяется от измерения к измерению. В силу этой своей особенности систематическая погрешность часто может быть предсказана заранее или, в крайнем случае, обнаружена и устранена по окончании процесса измерения.

Способ устранения систематической погрешности зависит в первую очередь от ее природы. Систематические погрешности измерения можно разделить на три группы:

погрешности известного происхождения и известной величины;

погрешности известного происхождения, но неизвестной величины;

погрешности неизвестного происхождения и неизвестной величины. Самые безобидные -- погрешности первой группы. Они легко устраняются

путем введения соответствующих поправок в результат измерения.

Ко второй группе относятся, прежде всего, погрешности, связанные с несовершенством метода измерения и измерительной аппаратуры. Например, погрешность измерения физической работоспособности с помощью маски для забора выдыхаемого воздуха: маска затрудняет дыхание, и спортсмен закономерно демонстрирует физическую работоспособность, заниженную по сравнению с истинной, измеряемой без маски. Величину этой погрешности нельзя предсказать заранее: она зависит от индивидуальных способностей спортсмена и его самочувствия в момент исследования.

Другой пример систематической погрешности этой группы-- погрешность, связанная с несовершенством аппаратуры, когда измерительный прибор заведомо завышает или занижает истинное значение измеряемой величины, но величина погрешности неизвестна.

Погрешности третьей группы наиболее опасны, их появление бывает связано как с несовершенством метода измерения, так и с особенностями объекта измерения -- спортсмена.

Случайные погрешности возникают под действием разнообразных факторов, которые ни предсказать заранее, ни точно учесть не удается. Случайные погрешности принципиально не устранимы. Однако, воспользовавшись методами математической статистики, можно оценить величину случайной погрешности и учесть ее при интерпретации результатов измерения. Без статистической обработки результаты измерений не могут считаться достоверными.