Классификации экспериментов в зависимости от способа проведения

Выделяют главным образом три вида экспериментов^[4]:

• Лабораторный эксперимент

• Полевой, или естественный эксперимент

• Формирующий, или психолого-педагогический эксперимент Введение этого вида в данную классификацию нарушает правила построения классификации. Во-первых каждый объект (в данном случае исследование) можно отнести только к одному виду. Однако формирующий эксперимент может быть и лабораторным и естественным. Например, эксперименты И. П. Павлова по выработке условных рефлексов у собак — это лабораторный формирующий эксперимент, а эксперименты в рамках теории развивающего обучения Эльконина и Давыдова, это преимущественно полевые формирующие эксперименты. Во-вторых, у классификации должно быть только одно основание, то есть виды разделяются по одному признаку. Однако по такому признаку как способ проведение или условия проведения можно выделить только лабораторный и полевой эксперименты, а формирующий эксперимент выделен по другому признаку.

В зависимости от условий проведения выделяют

• Лабораторный эксперимент- условия специально организуются экспериментатором. Основная задача обеспечить высокую внутреннюю валидность. Характерно выделение единичной независимой переменной. Основной способ контроля внешних переменных — элиминация (устранение). Внешняя валидность ниже чем в полевом эксперименте.

• Полевой, или естественный эксперимент — эксперимент проводится в условиях, которые экспериментатор не контролирует. Основная задача обеспечить высокую внешнюю валидность. Характерно выделение комплексной независимой переменной. Основные способы контроля внешних переменных — рандомизация (уровни внешних переменных в исследовании точно соответствуют уровням этих переменных в жизни то есть за пределами исследования) и константность (сделать уровень переменной одинаковым для всех участников). Внутренняя валидность как правило ниже, чем в лабораторных экспериментах.

В зависимости от результата воздействия выделяют

Констатирующий эксперимент — экспериментатор не изменяет свойства участника необратимо, не формирует у него новых свойств и не развивает те, которые уже существуют.

Формирующий эксперимент — экспериментатор изменяет участника необратимо, формирует у него такие свойства, которых раньше не было или развивает те, которые уже существовали.

В зависимости от этапа исследования

• Пилотажное исследование (так называемое черновое, пробное исследование)

• Собственно эксперимент

В зависимости от уровня осознанности

В зависимости от уровня осознанности эксперименты также можно разделить на

• те, в которых испытуемому даются полные сведения о целях и задачах исследования,

• те, в которых в целях эксперимента некоторая информация о нём от испытуемого утаивается или искажается (например, когда необходимо, чтобы испытуемый не знал об истинной гипотезе исследования, ему могут сообщить ложную),

• и те, в которых испытуемому неизвестно о целях эксперимента или даже о самом факте эксперимента (например, эксперименты с привлечением детей).

Организация эксперимента Безупречный эксперимент

Основная статья: Безупречный эксперимент

Ни один эксперимент ни в одной науке не способен выдержать критики сторонников «абсолютной» точности научных выводов. Однако как эталон совершенства Роберт Готтсданкер ввёл в экспериментальную психологию понятие «безупречный эксперимент» — недостижимый идеал эксперимента, полностью удовлетворяющий трём критериям (идеальности, бесконечности, полного соответствия), к приближению к которому должны стремиться исследователи^[5].

36. Общая характеристика метода тестирования

Тестирование (англ. test - испытание, проверка) - эксперементальный метод психродиагностики, применяемый в эмпирических социологических исследованиях, а также метод измерения и оценки различных психологических качеств и состояний индивида.  Возникновение тестологических процедур было обусловлено потребностью сопоставления ( сравнения, дифференциации и ранжиования) индивидов по уровню развития или степени выраженности различных психологических качеств.  Основоположники тестирования - Ф.Гальтон, Ч.Спирман, Дж.Каттел, А.Бине, Т.Симон. Сам термин "умственный тест" придумал Кеттел в 1890 г. Начало развития современной тестологии массового применения тестов на практике связано с именем французского врача Бине, разработавшего в соавторстве с Симоном метрическую шкалу умственного развития, известную под названием "тест Бине-Симона".  Широкому распространению, развитию и совершенствованию тестов способствовал целый ряд преимуществ, которые дает этот метод. Тесты позволяют дать оценку индивида в соответствии с поставленной целью исследования; обеспечивают возможность получения количественной оценки на основе квантификации качественных параметров личности и удобство математической обработки; являются относительно оперативным способом оценки большого числа неизвестных лиц; способствуют обёективности оценок, не зависящих от субёективных установок лица, проводящего исследование; обеспечивают сопоставимость информации, полученной разными исследователями на разных испытуемых.  Тесты предъявляют требования:  - строгая формализация всех этапов тестирования,  - стандартизация заданий и условий их выполнения,  - квантификация полученных результатов и их структурирование по заданной программе,  - интерпретации результатов на основе предварительно полученного распределения по изучаемому признаку.  Каждый тест, соответствующий критериям надежности, кроме набора заданий включает в себя следующие компоненты:  1) стандартная инструкция для испытуемого о цели и правилах выполнения заданий,  2) ключ шкалирования - соотнесение пунктов заданий со шкалами измеряемых качеств, указывающее, какой пункт заданий к какой шкале относится,  3) кодировочный ключ, позволяющий подсчитать, сколько баллов вносит в шкалу тот или иной вариант ответа,  4) ключ интерпретации полученного индекса, представляющий собой данные нормы, с которыми соотносится полученыный результат.  Традиционно нормой в тестологии являлись среднестатистические данные, полученные в результате предварительного тестирования на определенной группе лиц. Здесь неодходимо учитывать, что переносить интерпретацию плученых результатов можно только на те группы испытуемых, которые по своим основным социокультурным и демографическим признакам аналогичны базовой.  Для преодоления основного недостатка большинства тестов применяются различные приемы:  1) увеличение базовой выборки с целью повышения ее репрезентативности по большему числу параметров,  2) введение поправочных коэффициетнов с учетом характеристик выборки,  3)введение в практику тестирования невербального способа предъявления материала.  Тест состоит из двух частей:  а) стимулирующего материала (задача, инструкция или вопрос)  б) указаний относительно регистрации или интнграции полученых ответов.  Типичная для тестов стандартизация ситуации обеспечивает им в отличие от "свободного" наблюдения поведения большуюю объективность результатов.  Тесты классифицируются по разным признакам.  По виду свойств личности они делятся на тесты достижений и личностные. К первым относятся тесты интеллекта, школьной успеваемости, тесты на творчество, тесты на способности, сенсорные и моторные тесты. Ко вторым - тесты на установки, на интересы, на темперамент, характерологические тесты, мотивационные тесты. Однако не все тесты (например, тесты развития, графические тесты) можно упорядочить по данному признаку. По виду инструкции и способу применения различаются индивидуальные и групповые тесты. При групповом тестировании одновременно обследуется группа испытуемых. Если в тестах уровня временных ограничений нет, то в тестах на скорость они обязательны. В зависимости от того, насколько в результате тестирования проявляется субъективность исследователя различают тесты объективные и субъективные.  К объективным относятся большинство тестов достижений и психофизиологические тесты, к субъективным - проективные тесты. Это деление в определенной степени совпадает с делением на прямые и непрямые тесты, которые различаются в зависимости от того, знают или не знают испытуемые значение и цель теста.  Для проективных тестов типична ситуация, когда испытуемый не информирован о действительной цели исследования. При выполнениис заданий проективных тестов не существует "правильных" ответов. В зависимости от представленности в тесте речевого компонента различаются тесты вербальные и невербальные. Вербальным, например, является тест на словарный запас, невербальным - тест, требующий в качестве ответа определенных действий.  По формальной структуре различаются тесты простые,т.е. элементарные, результатом которых может быть единственный ответ, и тесты сложные, состоящие из отдельных подтестов, по каждому из которых должна быть дана оценка. При этом могут высчитываться и общие оценки. Комплекс нескольких единичных тестов называют тестовой батареей, графическое изображение результатов по каждому подтесту - тестовым профилем. Нередко к тестам относят опросники, удовлетворяющие ряду требований, предъявляемых обычно к данному методу сбора психологической или социологической информации.  В последнее время все большее распространение получают критериально-ориентированные тесты, позволяющие оценивать испытуемого не в сопоставлении со среднестатичтияескими данными популяции, а по отношению к заранее заданной норме. Критерием оценки в таких тестах является степень приближения результата тестирования индивида к так называемой "идеальной норме".  Разработка теста состоит из четырех этапов.  - На первомэтапе развивается исходная концепция с формулировкой основных пунктов испытания или основных вопросов, носящих предварительный характер;  - на втором - производится отбор предварительных пунктов испытания с из последующей селекцией и приведением к окончательному виду, осуществляется одновременно оценка по качественным критериям надежности и валидности;  - на третьем этапе тест проверяется повторно на той же самой популяции;  - на четвертом - калибруется по отношению к возрасту, уровню образования и другим признакам популяции.  На всех этапах разработки теста необходимо учитывать:  а) диагностируемое свойство личности (размер, положение, индикатор) или только наблюдаемые его пpоявления (напpимеp, способности, уpовень знаний, темпеpамент, интеpесы, установки);  б) связанную с этим валидизацию метода , т.е. опpеделение того, насколько он измеpяет тpебуемое свойство;  в) величину выбоpки из популяции, на котоpой должна пpоводиться оценка метода;  г) стимулиpующий матеpиал (таблички, изобpажения, игpушки, фильмы);  д) влияние исследователя в пpоцессе инстpуктиpования, постановки задач, pазъяснений, ответов на вопpосы;  е) условия ситуации;  ж) такие фоpмы поведения испытуеого, котоpые свидетельствуют об измеpяемом свойстве;  з) шкалиpование pелевантных фоpм поведения;  и) сведение pезультатов по отдельным измеpяемым пунктам в общие значения (напpимеp, суммиpование ответов типа "Да");  к) фоpмулиpовку pезультатов в ноpмиpованной шкале оценок.  Одним из вариантов теста может быть опросник, но при условии, что он отвечает требованиям, предъявляемым к тестам. Опросник - это сборник вопросов, которые выбираются и располагаются по отношению друг к другу в соответствии с требуемым содержанием. Опросники используются, например, в целях психодиагностики, когда от испытуемого требуется самооценка его поведения, привычек, мнений и т.д. При этом испытуемый, отвечаяя на вопросы, выражает свои положительные и отрицательные предпочтения. С помощью опросников можно измерять у испытуемых и оценки ими других людей. Задание обычно выступает, как прямая реакция на вопросы, на которые надо ответить путем сожаления или опровержения. Возможности для ответа в большинстве случаев заданы и требуют лишь отметки в виде крестика, крижочка и т.п. Недостаток опросника состоит в том, что испытуемый может симулировать или диссимулировать те или иные свойства личности. Преодолеть указанный недостаток (хотя и не полностью) исследователь может посредством контрольных вопросов, контрольных шкал, шкал "лжи". Опросники применяются преимущественно для диагностики характера, диагностики личности (например, экстроверсии - интроверсии, интересов, установок, мотивов).  Диагностика личности - совокупность методов, позволяющих распознать ее внеинтеллектуальные свойства, носящие характер относительно устойчивых диспозиций. Для таких свойств личности, как экстраверсия - интроверсия, доминирующий мотив, заторможенность, возбудимость, ригидность, разработан ряд диагностических методов (опросники и проективные тесты), с помощью которых можно определить выраженность этих свойств. При конструировании таких методов, как правило, пользуются факторным анализом (Г. Айзенк, Дж.Каттел, Дж. Гилфорд) и конструктивной валидизацией.  На современном этапе в прикладной социологии чаще всего используются тестовые методики, заимствованные из социальной психологии, касающиеся изучения качеств личности. Появляются тесты, специально разработанные социологами. Эти тесты часто используются в социологических анкетах. 

37. Виды тестов и их особенности

 Тест (от англ. test -- испытание, проверка) -- стандартизованные, краткие, ограниченные во времени испытания, предназначенные для установления количественных и качественных индивидуальных различий [2].

По мере использования тестов была сформирована их классификация по цели и содержанию:

* тесты личности -- для оценки эмоционально-волевых качеств индивидуума;

* тесты интеллекта -- для анализа уровня развития познавательных процессов и функций мышления;

* тесты способностей -- для оценки возможности в овладе нии различной деятельностью;

* тесты достижений, с помощью которых оценивают разви тие знаний, умений, навыков после обучения.

Из всего многообразия типов стандартизованных тестов в образовании используют тесты достижений. Они создавались для проверки результатов обучения на разных ступенях получения образования, измерения эффективности программ и процесса обучения. Тесты достижений принято противопоставлять тестам способностей, состоящим из тестов общего интеллекта, комплексных батарей способностей и тестов специальных спосо бностей. Можно сказать, что тесты способностей измеряют эффективность обучения в относительно неконтролируемых и неизвестных условиях, в то время как тесты достижений измеряют эффективность обучения при частично известных и контролируемых условиях [1].

* По процедуре создания могут быть выделены стандартизированные и не стандартизированные тесты.

Стандартизация -- последовательный ряд процедур по планированию, проведению оценивания и выставлению баллов. Цель стандартизации состоит в том, чтобы обеспечить всем учащимся возможность проходить оценивание в равных условиях, чтобы их оценки имели одинаковое значение и не подвергались влиянию различных условий. Это важная процедура, когда оценки планируется использовать для сравнения отдельных людей или групп.

В образовании можно выделить и ряд задач, которые могут быть решены не стандартизированными тестами, -- в том числе текущий контроль знаний на этапе обучения. Однако для итоговой аттестации учащихся используются только стандартизованные тесты.

По способу предъявления различают тесты:

бланковые (машиночитаемые бланки, тестовые тетради);

предметные (манипуляция материальными объектами рассчитана на быстроту реакции и четкость действий);

аппаратурные (с использованием специальной аппаратуры -- датчиков для фиксации сигналов);

практические (аналоги лабораторных работ, но с тестовыми условиями заданий);

компьютерные (как частный случай -- адаптивные).

По характеру действий тесты делят на:

вербальные;

невербальные.

По ведущей ориентации выделяют:

тесты на скорость;

тесты на результативность (мощность);

смешанные тесты.

По степени однородности задач тесты делят на:

гомогенные, позволяющие измерить одно качество (уровень подготовки по одному предмету) однородными по составу заданиями;

гетерогенные (многомерные) -- для измерения уровня подготовленности учащихся по нескольким учебным предметам и (или) свойствам личности.

Гетерогенные тесты бывают полидисциплинарными и междисциплинарными[4].Полидисциплинарные тесты состоят из гомогенных субтестов по отдельным дисциплинам. Результаты учеников по субтестам объединяются для подсчета итоговых баллов по всему полидисциплинарному тесту. Для выполнения заданий междисциплинарных тестов требуется применение обобщенных, межпредметных, интегративных знаний и умений. Междисциплинарные тесты всегда многомерны , их разработка требует обращения к факторным методам анализа данных, математико-статистическим методам многомерного шкалирования и т.д.

По целям использования в системе образования:

определяющий (знания или поведение обучаемого в начале обучения).

Для отечественной системы образования наиболее приемлемый и используемый педагогами термин -- «тестирование во входном контроле». При входном контроле с помощью педагогических тестов можно ответить на вопрос -- насколько обучаемые владеют базовыми знаниями, умениями и навыками, чтобы успешно освоить новый материал, а также определить степень владения новым материалом до начала его изучения.

Учащиеся в классе имеют разную подготовку, различные способности и раз-личаются по мотивирующему фактору. В этой ситуации реализовать в большей мере личностно ориентированное обучение возможно при следующем подходе. Сначала следует провести входное тестирование, которое позволит разделить учащихся на две подгруппы. В первую попадают сильные учащиеся; при анализе выполнения ими входного теста прежде всего важна не степень их готовности к изучению нового материала, а оценка степени владения новым материалом, которая поможет учителю организовать его изучение на приемлемом уровне. Для второй группы учащихся на начальном этапе важно определить, каких базовых компонентов знаний им не хватает для успешного продолжения учения, и принять меры по устранению выявленных пробелов еще на первоначальном этапе. В этом случае учитель может подобрать такой метод обучения, который был бы наиболее эффективным для всей группы и позволил бы получить высокие результаты по окончании обучения. Сравнение же начального и конечного состояния обучаемых позволяет оценить прирост знаний; тогда во входном тестировании используется тестовый материал, незначительно отличающийся от материала для итогового контроля по изучаемой теме.

При первоначальном изучении материала учителю педстоит большая подготовительная работа по разработке собтвенного проверочного материала или по адаптации уже существующего; в дальнейшем же используется уже готовый материал и необходимы только незначительные его корректировки. Входное тестирование бесполезно, когда:

учитель хорошо знает возможности обучаемых, поскольку давно работает с классом;

специфика содержания нового материала такова, что не позволяет выделить круг базовых знаний, умений и навыков, необходимых к началу обучения;

область планируемых к усвоению знаний достаточно новая, так что у учащихся не может быть никаких «заделов», либо трудно пока выделить качественный уровень усвоения .

Тесты для входного контроля, обычно называемые претестами (предварительными тестами), делятся на два типа. Претесты первого типа позволяют выявить готовность к усвоению новых знаний в классе. Они разрабатываются в рамках критериально-ориентированного подхода и содержат задания для проверки базовых знаний, умений и навыков, необходимых для усвоения нового материала, В основном эти претесты предназначены для наиболее слабых учеников, находящихся на границе между явно подготовленными и явно не подготовленными к началу усвоения нового материала. По результатам выполнения претеста проводится деление тестируемых на две группы, в одну из которых попадают те,кто может двигаться дальше, а в другую -- те, кто нуждается в дополнительной работе и консультациях педагога.

П р е т е с т ы второго типа разрабатываются в рамках нормативно-ориентированного подхода. Они охватывают планируемые результаты предстоящего обучения и построены полностью на новом материале. По результатам выполнения претеста преподаватель принимает решение, позволяющее внести элементы индивидуализации в массовый учебный процесс. Если ученик показал некоторые предварительные знания по новому материалу, то план его обуче-ния необходимо перестроить и начать с более высокого уровня, чтобы учебный материал имел для него действительный характер новизны. Иногда роль входного претеста выполняет итоговый тест, который предназначен для будущей оценки результатов усвоения нового материала после завершения его изучения.

ОСОБЕННОСТИ ПЕДАГОГИЧЕСКИХ ТЕСТОВ

Развитие информационных технологий приводит к широкому использованию тестирования в педагогической практике. Тесты используются на всех стадиях обучения для различных целей: оценки способностей и склонностей, самооценки и оценки уровня знаний. Они являются основой единого государственного экзамена (ЕГЭ), применяются при аттестации высших учебных заведений.

В настоящее время существуют организации, которые занимаются разработкой компьютерных тестов. Однако преждевременно говорить о наличии единых стандартных тестов проверки знаний по дисциплинам профессионального образования, которые позволяют сравнить знания студентов различных потоков, факультетов, институтов.

В этой связи в статье рассматриваются особенностей составления тестов, предназначенных для оценки знаний по учебной дисциплине, включенной в учебный процесс в соответствии с образовательными стандартами. Их, как правило, называют педагогическими тестами.

«Педагогический тест – это система специально подобранных проверочных заданий специфической формы, позволяющая количественно оценить учебные достижения в одной и нескольких областях знаний» [4, c. 60]. Тест, созданный для проверки уровня усвоения знаний по одной учебной дисциплине, называют гомогенным.

Одной из основных характеристик качественного теста является его валидность. В работах Аванесова В.С. [1, 2] тест рассматривается как метод педагогического контроля. В этой связи понятие «Тест» включает не только совокупность тестовых заданий, но и остальные аспекты, связанные с процессом тестирования и обработки результатов. Валидность можно определить как всеобъемлющую качественную характеристику теста, что отражается в приведенных ниже высказываниях. «Степень научности педагогического контроля связана с понятием валидности (т.е. пригодности, адекватности) используемого метода для достижения поставленной цели. Знания можно проверить различными целями, но не все они пригодны для эффективной оценки. Самый пригодный метод и есть наиболее валидный» [1, c. 27]. Понятие валидности касается всех сторон разработки тестов и тестирования. На начальных этапах создания тестов особое значение играет отбор учебного материала, который планируется включить в тест. Важность этого этапа сконцентрирована в таком понятии, как валидность по содержанию, которое в основном предопределяется на стадии отбора тестового материала для включения в тест. Отметим, что сам процесс создания теста, как метода контроля знаний, является итерационным, поэтому совокупность тестового материала может измениться на любом этапе его создания и использования. Например, из-за неполноты (излишней детализации) описания предметной области в вопросах теста, несоответствия требованиям надежности при оценке уровня знаний.

Отношение к тесту, как к методу контроля знаний, имеет несомненные достоинства, ибо в этом случае все этапы подготовки теста и процесса тестирования направлены на конечный результат – достоверную оценку уровня знаний.

Таким образом, гомогенный педагогический тест является валидным по содержанию, если тестовые задания:

• находятся в соответствии с изучаемым предметом и полностью отражают его содержание;

• не включают вопросы смежных дисциплин, а также дисциплин, изученных ранее.

Поскольку в результате изучения дисциплины студенты должны приобрести не только определенные знания, но и умения, то применительно к педагогическим гомогенным тестам валидный по содержанию тест должен соответствовать учебной программе и включать тестовые задания по всем разделам дисциплины, которые позволяют оценить степень освоения учебного материала, а также умение применять полученные знания в профессиональной деятельности.

Определение валидного по содержанию теста является общей установкой для более детального раскрытия понятия «Содержание дисциплины». При ответе на этот вопрос целесообразно в соответствии с учебной программой выделять содержание разделов, из которых она состоит. Затем вводится понятийный индикатор «Знание раздела», которое раскрывается через названия тем, составляющих тот или иной раздел. Далее при необходимости вводятся индикаторы второго, третьего и других уровней, отражающие названия вопросов, входящих в изучаемую тему. Каждому вопросу ставятся в соответствие один или несколько эмпирических индикаторов, которые и являются тестовыми заданиями. При этом правильные ответы на задания свидетельствуют о знании темы. Ответы на задания по всем темам и разделам отражают уровень знаний дисциплины.

В соответствии с вышесказанным если тест разрабатывается по дисциплине «Теория экономических информационных систем», то он должен включать разделы:

1. Теоретические основы экономических информационных систем (ЭИС).

2. Модели данных.

3. Модели знаний.

4. Моделирование предметных областей.

Затем составитель теста должен выделить названия тем, которые в совокупности раскрыли бы содержание каждого раздела. К ним, в частности, по первому разделу можно отнести:

1. Основные понятия экономических информационных систем.

2. Единицы информации.