Сидоренко Е.В. Методы математической обработки в психологии
.pdfГЛАВА3
ОUЕНКА ДОСТОВЕРНОСТИ СДВИГА В ЗНАЧЕНИЯХ ИССЛЕДУЕМОГО ПРИЗНАКА
3.1. Обскновавве вцачв всцедоваввй ввмевеиий
В психологических исследованиях часто бывает важно доказать,
'ПО в результате действия каких-либо факторов произошли достоверные
изменения ("сдвиги") в измеряемых показателях. К числу таких факто
ров должен быть отнесен прежде всего фактор времени. Сопоставление
показателей, полученных у одних и тех же испытуемых по одним и тем
же методикам, но в разное время, дает нам временной сдвиг.
Многократные обследования одних и тех же лиц на протяжении
достаточно длительного отрезка их жизненного пути, измеряемого ино
гда десятками лет, представляет собой так называемое лонгитюдиналь
ное исследование, суть которого хорошо юsвестна любому представите
лю Ленинградской-Петербургской школы психологии. Этот метод по
звоЛJ1ет определить rенетические связи между фазами психического раз
вития и дать научно обоснованный прогноз дальнейшего психического
развития (Ананьев Б.Г., 1976, с. 26-27).
Соп~тавление показателей, полученных по одним и тем же мето-
дикам, но в разных условиях· измерения (например, "покоя" и
"стресса"), дает нам ситуа"ионный сдвиг. Условия измерения могут изменяться не только реально, но и умо~рительно. Например, мы мо
жем попросить испытуемого "представить себе", 'ПО он оказался в
других условиях измерения: в будуЩем, в позиции друrнх .людей, кото
рые оценивают его как бы со стороны, в состоянии раэrневанно1"0 отца
и т. п. СопоставЛJIЯ цокаэатели, измеренные в обычных и воображае
мых условиях, мы получаем умозрительный с,щ~иг.
Мы можем создать специµьные экспериментальные условия,
предположительно в.лияющие на те и.ли иные показатели, и сопоставить
замеры, произведенные до и после экспериментального воздействия.
Если сдвиги окажутся статистически достоверными, зто позволит нам
Крвтервв 1DU1eвeввii |
7J |
утверждать, что зксперимента.льные воздействия были существенными,
или зффекmвными.
Например, мы можем сделать вывод о том, что данная програм
ма тренинга действительно способствует раэвиmю увереннос111, или что даннЬIЙ способ внушающего воздействия влияет на изменение отноше ния испытуемых к той или иной проблеме, или что психодраматическая
замена ролей подтверждает постулат ~.Л. Морено о сближении по
зиций спорщиков после того, как им пришлось играть роль своего оп
понента н т.п.
Во всех sтнх случаях мы говорим о сдвиzе под влиянием контро лируемых или не контролируемых воздействий. И эдесь мы наталкива
емся на методическую трудность, которую оказывается возможным
преодолеть только путем введения контрольной группы, которая не ис m.rгывала бы на себе воздействия данного зкспернментального фактора.
Если нет контрольной группы, то САВИГ в зкспериментальной rpynne
может об'Ьясняться действием самых разных причин: временем суток, в
которое производились замеры, важным для испытуемых событием,
которое произошло между 1-м и 2-м замерами и. по мощносm воздей
ствия значительно перекрыло зкспериментальный фактор и т. п. Мы
никоrда не сможем исключить той возможности, что изменения, достиг нутые, как нам кажется, в результате наших воздействий, на самом де
ле об'Ьясняются неучтенными причинами. Bar если в зкспериментальной rруппе сдвиги окажутся достоверными, а в контрольной группе • не.дос
товерными, то зто, действительно, может свидетельствовать об зффек
тивности воздействий. При отсутствии контрольной группы мы конста
тируем, что сдвиr произошел, но не имеем права приписать ero именно
данным, изучаемым нами, факторам воздействия.
Допусmм, мы установили, что после того, как двум конфликтую
щим подгруппам пришлось играть роль своих оппонеlП'Ов в споре, уси
лилось ощущение понимания sтнх оппонентов "иэнуrри" {см. Задачу 1). Но мы не можем исключить возможнос111, что если бы мы не проводи
ли психодраматической замены ролей, взаимопонимание все-таки бы
улучшилось просто в силу того, что обе подгруппы какое-то время учи лись и рабаrали вместе.
Бывают случаи, коrда мы не располагаем контрольной группой, но зато в нашем распоряжении есть 2 или более зкспериментальных rрупп, различающихся по условиям и способам воздействия на них. Эrо
74
·могут бьnъ, помимо экспериментальных, и разнообразные естественные условия жизни, обучения, работы, общения и даже питания, водоснаб
жения, географического расположения и т. д. Сопоставление групп,
различающихся по 8ТИМ признакам, позволит нам угочнить· специфиче
ское действие экспериментальных или естественно действующих факто
ров, хотя при этом нам следу~ помнить, что воздействие неучтенных
факторов мож~ оказаться еще более мощным.
В выводах мы все-таки буд~ ограничены, если не проверили
свои результаты на контрольной группе, в которой измерения произво
дились параллельно.
Помимо рассмотренных сдвигов: временных, ситуационных, умо
зрительных и сдвигов под влиянием, - можно рассмотреть еще особую
категорию структурных сдвигов.
Мы можем сопоставлять между собой разные показатели одних и
тех же испытуемых, если они измерены в одних и тех же единицах, по
одной и той же шкале. Например, мы можем исследовать перепад ме
жду вербальным и невербальным интеллектом, измеренными по мето
дике Д. Векслера, или сопоставлять экспертные оценки эмпатичности и наблюдательности, измеренные по одинаковой 10-балльной шкале, или
время решения двух задач, измеренное в секундах, или экзаменацион
ную успешность по разным дисциП.1\ИНам и т.п.
В принципе.мы могли бы для такого рода "перепадов" использо
вать критерии оценки достоверности в средних тенденциях для незави
симых выборок: U - критерий, Q - критерий и угловое преобразование Фишера. Однако, строго говоря, перед нами - зависимые ряды значе
ний, поскольку они измерены на одних и тех же испьnуемых, поэтому
буд~ более обоснованным использовать критерии оценки достоверности
сдвигов для связанных выборок. Исключение представляют случаи,
когда мы сопоставляем величины сдвигов в двух независимых группах
испьnуемых, например экспериментальной и контрольной (см. Табл. 3.1). Допустим, если мы установили, что положительный сдвиг в сторону улучшения взаимопонимания наблюдается и в экспериментальной, и в
контрольной группах, мы можем попробовать доказать, что в эксперимен тальной группе. атот сдвиг достоверно больше, чем в контрольной, и что, следовательно, экспериментальное воздействие все-таки существенно.
Последний важный вопрос кас:а~ся того, должны ли мы всегда производить оба замера на одной и той же выборке, или "сдвиг" можно
Кр.вrервв в:JU1ененнii |
7; |
изучать на сходных, так называемых "уравновешенных" выборках, сов
падающих друг с другом по полу, возрасту, прОфессии и другим значи
мым для исследователя характеристикам.
В сущности, допускается сопоставление показателей разных вы
борок, уравновешенных по J!сем значимым для исследования признакам.
Иными словами, можно уровень тревоги или объем внимания до вкза
мена измерять у одной подгруппы, а после вкзамена - у другой под
группы, если они "уравновешены". Опыт показывает, однако, что с~
дать "уравновешенные" подгруппы практически невозможно. Мы всегда
упираемся в факт существования различий между выделенными под группами, которые могут в значительной степени повлиять на результат.
В итоге окажется, что мы исследовали не влияние вкзаменационного
стресса на уровень тревоги или объем внимания, а различия по втому
показателю между двумя выделенными подгруппами. К сожалению, в
значительной степени это относится и к проблеме сопоставления вкспе
риментальной и контрольной групп: мы почти никогда не можем быть
уверены, что выявленные различия объясняются действием исследуемых
факторов, а не различиями между двумя аыборками.
Многие исследователи обходят вту проблему самым простым об
разом: они вообще не заботятся о контрольной группе. Сдвиг есть -
значит, воздействие вффективно! И действительно, при отсутствии кон
трольной выборки тоже можно порассуждать на тему о том, какими же причинами, кроме_ предполагаемой, могут объясняться полученные
сдвиги...
Другой вариант "уравновешивания" - введение параллельных форм теста. В тех случаях, когда на результатах повторных замеров
могут сказаться вффекты научения, приходится "до" измерять реакции испытуемого с помощью одного инструмента, а "после" - с помощью
другого. В результате на измерениях может отразиться и действие фак
тора времени, и различия в параллельных формах теста, и непонятно
чго еще. Создать параллельную форму методики не менее трудно, чем подобрать "уравновешенную" группу испытуемых. И все же, в тех слу
чаях, когда у нас нет другого выхода, приходится прибегать к этому
способу.
Суммируем сказанное. В Табл. 3.1 приведена классификация
сдвигов и указаны статистические методы, позволяющие оценить их
достоверность.
76
Таблица 3.1
Классификация сдвигов и критериев оценки их статистической
достоверности
Виды сдвнrов |
О&ьект сопоставленнА |
Количествс КОАИЧеС'ПIС |
Кр~rrерни оценки достоверноt"nl |
|
1. Временные, |
|
заме,.,... |
'""""" |
СД11Н1'8 |
Один и те же пока- |
2 |
1 |
G - критерий знаков; |
|
ситуациоННЬlе, |
зате.ли, измерен11111е у |
|
|
Т - критерий Внлкоксоиа |
умозритель- |
одннх и тех же ис |
|
|
|
нь~е, измери- |
пьrтуемых в разное |
|
|
|
тельнь~е |
вреМJ1, в разных си |
|
|
|
|
туаЦИJIХ |
|
|
|
|
в разных представ |
3н |
|
L - критерий тен4енций Пей |
|
мемых условиях нли |
более |
|
джа; |
|
разнь~ми способами |
|
|
х2, - критерий Фр11д1о1виа |
2.САВИПI ПОА |
ОАНи н те же пока |
|
|
|
влиянием акс |
зате.ли, иэмереннь~е у |
|
|
|
перименталь |
одннх и тех же ис |
|
|
|
ных воэ4ейст пь~туемых АО и после |
|
|
|
|
внй |
ВОЭАеЙствик: |
2 |
|
G - критерий знаков; |
|
а) при аn:утствин |
|
||
|
контрольной rруппь~ |
|
|
Т - критерий Внлкоксона |
|
|
3и |
|
L - критерий тенденций Пей |
|
|
более |
|
джа; |
|
|
|
2 |
xz, - критерий Фр11д1о1виа |
|
б) при налнчин кон |
2 |
Варвавт 1 - сопостааленне |
|
|
трольной rр}'ППЬI |
|
|
.аначений "'Ао" и •после" ar" |
|
|
|
|
АеАЬно по вкспериментальной |
|
|
|
|
и контрольной rpynnaм: |
|
|
|
|
G - критерий зна11ов; |
|
|
|
|
Т - критерий Внлкоксона |
|
|
|
|
Варвавт 2 - соnоставление |
|
|
|
|
с.цвиrов в АВух rpynnax: |
|
|
|
|
Q - критерий; |
|
|
|
|
U - критерий Манна-Уитни; |
|
|
|
2 |
·со* - коитеоий Фишера |
|
|
3и |
Сапостаалеиие значений от |
|
|
|
более |
|
АеЛЬНО по вксперимепrальной |
|
|
|
|
и контрольной rpynnaм: |
|
|
|
|
L - критерий тенденций Пей |
|
|
|
|
джа; |
|
|
2 |
|
х2, • критерий ФрИАМана |
3. Структуриь~е |
Разнь~е показатели |
|
G • критерий знаков; |
|
САВИПI |
DАНИХ и тех же ИСПЬI• |
|
|
Т - критерий Вилкоксона |
|
rуемь~х |
|
|
|
|
|
3и |
|
L • критерий тенденций Пей |
|
|
более |
|
джа; |
х2, • критерий ФрИАМана
Крrrервв ...еневвв 77
Как с.ледует иэ Табл. 3.1, при сопоставлении ~замеров, про·
изведенных на одной и той же (экспериментальной) выборке, применя ются критерии знаков С и критерий Т Вилкоксона. При сопоставлении
трех и более замеров, произведенных на одной и той же выборке, при
меняются критерий тенденций L Пейджа, а ее.ли он неприменим из-за
большого объема выборок. критерий х2, Фридмана.
· В тех случаях, когда мы хотим оценить различия в интенсивности
сдвига в двух группах испытуемых (контрольной и экспериментальной
или двух экспериментальных), мы можем использовать различные ва
рианты сопоставлений: 1) производить сопоставления отдельно в двух
группах, используя критерии L и 'Х,2,; 2) сопоставлять показатели
сдвига1 в двух группах. Поскольку группы независимы, значения сдви
гов также независимы, и мы можем применять по отношению к ним
уже известные нам критерии Q Розенбаума, U Манна-Уитни и <р* •
угловое преобразование Фишера.
3.2. G- критерий знаков
Наввачевве критерия G
Критерий знаков2 С предназначен для установления общего на
правления сдвига исс.ледуемоrо признака.
Он позволяет установить, в какую сторону в выборке в целом
изменяются значения признака при переходе от 11ервоrо и.змерения ко
второму: изменяются ли показатели в сторону улучшенИJ1, поиышения
или усиления или, наоборот, в сторону ухудшения, пони.жN•ия или ос
лабления.
Описание критерия G
Критерий знаков ·применим и к тем с.двиrам, которь1е можно оп ределить лишь качественно (например, изменение отриц;1те.льноrо от
ношения к чему-либо на положиТельное), так и к тем сдвигам, которые
1 Сдвиг • sто разностъ между вторым и первым замерами. Сначала вычиСЛ11ЮТСJ1
разности отдем.но АЛЯ каждой из гpymr, а уж затем провоДЯТ<:я сопоставления
двух рядов разностей (сдвигов), полученных в ра.чиых группах. Примером такого
сопостаВлеиия сдвигов в ощущении психологической дистанции являет•:.я Задача 1.
2 Критерий знаков с математической точки зрения является частчы.., случаем би
номиального критерия для двух раяноаероятных альтернатив. При вероятности каждой из альтернатив ~.50 критерий знаков J1ВЛJ1ется зеркальным отраже· нием биномиального критерия (см. параграф 5.З;. В нек.оторых руv..оводс.твах кри
терий знаков назЬJВа.ЮТ критерием Мак-Не111ара (Mi:Call R., 1970; Рунион Р.,
1982).
78
могут быть измерены количественно (например, сокращение времени работы над заданием после экспериментального воздействия).
Во втором случае, однако, ее.ли сдвиги варьируют в достаточно
широком диапазоне, .лучше применять критерий Т Ви.лкоксона. Он учи
тывает не только направление, но и интенсивность сдвигов и может
оказаться более мощным в определении достоверности сдвигов, чем
критерий знаков.
Как правило, исследователь уже в процессе эксперимента может
заметить, что у большинства испьпуемых показатели во втором замере
имеют тенденцию, скажем, повышаться. Однако ему еще требуется до
казать, что положительный сдвиг является преобладающим.
Для начала мы назовем сдвиги, которые нам кажутся преобла
дающими, типичными сдвигами, а сдвиги более редкого, противополож
ного направления, нетипичными. Ее.ли значения показателя повышаются
у большего количества испьпуемых, то этот сдвиг мы будем считать
типичным. Ее.ли мы исследуем отношение испьпуемых к какому-либо
событию и.ли предложению, и после экспериментальных воздействий у
большинства испьпуемых отрицательное отношение смени.лось на поло
жительное, то этот сдвиг мы назовем типичным.
Есть еще, правда, возможность "ну.левых" сдвигов, когда реакция
не изменяется и.ли показатели не повышаются и не понижаются, а ос
таются на прежнем уровне. Однако такие "ну.левые" сдвиги в критерии
знаков исключаются из рассмотрения. При этом количество сопостав
ляемых Пар уменьшается на число таких "ну.левых" сдвигов.
Суть критерия знаков состоит в том, что он определяет, не
с.лишком .ли много наблюдается "нетипичных сдвигов", чтобы сдвиг в "типичном" J!аправ.лении считать преобладающим? Ясно, что чем мень
ше "нетипичных сдвигов", тем более вероятно, что преобладание
"типичного" сдвига является преобладающим. Gвмп - это количество
"нетипичных" сдвигов. Чем меньше G,,..0 , тем более вероятно, что сдвиг в "типичном" направлении статистически достоверен.
Гипотезы
Но: Преобладание типичного направления сдвига является случаiiным.
Н1: Преобладание типичного направления сдвига не является случайным.
rрафическое представление критерия знаков
На Рис. 3.1 "типичные" сдвиги изображены в виде светлого об
.лака, а нетипичные сдвиги - темного об.лака. Мы видим, что на рисунке темное облако значительное меньше. Допустим, после выступления ора
тора большинство слушателей измени.ли свое отрицательное отношение
Крвтервв 11.11Nевеввii |
79 |
к какому-то предложению на по.ложительное. Вместе с тем, часть с.лу
шате.лей изменила свое по.ложительное отношение на отрицательное, проявив "нетипичную" реакцию. Критерий знаков позволяет опреде
АИТЬ, не с.лишком ли значительная часть с.лушате.лей "нетипично" про
реагировала на выступление оратора? Поглощает ли масса светлого об
.лака небольшое темное облако?
-+-- |
+ |
|
|
|
+ |
|
|
|
|
-+- |
|
|
+ |
|
+ |
|
|||
|
+ |
|||
-+- |
+ |
|||
|
||||
|
+ |
+ |
+ |
|
|
+ |
-+-- |
||
-+- |
·+- |
|
|
Рис. 3.1. ГрафНческое ПредставА<НИе JЮЛОЖН'l'tАllНЫХ и O'l'JIИ!lllТOЛЫIЫX СД11Иrов в ф<>рме
облаtсов: светлое обм.ко " llOAOЖllТ'tAЬlle цвиrи, темное обАако " arpИg&тe.AЪllltle
сдвиrи
В Таблице V Приложения 1 даны критические значения крите рия знаков для разных n. Поскольку критерий знаков представляет
собой одно из трех исключений из общего правила, представим обоб щенную "ось значимости" для втоrо критерия графически (Рис. 3.2)
СДВИГОВ мало сдвигов много
Зона значимости Зона незначимости
Рис. 3.2. OбoбfllOIDlaJI 0 0Cll значимости" ANI кpнтeJ>IUI знаков
Зона значимости простирается влево, в сторону более низких
значений, поскольку чем меньше "нетипичных" знаков, тем достовернее
"типичный" сдвиг. Зона незначимости, напротив, простирается вправо, в сторону более высоких значений G. Постепенно "нетипичных" сдви
гов становится так много, что теряется само ощущение какого-то преоб-
80
ладанки в направленности сдвигов. Зона незначимости характеризует
ситуацию, когда сдвиги обоих направлений перемешаны.
Оrрцнчения критерия маков
Количество наблюдений в обоих замерах· не менее 5 и не более 300.
Пример
В исследовании Г.А. Бадасовой (1994) изучались личностные
факторы суггестора, способствующие его внушающему воздействию на
аудиторию. В вксперименте участвовало 39 слушателей колледжа и спецфакультета практической психологии Санкт-Петербургского уни верситета, 9 мужчин и 30 женщин в возрасте от 18 до 39 лет, средний возраст 23,5 года. Испытуемые выступали в качестве суггерендов, т.е.
лиц, по отношению к которым оказывалось внушающее воздействие.
В вкспериментальной группе (n1=16) испытуемые просматривали
видеозапись речи суггестора о целесообразности применения физических
наказаний в воспитании детей, а в контрольной группе (nz=23) испы туемые просто читали про себя письменный текст. Содержание речи
суггестора и текста полностью совпадали.
До и после предъявления видеозаписи (в экспериментальной группе) и текста (в контрольной группе) испытуемые отвечали на 4
вопроса, оценивая степень согласки с их содержанием по 7-балльной
шкале:
1. Я считаю возможным иногда шлепнуть своего ребенка за дело, если
он втого заслужил: |
|
|
|
5 |
|
|
|
|
Не согласен |
1 |
2 |
3 |
4 |
6 |
7 |
Согласен |
2. Если, придя домой, я узнаю, что кто-то из близких, бабушка или
дедушка, шлепнул моего ребенка за дело, то я буду считать, что вто
нормально: |
|
|
|
|
5 |
|
|
|
Не согласен |
1 |
2 |
3 |
4 |
6 |
7 |
Согласен |
3. Если мне станет известно, что воспитательница детского сада или
учительница в школе шлепнула моего ребенка за дело, то я восприму
вто как должное: |
|
|
|
|
|
|
|
|
Не согласен |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
Согласен |
4.Я бы согласился отдать своего ребенка в школу, где применяется
система физических наказаний по итогам недели:
Не согласен 1 |
2 |
3 |
4 |
5 |
6 |
7 |
Согласен |
Суггестор был подобран по признакам, которые были выявлены в
пилотажном исследовании (Бадасова Г. А., 1994). Результаты двух замеров по обеим группам представлены в Табл. 3.2 и Табл. 3.3.
Кр117У!рвв IDDleвeввil |
81 |
|
Таблщdа 3.2 |
Оценки степени согласия с утверждениями о допустимости телесных
наказаний до и после предъявления видеозаписи в экспериментальной
группе (п1=16)
|
|
|
|
|
.......... |
- |
.nос.м" " "до"} по шкалам |
|
|
|
||
|
|
|
|
",НIСИ И САВИ1'11 n1 |
1 .llOIC |
|
|
|
||||
№ |
|
·я сам" |
|
|
|
|
." _.__тe.All. |
|
·ш"°""· |
|
||
п/п |
JIO |
поем |
САВ1П' |
11Р |
поем |
|
111> |
ПОСАе ......... |
111> |
ПОСАе |
|
|
1 |
4 |
4 |
о |
2 |
4 |
+2 |
1 |
1 |
о |
1 |
1 |
о |
2 |
1 |
1 |
о |
1 |
1 |
о |
1 |
1 |
о |
1 |
1 |
-о |
3 |
s |
s |
о |
4 |
4 |
о |
4 |
4 |
о |
1 |
1 |
о |
4 |
4 |
s |
+1 |
3 |
3 |
о |
2 |
3 |
+1 |
1 |
2 |
+1 |
s |
3 |
3 |
о |
3 |
4 |
+1 |
2 |
3 |
+1 |
1 |
1 |
о |
6 |
4 |
s |
+1 |
s |
s |
о |
1 |
1 |
о |
1 |
1 |
о |
7 |
3 |
3 |
о |
3 |
3 |
о |
1 |
1 |
о |
1 |
1 |
о |
8 |
s |
6 |
+1 |
s |
6 |
+1 |
3 |
3 |
о |
2 |
1 |
-1 |
9 |
6 |
7 |
+1 |
s |
7 |
+2 |
3 |
3 |
о |
1 |
2 |
+1 |
10 |
2 |
3 |
+1 |
2 |
3 |
+1 |
2 |
1 |
-1 |
1 |
1 |
о |
11 |
6 |
6 |
о |
3 |
3 |
о |
2 |
1 |
-1 |
1 |
1 |
о |
12 |
; |
; |
о |
3 |
s |
+2 |
4 |
4 |
о |
1 |
1 |
о |
13 |
7 |
7 |
о |
; |
s |
о |
4 |
4 |
о |
1 |
1 |
о |
14 |
; |
6 |
+1 |
s |
6 |
+1 |
2 |
2 |
о |
1 |
2 |
+1 |
15 |
; |
6 |
+1 |
; |
6 |
+1 |
4 |
3 |
-1 |
2 |
2 |
о |
16 |
6 |
7 |
+1 |
6 |
7 |
+1 |
4 |
4 |
о |
2 |
2 |
о |
Таблщ~а 3.3 Оценки степени согласия с утверждениями о допустимости телесных
наказаний до и после предъявления письменного текста в контрольной
группе (пr23)
№·я сам"
n/n |
АО |
поем |
сд11111' |
1 |
4 |
4 |
о |
2 |
7 |
7 |
о |
3 |
2 |
2 |
о |
4 |
4 |
3 |
-1 |
; |
3 |
; |
+2 |
6 |
2 |
1 |
-1 |
7 |
s |
s |
о |
8 |
2 |
2 |
о |
9 |
3 |
4 |
+1 |
10 |
s |
s |
о |
11 |
; |
s |
о |
12 |
2 |
2 |
о |
13 |
1 |
1 |
о |
14 |
4 |
3 |
-1 |
1; |
3 |
4 |
+1 |
16 |
4 |
4 |
о |
17 |
3 |
3 |
о |
18 |
6 |
6 |
о |
19 |
2 |
2 |
о |
20 |
1 |
2 |
+1 |
21 |
2 |
2 |
о |
22 |
6 |
6 |
о |
23 |
3 |
2 |
-1 |
1~11 и САВИ1'И |
----- |
0ПОСАе• |
• •АО") по 1111С8АаМ |
|
|||
|
j |
|
|||||
|
,............. |
|
"Вocnнnrre.u.. |
|
|||
11Р |
поем |
|
|
11Р |
ПОСАе |
" .... |
11Р |
j |
; |
|
о |
1 |
1 |
о |
1 |
7 |
7 |
|
о |
7 |
7 |
о |
4 |
1 |
1 |
|
о |
3 |
1 |
-2 |
1 |
3 |
2 |
|
-1 |
1 |
1 |
о |
1 |
; |
s |
|
о |
3 |
3 |
о |
1 |
2 |
1 |
|
-1 |
1 |
1 |
о |
1 |
3 |
3 |
|
о |
1 |
1 |
о |
1 |
2 |
3 |
|
+1 |
1 |
3 |
+2 |
1 |
3 |
4 |
|
+1 |
1 |
1 |
о |
1 |
; |
; |
|
о |
1 |
1 |
о |
1 |
1 |
1 |
|
о |
1 |
t |
о |
t |
t |
1 |
|
о |
1 |
1 |
о |
t |
1 |
t |
|
о |
1 |
2 |
+1 |
6 |
7 |
; |
|
-2 |
2 |
4 |
+2 |
1 |
2 |
3 |
|
+t |
1 |
2 |
+1 |
t |
3 |
3 |
|
о |
1 |
t |
о |
1 |
2 |
2 |
|
о |
1 |
1 |
о |
1 |
6 |
6 |
|
о |
6 |
6 |
о |
t |
2 |
1 |
|
-1 |
1 |
1 |
о |
1 |
1 |
1 |
|
о |
1 |
1 |
о |
1 |
2 |
2 |
|
о |
2 |
1 |
-1 |
1 |
6 |
6 |
|
о |
3 |
3 |
о |
1 |
1 |
2 |
|
+1 |
1 |
1 |
о |
1 |
ПОСАе |
..,..... |
"Шком" |
|
1 |
о |
4 |
о |
1 |
о |
1 |
о |
1 |
о |
1 |
о |
1 |
о |
3 |
+2 |
6 |
+; |
1 |
о |
t |
о |
1 |
о |
7 |
+1 |
1 |
о |
1 |
о |
1 |
о |
1 |
о |
3 |
+2 |
1 |
о |
1 |
о |
1 |
о |
1 |
о |
1 |
о |