Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

Литература

Артемьева Е.Ю. Основы психологии субъективной семантики. М.: Смысл, 1999. Баранов А.Н. Лингвистическая экспертиза текста: Теория и практика. М.: Флинта;

Наука, 2007.

Братченко С.Л. Введение в гуманитарную экспертизу образования: (Психологические аспекты). М.: Смысл, 1999.

Викентьев И.Л. Приемы рекламы и Public Relations. СПб.: Консалтинговая фирма «Триз-Шанс»; Бизнес-Пресса, 2002.

Гиренко Н.М. Социогуманитарная экспертиза как источник доказательной информации // Методика расследования преступлений, совершаемых на почве национальной или расовой вражды или ненависти / А.Я. Винников, Н.М. Гиренко, О.Н. Коршунова, А.В. Леухин, Е.Б. Серова; Под общ. ред. О.Н. Коршуновой. СПб., 2002. С. 86–91.

Зараковский Г.М. Качество жизни населения России: психологические составляющие. М.: Смысл, 2009 (в печати).

Зиновьев А.А. На пути к сверхобществу. М.: Центрполиграф, 2000.

Иванченко Г.В., Леонтьев Д.А., Сафуанов Ф.С., Тульчинский Г.Л. К системной методологии комплексной гуманитарной экспертизы // Труды Ярославского методологического семинара. Т. 3: Метод психологии / Под ред. В.В. Новикова и др. Ярославль: МАПН, 2005. С. 89–110.

Канеман Д., Словик П., Тверски А. Принятие решений в неопределенности: Правила и предубеждения. Харьков: Гуманитарный центр, 2005.

Левин К. Динамическая психология. М.: Смысл, 2001.

Леонтьев А.А. Прикладная психолингвистика речевого общения и массовой коммуникации / Под ред. А.С. Маркосян, Д.А. Леонтьева, Ю.А. Сорокина. М.: Смысл, 2008.

Леонтьев Д. 50 % рекламы // Рекламист. 1995. № 8. С. 18.

Леонтьев Д. Подсознательное воздействие банковской рекламы: Диагностика и конструирование имиджа // Вестник Ассоциации российских банков. 1997. № 36. С. 54–59.

Матьяш О.И. Деятельность центра экспертизы: взгляд со стороны // Экспертиза: теория, практика. Сб. 1. Новокузнецк, 1997. С. 59–65.

Мкртычян Г.А. Психология экспертной деятельности в образовании: Теория. Методология. Практика. Н. Новгород, 2002.

Петренко В.Ф. Основы психосемантики. 2-е изд. СПб.: Питер, 2005.

Ратинов А.Р., Кроз М.В., Ратинова Н.А. Ответственность за разжигание вражды и ненависти: Психолого-правовая характеристика. М.: Юрлитинформ, 2005.

Резник Г.М. Предисловие юриста // Баранов А.Н. Лингвистическая экспертиза текста: Теория и практика. М.: Флинта; Наука, 2007. С. 3–5.

Сафуанов Ф.С. Судебно-психологическая экспертиза в уголовном процессе. М.: Смысл; Гардарика, 1998.

Сафуанов Ф.С. Гуманитарная экспертология: актуальные проблемы и перспективы // Экспертиза в современном мире: от знания к деятельности / Под ред. Г.В. Иванченко, Д.А. Леонтьева. М.: Смысл, 2006. С. 51–62.

Скрытое эмоциональное содержание текстов СМИ и методы его объективной диагностики / Под ред. А.А. Леонтьева, Д.А. Леонтьева. М.: Смысл, 2004.

Соболева Е.Г. Лингвистическая экспертиза: методики, ограничения в применении // Экспертиза в современном мире: от знания к деятельности / Под ред. Г.В. Иванченко, Д.А. Леонтьева. М.: Смысл, 2006. С. 203–213.

70

Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

Тульчинский Г.Л. Гуманитарная экспертиза как социальная технология // Экспертиза в современном мире: от знания к деятельности / Под ред. Г.В. Иванченко, Д.А. Леонтьева. М.: Смысл, 2006. С. 10–29.

Цена слова / Отв. ред. М.В. Горбаневский. 2-е изд., испр. и доп. М.: Галерия, 2002. Шмелев А.Г. Согласование экспертных оценок с помощью интернет-технологии шка-

лирования // Экспертиза в современном мире: от знания к деятельности / Под ред. Г.В. Иванченко, Д.А. Леонтьева. М.: Смысл, 2006. С. 175–185.

Эпштейн М.Н. Знак_пробела: о будущем гуманитарных наук. М.: Новое литературное обозрение, 2004.

Ярская В.Н. Методология конструирующей экспертизы: Из опыта работы эксперта // Современное российское общество: Власть экспертизы: Межвуз. научн. сб. Саратов: Изд-во Саратовского мед. ун-та, 2003. С. 5–13.

Arendt H. Between past and future: Eight exercises in political thought. N.Y.: The Viking Press, 1968.

Bennett W.J. First lessons: A report on elementary education in America. Washington (DC): U.S. Department of Education, 1986.

Bickman L. (Ed.). Using program theory in evaluation // New Directions for Program Evaluation. 1987. № 33. P. 5–18.

Bloom H.S. Minimum detectable effects: A simple way to report the statistical power of experimental designs // Evaluation Review. 1995. № 19 (5). P. 547–556.

Bloom H.S. Estimating program impacts on student achievement using ‘short’ interrupted time-series. N.Y.: MDRC, 1999.

Bloom H.S., Ham S., Melton L. et al. Evaluating the Accelerated Schools Approach: A look at early implementation and impacts in eight elementary schools / Bloom H.S., Ham S., Melton L., O’Brien J. N.Y.: MDRC, 2001.

Bloom H.S., Paige R., Hicock E.W. et al. Measuring the impacts of whole-school reforms: Methodolical lessons from an evaluation of accelerated schools / Bloom H.S., Paige R., Hicock E.W., Ginsburg A.L., Takai R.T.. Washington (DC): US. Department of Education, 2002.

Bryk A.S., Raudenbush S.W. Hierarchical linear models: applications and data analysis methods. Newbury Park (CA): Sage Publications, 1992.

Bryk A.S., Thum Y.M., Easton J.Q. et al. Academic productivity of Chicago public eementary schools / Bryk A.S., Thum Y.M., Easton J.Q., Luppescu S. Chicago: Consortium on Chicago School Research, 1998.

Campbell D.T., Stanley J.C. Experimental and quasi-experimental designs for research. Chicago: Rand McNally, 1966.

Chen H.T. Issues in constructing program theory // New Directions for Program Evaluation. 1990. № 47. P. 7–18.

Chen H.T., Rossi P. Evaluating with sense: The theory-driven approach // Evaluation Review. 1983. № 7 (3). P. 283–302.

Cook T. D., Gruder C.L. Metaevaluative research // Evaluation Quarterly. 1978. Vol. 2. Р.

5–51.

Cook T.D., Leviton L., Shadish W.R. Program evaluation // Handbook of Social Psychology / Ed. by G. Lindzey, E. Aronson. 3rd ed. N.Y.: Random House, 1985. P. 699–777.

Cooper H., Hedges L.V. (Eds.). The Handbook of Research Synthesis. N.Y.: Russell Sage Foundation, 1994.

Crew R.E., Anderson M.R. Accountability and performance in charter schools in Florida: A theory-based evaluation // American Journal of Evaluation. 2003. № 24 (2). P. 189–212.

Cronbach L.J. Designing evaluations of educational and social programs. San Francisco: Jossey-Bass, 1982.

71

Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

Donaldson S.I., Gooler L.E. Theory-driven evaluation in action: Lessons from a $20 million statewide work and health initiative // Evaluation and Program Planning. 2003. № 26 (4). P. 355– 366.

Eisner E.W. Educational connoisseurship and criticism: Their form and functions in educational evaluation // Journal of Aesthetic Education. 1976. Vol. 10, № 3–4. P. 135–150.

Finn J.D., Achilles C.M. Tennessee’s class size study: Findings, implications, misconceptions // Educational Evaluation and Policy Analysis. 1999. № 2 (21). P. 97–109.

Gajda R., Jewiss J. Thinking about how to evaluate your program? These strategies will get you started // Practical Assessment, Research & Evaluation. 2004. № 9 (8).

Greene J.C., Caracelli B.J., Graham W.F. Toward a conceptual framework for mixed-method evaluation designs // Educational Evaluation and Policy Analysis. 1989. № 11 (3). P. 255–274.

Grotelueschen A.D. Program evaluation // Developing, administering, and evaluating adult education / Ed. by A.B. Knox. San Francisco: Jossey-Bass, 1980. P. 75—123.

Ham S., Doolittle F.C., Holton G.I. Building the foundation for improved Student performance: The pre-curricular phase of project GRAD Newark. N.Y.: MDRC, 2000.

Knox A.B. (Ed.). Developing, administering, and evaluating adult education. San Francisco: Jossey-Bass Publishers, 1980.

Lincoln Y. The arts and sciences of program evaluation // Evaluation Practice. 1991. № 12

(1). P. 1–7.

Lipsey M. Design sensitivity: Statistical power for experimental research. Newbury Park (CA): Sage Publications, 1990.

Lipsey M.W. Theory as method: Small theories of treatments // New Directions for Program Evaluation. 1993. № 57. P. 5—38.

Lodge D. Thinks… Harmondsworth: Penguin Books, 2001.

Lovallo D., Kahneman D. Delusions of success: How optimism undermines executives’ decisions // Harvard Business Review. 2003. July. P. 56–63.

Mathison S. Why triangulate? // Educational Researcher. 1988. № 17 (2). P. 13–17. Mccarthy M. University-based policy centers: New actors in the education policy arena //

Educational Researcher. 1990. № 19 (8). P. 25–29.

Meyer R.H. Value-added indicators of school performance: A primer // Economics of Education Review. 1997. № 16 (3). P. 283–301.

Murray D.M., Short B. Intra-class correlations among measures related to alcohol use by young adults: Estimates, correlates and applications in intervention studies // Journal of Studies on Alcohol. 1995. № 56 (6). P. 681–693.

Nevo D. The conceptualization of educational evaluation // Review of Educational Research. 1983. Vol. 53. P. 117–128.

Nye B., Hedges L.V., Konstantopoulos S. The long-term effects of small classes: A five-year follow-up of the Tennessee class size experiment // Educational Evaluation and Policy Analysis. 1999. № 21 (2). P. 127–142.

Oakes J.M., Feldman H.A. Statistical power for nonequivalent pretest-posttest designs // Evaluation Review. 2001. № 25 (1). P. 3–28.

Olejnik S., Algina J. Measures of effect size for comparative studies: Applications, interpretations and limitations // Contemporary Educational Psychology. 2000. № 25. P. 241–286.

Owens T.R. Educational evaluation by adversary proceedings // School evaluation: The politics and the process / Ed. by E.R. House. Berkeley (CA): McCutchan, 1973.

Partlett M., Hamilton D. Evaluation as ilumination: A new approach to the study of innovative programs // Evaluation Studies Review Annual. Vol. 1 / Ed. by G.V. Glass. Beverly Hills (CА): Sage, 1976.

72

Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

Patton M.Q. Utilization-focused evaluation: The new century text. Thousand Oaks (CA): Sage Publications, 1997.

Patton M.Q. On evaluation use: Evaluative thinking and process use // The Evaluation Exchange. Winter 2003/2004. Vol. 9, № 4.

Raudenbush S.W., Willms J.D. The estimation of school effects // Journal of Educational and Behavioral Statistics. 1995. № 20 (4). P. 307–335.

Reichardt C.S., Rallis S.F. Editors’ notes // New directions for program evaluation. 1994. № 61. P. 1.

Rist R.C. On evaluation utilization: From studies to streams // The Evaluation Exchange. Winter 2003/2004. Vol. 9, № 4. P. 5–6.

Rossi P.H., Freeman H.E. Evaluation: A systematic approach. 5th ed. Newbury Park (CA): Sage, 1993.

Rossi P. The war between the quals and the quants: Is a lasting peace possible? // New Directions for Program Evaluation. 1994. № 61. P. 23–36.

Sanders W.L., Horn S.P. The Tennessee value-added assessment system (TVAAS): Mixed model methodology in educational assessment // Journal of Personnel Evaluation in Education. 1994. № 8. P. 299–311.

Scriven M.S. The methodology of evaluation // Curriculum evaluation / Ed. by R.E. Stake. Chicago: Rand McNally, 1967. (AERA Monograph Series on Curriculum Evaluation; Vol. 1).

Scriven M.S. Pros and cons about goal-free evaluation // Evaluation Comment. Berkeley (CA), 1972.

Scriven M. The evaluation of college teaching. Syracuse (NY): National Dissemination Center; Syracuse University School of Education, 1980 a.

Scriven M. The logic of evaluation. Point Reyes (CA): Edgepress, 1980 b.

Sechrest L. Roots: Back to our first generations // Evaluation Practice. 1992. № 13 (1). P. 1–7. Shadish W. Presidential address: Evaluation theory is who we are // American Journal of

Evaluation. 1998. Vol. 19, № 1. P. 1–19.

Shadish W.R., Cook T.D., Leviton L. Foundations of program evaluation: Theories of practice. Newbury Park (CA): Sage Publications, 1991.

Smith A.G. Testing the surf: Criteria for evaluating Internet information resourses // The Public-Access Computer Systems Review. 1997. Vol. 8, № 3.

Spilka G. On Community-based evaluation // The Evaluation Exchange. Winter 2003/2004. Vol. 9, № 4.

Stufflebeam D., Gullickson A., Wingate L. The spirit of Consuelo: An evaluation of Ke Aka Ho’ona. Kalamazoo, 2002.

Trochim W.M.K. An introduction to concept mapping for planning and evaluation // Evaluation and Program Planning. 1989. № 12 (1). P. 1—16.

Understanding and dealing with difficult client behaviors. Selected training topics for workers in income maintenance and medical assistance. Continuing Education Program. State University of New York at Albany, 1981.

Walker G., Grossman J.B. Philanthropy and outcomes: Dilemmas in the quest for accountability. Philadelphia: Public Private Ventures, 1999.

Walker N. http://www.succeed.ufl.edu/content/Evaluation/primer.html

Weick K.E., Coutu D.L. Sense and reliability: A conversation with celebrated psychologist Karl E. Weick // Harvard Business Review. 2003. April. P. 84–90.

Weiss C.H. Evaluation research: Methods of assessing program effectiveness. Englewood Cliffs (NJ): Prentice-Hall, 1972.

Weiss C.H. How can theory-based evaluation make greater headway? // Evaluation Review. 1997. № 21 (4). P. 501–524.

73

Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

Weiss C.H. On theory-based evaluation: Winning friends and influencing people // The Evaluation Exchange. Winter 2003/2004. Vol. 9, № 4. P. 2–3.

William W., Evans J. The politics of evaluation: The case of «head Start» // Annals of the American academy of political and social science. 1969. September. Vol. 385. P. 118–132.

74

Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

Приложение 1 Ф.С. Сафуанов. Процедурные и

технологические аспекты экспертизы1

Заказчик должен обосновать необходимость экспертного исследования и при назначении экспертизы сформулировать четкие вопросы экспертам. Требования к формулировке вопросов (экспертного задания) сводятся, во-первых, к тому, что решение этих вопросов невозможно без применения специальных знаний в области гуманитарных наук (то есть на основе общеизвестных фактов, здравого смысла и пр.), во-вторых, к тому, чтобы они не выходили за пределы компетенции эксперта (экспертов).

В целом, исполнителем экспертизы является либо частное лицо, либо экспертное учреждение, которое, в свою очередь, может быть государственным и негосударственным. В зависимости от характера назначаемой экспертизы она может проводиться единолично членом экспертной организации или комиссионно – несколькими экспертами. В свою очередь, комиссионная экспертиза может проводиться экспертами одной специальности (однородная экспертиза) или экспертами различных специальностей (комплексная экспертиза). Комплексная экспертиза может быть как полисубъектной (когда разные области специальных познаний представляют разные эксперты), так и моносубъектной (когда один эксперт обладает познаниями в разных областях – например, в философии и социологии и т. п.). В последнем случае экспертиза будет единоличной и комплексной.

Ясно, что в экспертной организации необходимы лица, обладающие широким кругозором в области гуманитарных наук, которые могли бы оценить необходимость привлечения экспертов той или иной специальности для решения поставленных вопросов и координировать процесс производства самой экспертизы. Взаимодействие экспертов разной специальности может осуществляться в различных формах. Возможно последовательное комплексирование, когда в перечне вопросов, поставленных перед экспертами, одни относятся к одной области знания, а другие – к иной. Соответственно, эксперты разных специальностей дают ответы только на вопросы, которые относятся к сфере их компетенции. Более тесное взаимодействие экспертов разных специальностей обеспечивается последовательно-парал- лельным комплексированием, при котором выводы экспертов одной специальности (при решении одних вопросов) используются экспертами другой специальности для обоснования своих выводов (при решении других вопросов). И, наконец, параллельное комплексирование подразумевает наличие интегративных (синтезирующих) выводов, когда при ответах на вопросы одновременно используются различные специальные знания. Такое комплексирование необходимо при наличии вопросов, ответы на которые нельзя дать в рамках применения знаний эксперта только одной специальности.

Установление обстоятельств, интересующих заказчика, производится путем экспертного исследования и дачи заключения экспертом (экспертами), который должен ответить на поставленные перед ним вопросы, не ограничиваясь изначальными формулировками, и дать итоговые рекомендации.

Отличительной особенностью любого экспертного заключения является его достаточно строго унифицированная формальная структура, позволяющая заказчику правильно оценить содержание экспертного исследования и выводы (ответы на вопросы).

1 Сафуанов Ф.С. Гуманитарная экспертология: актуальные проблемы и перспективы // Экспертиза в современном мире: от знания к деятельности / Под ред. Г.В. Иванченко, Д.А. Леонтьева. М.: Смысл, 2006. С. 51–62.

75

Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

Заключение эксперта (комиссии экспертов) всегда дается в письменной форме. Эксперт дает заключение от своего имени, подписывает его и несет за него личную ответственность. Обычно в заключении выделяют три части: вводную, исследовательскую и выводы.

Вводная часть должна содержать:

–сведения о времени и месте проведения экспертизы;

–основания производства экспертизы (документ с обоснованием назначения гуманитарной экспертизы и экспертными вопросами);

–сведения о лице или органе, назначившем экспертизу;

–сведения о негосударственном экспертном учреждении или об эксперте (экспертах), которым поручено производство экспертизы (фамилия, имя, отчество, образование, специальность, стаж работы по специальности, по которой проводится экспертиза, ученая степень, ученое звание);

–вопросы, поставленные перед экспертом или комиссией экспертов;

–материалы, предоставленные для экспертного исследования;

–примененные методы исследования.

Вопросы должны быть даны точно в той формулировке, в какой они указаны в документе о назначении экспертизы. Если они, по мнению эксперта, сформулированы неправильно, эксперт вправе указать, как он их понимает, исходя из своих специальных знаний, то есть правильно переформулировать их. Эксперт может перегруппировать вопросы, исходя из логики своего экспертного исследования. В этой же части при необходимости приводятся вопросы, поставленные по инициативе самого эксперта.

В исследовательской части описывается процесс экспертного исследования, его результаты, оценка полученных результатов.

На основе исследования формулируются выводы, в виде ответов на вопросы, поставленные перед экспертом либо сформулированные экспертом при трансформации исходных вопросов. Ответ дается на каждый из поставленных вопросов, либо приводится обоснование невозможности ответа на какой-либо из этих вопросов.

Каждый эксперт, участвующий в производстве комплексной экспертизы, подписывает ту часть заключения, которая содержит описание проведенных им исследований.

Выводы в комплексной экспертизе могут быть двух видов.

Во-первых, это выводы эксперта одной специальности.

Если среди поставленных перед экспертами вопросов имеется вопрос, ответ на который входит в компетенцию эксперта (экспертов) лишь одной специальности, то этот эксперт (эти эксперты) могут сформулировать самостоятельный вывод, которым будет завершаться его (их) исследовательская часть в виде самостоятельной мотивировочной части.

Во-вторых, это интегративные или синтезирующие выводы.

Формулируются выводы комплексного экспертного исследования, входящие в совместную компетенцию. Исследования экспертов разных специальностей, каждое из которых подписывает тот эксперт (те эксперты), который (которые) и провел(и) данные исследования, обобщаются так, чтобы служить аргументами при формулировании общего вывода экспертной комиссии.

Порядок изложения выводов может определяться как порядком вопросов, содержащихся в постановлении или определении о назначении экспертизы, так и логической последовательностью ответов на вопросы.

Последний пункт требует специального обсуждения. В судебной экспертологии и в процессуальном законодательстве содержатся две нормы, которые необходимо внедрить и в практику гуманитарной экспертизы.

Первая из них дает право эксперту указывать в своем экспертном заключении обстоятельства, по поводу которых ему не были поставлены вопросы (так называемое «право экс-

76

Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

пертной инициативы»), при выполнении двух условий: эти обстоятельства относятся к предмету экспертизы; их установление входит в компетенцию эксперта. Дело в том, что эксперты, обладая (в отличие от заказчика экспертизы) специальными знаниями в определенных областях гуманитарных наук, могут определить важные гуманитарные аспекты проектов, программ, решений, которые не были эксплицированы в экспертном задании (вопросах), но которые имеют большое значение (иногда даже большее, чем ответы на заданные вопросы) для гуманитарных последствий исследуемого объекта.

Вторая норма подразумевает право эксперта в тех случаях, когда он не в состоянии ответить на поставленный вопрос (если он выходит за пределы его компетенции, современный уровень научных знаний не позволяет обоснованно ответить на вопрос и т. п.),

мотивированно сообщить заказчику о невозможности проведения исследований и предоставлении заключения. Это право, в свою очередь, тесно связано с правом эксперта ходатайствовать о предоставлении ему дополнительных материалов для экспертного исследования, если имеющиеся в его распоряжении материалы недостаточны для дачи заключения

(неполнота объекта исследования).

77