76. Влияние авторитета и социальное давление группы

Этот вопрос подробно рассмотрен в книге «Человек и ситуация»³¹⁰. В частности, хорошо известны эксперименты Милграма, где испытуемых заставляли бить всё большим током других «испытуемых» (на самом деле подсадных уток, и ни какого тока на самом деле не подавалось), чтобы те «учились», и испытуемые доходили до смертельно опасного напряжения в 400 вольт, несмотря на то, что «жертвы» умоляли их прекратить. При этом, хотя большинство людей уверено, что они не стали бы это делать, в реальных опытах это делали 66 % испытуемых. В качестве причин такого поведения было обнаружено влияние авторитета, удалённость жертвы и воздействие аналогичного поведения группы. Очевидно, что те же факторы могут действовать на нас, когда мы оцениваем риск, связанный с некоторым фактором или технологией. Если потенциальные жертвы её находятся от нас далеко во времени и в пространстве, если рядом с нами высокоавторитетная личность высказывается в пользу этой технологии, а также, если мы окружены группой людей, придерживающегося противоположного мнения, всё это окажет влияние на наш выбор.

77. Разрыв между обзорными и точечными исследованиями, между «деревом и лесом»

Обзорные исследования могут предлагать системные сценарии глобальной катастрофы или обсуждать последствия некоторых новых открытий, но не могут сказать, как именно сделать нечто опасное. Наоборот, прикладные исследования могут дать точную оценку рисков, скажем, отдельного астероида, но не суммарную оценку рисков ото всех причин. Этот разрыв ярко заметен в области нанотехнологий. Есть уровень обзорных проектных исследований, где в первую очередь уделяется внимание тому, что можно и нужно сделать, то есть идёт движение от заявленной цели к разным вариантам её воплощения. И есть уровень конкретных исследований свойств отдельных материалов. С точки зрения представителей первого направления прикладники «за деревом не видят леса», с точки зрения прикладников – первые «занимаются верхоглядством и фантастикой». Причём оба обвинения могут быть отчасти справедливы.

78. Ошибка, связанная с интеллектуальной проекцией

Эта ошибка возникает, когда мы неосознанно приписываем предметам обладание свойствами, которые на самом деле существуют только в наших представлениях о них. Пример такой ошибочности рассуждение вроде: «ИИ будет добрый, поэтому он не может меня убить». Тогда как доброта – это не свойство самого ИИ, а наша оценка его действия по отношению к нам, и причинная связь здесь обратная – мы называем ИИ «добрым», потому что он нас не убивает. Юдковски её определяет так: «Это частный случай глубокой, запутывающей и чрезвычайно распространённой ошибки, которую E. T. Jaynes назвал ошибочностью, связанной с умственной проекцией (mind projection fallacy). Jaynes, специалист по байесовской теории достоверности, определил «ошибочность, связанную с умственной проекцией» как ошибку, связанную с тем, что состояния знания перепутаны со свойствами объектов. Например, фраза «мистический феномен» подразумевает, что мистичность – это свойство самого феномена – но если я неосведомлен относительно некого феномена, то это факт о моём состоянии сознания, а не о самом феномене.)»