Главным достоинством метода

3. Главным достоинством метода «черного ящика» является минимизация возможного влияния заинтересованных лиц на принятие неэффективных решений. Метод нацеливает на выделение специального аналитического центра, который делает заключение исключительно по разработкам независимых экспертов, оценивающих перспективы принятия решений по определенному перечню проблем.

Чёрный ящик», объект изучения, внутреннее устройство которого либо неизвестно, либо слишком сложно для того, чтобы можно было по свойствам его составных частей (элементов) и структуре связей между ними делать выводы о поведении объекта; метод исследования таких объектов. Метод ««Чёрный ящик»» применяют в тех случаях, когда внешнему наблюдателю известны лишь входные воздействия на объект и его ответная реакция, а процессы, в нём протекающие, неизвестны. Простейшим примером использования метода ««Чёрный ящик»» может служить изучение многополюсника, внутренняя схема которого неизвестна. Наблюдая достаточно долго за поведением такого объекта и, если потребуется, выполняя активные эксперименты над ним, т. е. изменяя некоторым определённым образом входные воздействия, можно достигнуть такого уровня знаний свойств объекта, чтобы иметь возможность предсказывать изменение его поведения при любом заданном входном воздействии. Однако как бы детально ни изучалось поведение ««Чёрный ящик»», невозможно получить однозначное суждение о его внутреннем устройстве, т.к. одно и то же поведение может быть характерно для разных объектов. Метод ««Чёрный ящик»» широко применяют для решения задач моделирования управляемых систем (например, при исследовании сложных систем), особенно в тех случаях, когда представляет интерес поведение системы, а не её строение.

Существует очень широко распространенное убеждение, что наука оперирует только твердо установленными фактами, которые имеют четкую материальную фиксацию – то есть их параметры отслежены, измерены и зафиксированы. Считается, что если таких фактов (в частности, доказательств) нет, то и нет предмета для научного разговора. Отклонение от этого принципа считают ненаучным подходом.  Между тем, эти представления абсолютно не соответствуют реальной практике научного поиска. Метод «черного ящика», который прямо противоположен по своей сути принципу, описанному выше, не просто применяется в самый строгих научных дисциплинах, а является одним из ключевых интеллектуальных инструментов познания.  «Черный ящик» - это интеллектуальная конструкция, в которую как раз и помещают абсолютно неизвестные, неизмеримые, не наблюдаемые и никак не фиксируемые явления. Чтобы понять, как работает метод, приведу частный пример. Представьте себе, что по определенной траектории летит камень, а вы наблюдаете его движение, вы знаете его скорость, вес и прочие характеристики. То есть это как раз твердо установленные факты. Далее на его пути находится ящик с непрозрачными стенками. Сбоку есть отверстие, куда влетает камень, а вы расположены так, что не видите его дальнейший полет внутри ящика. На выходе тоже есть отверстие, из которого камень вылетает, и вы вновь видите его траекторию и отслеживаете все его параметры. Итак, у вас была невидимая часть полета, она вам неизвестна абсолютно. Вы не знаете, что там делали с камнем, отражался ли он от стенок, натыкался ли на какие-то преграды и тому подобное. Но есть видимая часть до входа в ящик и видимая после выхода в ящик.

Так вот, метод «черного ящика» в том и состоит, что ученый, зная видимые, измеримые характеристики, пытается догадаться, что же происходило во время невидимой части полета внутри «черного ящика». Настоящий ученый начинает строить объяснительную модель, хотя с точки зрения принципа, о котором я говорил вначале статьи, такой подход ненаучен. Ведь согласно этому принципу можно рассматривать только видимую часть полета камня, а о том, что было в «черном ящике» вообще говорить НЕЛЬЗЯ, нет твердо установленных фактов, не о чем и говорить. Люди, которые так рассуждают, и думают, что уж это то и есть настоящая наука, на самом деле, рассуждают не так, как это действительно принято в науке. Между тем, никто не видел не то что электрона, а даже атома, однако люди свободно рассуждают и об атомах, и об электронах, и о взаимодействии элементарных частиц. Причем важную часть этого знания наука получила именно используя как бы ненаучный, а на самом деле исключительно научный метод «черного ящика», метод, который не просто разрешает оперировать не твердо установленными фактами, а даже позволяет проводить исследования явлений, абсолютно неизвестных, неустановленных, чьи параметры не зафиксированы напрямую. Вот бы я посмотрел на человека, который объявит ядерную физику ненаучной, на основе применения в ней метода «черного ящика»! То есть наукой признается и даже провозглашается важным принципом сама возможность изучать неизвестные явления по косвенным признакам, другим фактам, иным явлениям. К чему все это было сказано? А к тому, что когда в истории применяют метод «черного ящика», то очень часто слышишь упреки в ненаучности. А делается это так. Человек выдвигает свою объяснительную модель явления, которое как раз и скрыто «черным ящиком», то есть поступает именно так как его собрат по науке – физик. А ему говорят, а где конкретные доказательства? Дайте документы, отпечатки пальцев, расписки и тому подобные материально зафиксированные факты, относящиеся к изучаемому явлению. У вас их нет? Ну, тогда говорить не о чем, ваш подход ненаучен. Рассуждающие таким образом не учитывают, что эти вещи, о которых они спрашивают, относятся к «черному ящику», то есть по определению, изначально неизвестны. Неизвестное изучают по известному – вот смысл метода «черного ящика», а этот метод как раз НАУЧЕН. Так что обвинение в ненаучности абсолютно несостоятельно. Вот жил человек, его убили, труп спрятали, свидетелей нет, отпечаток пальцев и тому подобных улик нет. Но если материальных, документально зафиксированных фактов о гибели человека нет, означает ли это, что нет и самого преступления и нет преступника? Очевидно, не означает. Как бы эта ситуация анализировалась по методу черного ящика? А вот так: на входе - факт существования человека, его контакты с окружающими (работа, семья, друзья и т.п.) На выходе - факт исчезновения человека. Под исчезновением подразумевается то, что человек оборвал контакты со своим известным кругом общения, а длительные поиски не дали никаких результатов. А что произошло с человеком, как раз и находится в «черном ящике». Объяснительная модель: человек убит, труп очень хорошо спрятан, возможно, полностью уничтожен. Конечно, можно предположить и альтернативно одаренные модели в духе: человек подался в леса, обиделся на мир, ловит рыбу, кормит собой мошкару и счастлив жизнью наедине. Да, и такое может быть, да только вряд ли.  А как я применяю метод «черного ящика» для изучения исторических процессов? А вот как.  Первое, с чем надо определиться, это то, что находится на входе «черного ящика». Это видимая часть процесса. Итак:

1. Значительная часть интеллектуального слоя Российской империи была уничтожена, изгнана, деклассирована. А образование, в том числе и высшее, профанировано, то есть полностью восстановить потери, в течение долгого времени было невозможно. Второе. Это то, что находится на выходе из «черного ящика».

2. На выходе находится неоспоримый технический и технологический рывок Советского Союза, для которого необходим широкий слой высококвалифицированных специалистов. Итак, успехи есть, а соответствующего слоя образованных людей для этого нет. Теперь сам «черный ящик». В нем мы поместим то, КАК именно был достигнут этот эффект. Считаем, что у нас нет никаких материально зафиксированных, конкретных фактов, четко показывающих механизм достижения такого успеха.  Наши рассуждения научны, поскольку научен сам метод «черного ящика».  Теперь строим объяснительную модель, которая бы по видимым явлениям объяснила бы то, что скрыто в «черном ящике». Итак, успехи есть, а соответствующего слоя образованных людей для этого нет. Объяснительная модель: роль отсутствующего в СССР слоя сыграли несоветские специалисты. На это мне могут возразить: да как же нет прямых материальных доказательств широкого учаcтия иностранцев в индустриализации? Да иностранных специалистов было в СССР несколько тысяч! Есть масса документов на этот счет!

Правильно, согласен, всё это есть, и мне это известно. Но для того, чтобы показать действенность «метода черного ящика» в истории, я специально не стал искать прямых доказательств, а поступил как ученый, который это отсутствие прямых документов, помещает в «черный ящик» и потом уже, по известным фактам, восстанавливает неизвестную часть картины.

Идем дальше.

Итак, началась Холодная война. Это - на входе в «черный ящик». Британия передает СССР сверхсовременную технологию реактивных двигателей. Это на выходе из «черного ящика»

Что в «черном ящике»? Что скрыто от глаз наблюдателя? Скрыты истинные взаимоотношения между Британией и СССР, согласно которым общеизвестный оппонент Советского Союза во время Холодной войны, зачем-то передает своему оппоненту, если не сказать, противнику, технологию реактивных двигателей! Итак, есть основания начать строить объяснительную модель.  Возьмем более масштабную задачу. На входе в «черный ящик» находятся следующие известные явления. 1. Революционное движение в России в начале XX века организовывалось, финансировалось, всемерно поддерживалось иностранными государствами. На этот счет есть море твердо установленных фактов, четких, однозначных документов. Здесь рекомендую для начала две книги: «Кто стоял за спиной у Сталина?» и «Купленная революция». Особенно заметны теснейшие связи революционеров с Британией. Как же называются люди, занимающиеся подрывом государственной власти, при этом финансируемые из зарубежа, направляемые из зарубежа, укрываемые зарубежом и т.п.? Это иностранные агенты.  На выходе. 2. Революционеры, то есть иностранные агенты, пришли к власти в России. Причем до 1953 года страной руководит человек, бывший заметной фигурой в революционном движении начала XX века. Итак, на входе в «черный ящик» мы видим, как идет подрыв государственной власти независимой страны, которую осуществляют иностранные агенты. На выходе, иностранные агенты приходят к власти. А что в «черном ящике»? В нем истинное устройство новой советской государственности. Моя объяснительная модель. Истинное устройство советской государственности колониальное. И, заметьте, все рассуждения сделаны в строгом соответствии с принятым в науке методом «черного ящика».

Модель «чёрного ящика»

Модель системы типа «чёрный ящик» отображает только связи системы со средой, в виде перечня "входов" и "выходов". Трудность построения модели "черного ящика" состоит в том, что надо решить, какие из многочисленных реальных связей включать, а какие не включать в состав модели. Кроме того, всегда существуют и такие связи, которые нам неизвестны, но они-то и могут оказаться существенными.

 

Название "черный ящик" образно подчеркивает полное отсутствие сведений о внутреннем содержании "ящика". В этой модели задаются, фиксируются, перечисляются только входные и выходные связи системы со средой (даже "стенки ящика", то есть границы между системой и средой, в этой модели обычно не описываются, а лишь подразумеваются, признаются существующими).

 

Примеры.

Автомобиль как чёрный ящик. Главная функция – перемещать объект. Вход – скорость неподвижного человека или груза, выход – высокая скорость.

Усилитель звука в концертном зале как чёрный ящик. Главная функция – усиливать звук. Вход – тихий звук голоса человека (через микрофон), выход – громкий звук (через громкоговорители).

 

$ С точки зрения модели рыночной экономики любая коммерческая фирма или индивидуальный человек являются чёрным ящиком с одним входом и одним выходом. Что является этим входом [26] и выходом?

Основные положения

Методом <черного ящика> мы назвали совокупность методов, охватываемых единым методологическим подходом. Чаще всего они используют в качестве инструментов статистические пакеты или нейросети, хотя нам известны случаи, когда применялись менее традиционные инструментальные средства.

Общее у этих методов сводится к следующему: <В настоящее время нереально дать полное описание механизмов функционирования финансового рынка, такое, например, какое дают законы Ньютона для механических систем. Поэтому будем считать, что нам ничего не известно об этих механизмах. Зато у нас есть ряды данных, описывающих функционирование рынка в прошлом. Важно, чтобы эти данные были <представительными, однородными и устойчивыми>, а что именно они обозначают, нас не интересует. Эти данные, в сочетании с нашим замечательным инструментом, позволяют управлять портфелем гораздо лучше, чем любой другой метод, да еще и ни о чем не думать>. Таким образом, финансовый рынок рассматривается как некий <черный ящик>. У него есть входные параметры, которые можно померить, и есть выходы, которые тоже поддаются измерению. А как этот ящик устроен внутри, мы не знаем, и главное — не хотим знать. Насколько плодотворен такой подход? Поскольку во главу угла положены ряды данных, начнем именно с них.

Во-первых, данные должны быть достаточно полными. Для пояснения этого тезиса рассмотрим физический пример. Допустим, заряженная частица движется в электрическом и магнитном поле. Если и электрическое, и магнитное поля поддаются измерению, то найдется зависимость между этими полями и движением частицы. А что, если мы можем померить только электрическое поле, а магнитное измерению не поддается и меняется довольно сложно? Вероятнее всего, мы придем к выводу, что зависимость между электрическим полем и движением частицы отсутствует. Пример из физики выбран намеренно. Дело в том, что здесь хорошо изучена физическая суть явления, а поэтому можно с уверенностью сказать, какие факторы влияют на движение частицы.

В экономике все несколько сложнее. Сказать, какие факторы могут оказывать влияние на данный сегмент рынка, исходя из общих соображений, нельзя. Поэтому требуется достаточно содержательный экономический анализ задачи, то есть исследование того, что же находится в <черном ящике>. На настоящий момент нет достаточных оснований полагать, что вся доступная информация дает полное описание того или иного сектора финансового рынка. Но допустим даже, что Бог или информационные агентства позаботились о том, чтобы информации было достаточно. Значит ли это, что можно ни о чем не думать? По-видимому, нет. Например, фондовый рынок описывается разными информационными агентствами с помощью индексов. Число этих индексов уже давно перевалило за десяток. Какой из них выбрать? Без экономического анализа на этот вопрос вряд ли можно ответить. Использовать все сразу — выход не лучший.

Во-первых, дорого. А во-вторых, мы увеличиваем размерность решаемой задачи и ухудшаем ее свойства, поскольку все эти индексы сильно коррелированы. Поэтому вполне вероятно, что найденное решение окажется слишком неточным и/или неустойчивым к погрешностям, которые неизбежны. Да и качество информации на сегодня оставляет желать лучшего. Чтобы убедиться в <представительности, однородности и устойчивости> информации, нужно определенное понимание процессов, происходящих в экономике.

Недостаток качественной информации можно заменить гипотезами о содержимом <черного ящика>. Хотя именно здесь сторонники данного подхода проявляют принципиальность: <Мы занимаемся не абстрактной наукой. Мы имеем дело с деньгами и не хотим рисковать. Поэтому позволить себе пользоваться гипотезами мы не можем>. Казалось бы, все солидно. Но посмотрим, что кроется за этими словами.

Почти очевидно: не принимая вовсе никаких гипотез, невозможно получить никакого содержательного вывода. И на самом деле приверженцы метода <черного ящика> неявно используют какие-то свои гипотезы. В каждом конкретном случае их нетрудно выделить. Но главный постулат сформулирован так: <Существуют законы, регулирующие функционирование рынка. Мы их не знаем, но предполагаем, что они остаются неизменными. Наша программа как раз и позволяет выявить эти законы и использовать их для принятия решений>.

Алгоритмический подход

На первый взгляд все великолепно. На гипотезе существования неизменных законов базируется все научное естествознание. Уже несколько тысяч лет ученые только тем и занимаются, что выявляют такие неизменные законы, и никакого вреда от этого не было. А здесь всего-то и предлагается — заменить ученого программой, которая будет делать то же самое. Век кибернетики, как-никак. Вся беда состоит в том, что такой программы не может быть. Человек может заниматься поиском неизвестных закономерностей, а машина — нет. И понять это вовсе не сложно.

Допустим, существует программа, эдакий <универсальный прогнозист>, которая работает следующим образом. На вход программы подаются некоторые ряды данных, а программа выдает их продолжение. Причем если существуют закономерности в изменении исходных рядов, и на вход подаются достаточно длинные отрезки, то программа правильно предсказывает продолжение.

Для простоты можно считать, что на вход подаются данные об одном показателе, принимающем всего два значения: 0 и 11. Нельзя исключать варианта, когда этот ряд данных порождается некоторым алгоритмом, то есть данные являются результатом работы некоторой другой программы. Здесь закономерность явно присутствует, и наш <универсальный прогнозист> должен в данном случае срабатывать.

Но эту программу можно написать, например, следующим образом. Возьмем текст <универсального программиста> и подправим в самом конце так, чтобы новая программа выдавала 0 всякий раз, когда <универсальный прогнозист> дает единицу, и 1 — в противном случае. Работая с таким рядом данных, наш <оракул> будет ошибаться на каждом шаге. То есть, предполагая существование <универсального прогнозиста>, мы неизбежно придем к противоречию.

Из приведенных рассуждений видно, что программа может найти лишь те закономерности, которые <проще>, чем она сама. А ведь основной пафос сторонников метода <черного ящика> как раз и заключается в том, что закономерности на финансовых рынках очень сложные. Каковой же тогда должна быть сложность программы?

Итак, любая программа может находить лишь закономерности из определенного, более или менее узкого класса. Если на самом деле существуют закономерности иной природы, то программа либо вовсе не найдет их, либо ее выводы будут ошибочны.

Пример с обезьяной

Приведем пример. Обезьяна, сидящая в клетке, открыла фундаментальный закон природы: если нажимаешь красную кнопку, то получаешь банан, а если нажимаешь зеленую, то получаешь удар током. Однако не исключено, что существует закономерность другого порядка, заданная планом эксперимента, предусматривающего переключение кнопок как раз тогда, когда обезьяна окончательно убедится в правильности своего закона. В один прекрасный день наша обезьяна получит вместо банана удар током, и это отнюдь не будет означать краха всей науки.

Поэтому, чтобы обоснованно применять прогнозирующие программы, нужно понимать, во-первых, какого вида закономерности позволяет обнаруживать программа, а во-вторых, какие закономерности действуют на рынке, — то есть опять-таки знать начинку <черного ящика>.

Анализ данных показывает, что на достаточно длинных отрезках времени существуют простые зависимости между некоторыми параметрами рынка. Но в определенные моменты характер этих зависимостей может качественно меняться. Это отнюдь не означает, что функционирование рынка не подчиняется никаким законам. Просто эти законы сложнее, чем кажется на первый взгляд.

Но, допустим, некоторая закономерность найдена. Что же дальше? Классическая наука отвечает однозначно: дальше надо понять экономический смысл этой закономерности, то есть построить некоторую модель, осознать место найденной закономерности в ряду аналогичных. Без этого невозможно установить границы применимости найденных соотношений и в конечном итоге нельзя принимать обоснованные решения. Макс Борн писал по этому поводу: <Эксперимент вообще ничего не значит, пока он не интерпретирован теорией>. А ведь он имел в виду физические явления, где возможности проведения эксперимента гораздо шире, чем в экономике, и эмпирические закономерности могут быть куда лучше обоснованы. Тем более нельзя придавать слишком большого значения эмпирическим закономерностям в экономике. Иначе мы рискуем оказаться в роли той самой обезьяны и получить чувствительный удар.

Точка зрения сторонников метода <черного ящика> прямо противоположна. На одном из семинаров были изложены следующие результаты. Исследовалась динамика показателей, характеризующих состояние экономики России в целом. Было рассмотрено десятка два таких показателей, причем оказалось, что фрактальная размерность множества, описывающего значения этих показателей, равна четырем. По сути, это означает, что имеется 16 нетривиальных и независимых соотношений между показателями. На вопрос об экономическом смысле данных соотношений последовал ответ, что даже саму постановку вопроса авторы не признают. Соотношения существуют, и все.

А ведь заранее не ясно, что они отражают: объективный экономический закон или конкретную методику расчета показателей в Госкомстате. В первом случае найденными зависимостями можно пользоваться без опасения, а во втором они верны лишь до тех пор, пока методика остается неизменной.

Статистический подход

Все сказанное относится и к тем вариантам метода <черного ящика>, которые ориентированы на применение статистических пакетов. Однако эти варианты имеют и определенную специфику. Сама возможность применения вероятностных методов требует обоснования. Обычно говорят так: <Данная величина меняется непонятно как, поэтому мы со спокойной совестью можем считать ее случайной>. И на этом строятся все дальнейшие рассуждения, использующие порой весьма тонкие математические методы. Но уже исходная посылка неверна. Следует четко различать поведение нерегулярной и случайной величин. Случайные величины обладают некоторыми весьма специфическими свойствами, и только к ним могут быть применены вероятностные методы. В частности, если мы будем вычислять средние значения реализаций случайной величины по большим регулярно устроенным множествам значений времени, то должен получаться один и тот же результат, независимо от выбранного множества. Например, чтобы цену какой-то бумаги можно было считать случайной величиной, необходимо, чтобы среднее значение цены во все вторники равнялось средней цене во все четверги. И если мы вычислим среднюю цену по всем дням, когда тринадцатое число попадает на пятницу, то снова должно получиться то же значение.

Величину можно считать случайной, если она прошла много таких тестов (теоретически — бесконечно много). Если же хоть один такой тест не сошелся — величина отнюдь не случайная. Нам не известно ни одного случая, чтобы аналитики, использующие вероятностные методы при моделировании финансового рынка, провели подобную проверку.

Вот что пишет по поводу теории вероятностей Бертран Рассел [1]: <Математическая вероятность возникает всегда из комбинации двух высказываний, одно из которых может быть полностью известным, а другое совершенно неизвестно. Если я вынимаю из колоды карту, то каков шанс, что это будет туз? Я полностью знаю строение колоды карт и знаю, что одна из каждых тринадцати карт есть туз; но я совершенно не знаю, какую карту я вытащу>. С тем параметром, который совершенно неизвестен, обычно бывает все в порядке. А вот с другим — часто дело обстоит гораздо хуже. Но на это как-то не принято обращать внимание.

Обосновывая применение вероятностных методов, чаще всего кивают на их успешное использование в естествознании. Но там исходные гипотезы либо тщательно проверяются экспериментально (как в теории стрельбы), либо обосновываются теоретически (как в статистической физике). Почему-то в экономике ни то ни другое не считается обязательным. Для того чтобы применение вероятностных методов было обоснованным, требуется также,  ч чтобы ряды данных были достаточно длинными. Многие авторы отмечают, что в рассматриваемом ими случае данных явно недостаточно… и все-таки пользуются вероятностными методами.

Не читайте <Краткий курс…>

Еще более очевидные ошибки совершаются, когда дело доходит до выбора закона распределения случайной величины. Приведем цитату [2]: <Помехи эти [в информационных потоках] являются результатом воздействия большого количества случайных факторов, и это обстоятельство облегчает работу с ними: хотя бы закон распределения известен — нормальный, в соответствии с центральной предельной теоремой теории вероятностей>.

Но центральная предельная теорема говорит о законе распределения суммы большого числа одинаково распределенных и независимых случайных величин. Почему действие помех можно считать аддитивным — непонятно. Например, если помехи воздействуют на цену аддитивно, то их влияние на доходность уже не будет таковым. А какие есть основания считать помехи независимыми в экономике, где все взаимосвязано? И уж совсем непонятно, как можно говорить об одинаковом законе распределения, если мы даже не знаем, какие помехи действуют.

Таким образом, ни одна из посылок центральной предельной теоремы не является обоснованной, а вывод теоремы преподносится как непреложный закон теории вероятностей. Для тех, кто не знаком с центральной предельной теоремой, — сойдет. Посмотрим, как тот же автор предлагает проверять независимость случайных величин. <В простых случаях, когда необходимо установить степень связи между двумя временными рядами, вычисляется коэффициент парной корреляции, который может изменяться от -1 до 1. Чем теснее связь, тем ближе коэффициент к единице, и, наоборот, при отсутствии связи коэффициент стремится к 0>.

Действительно, коэффициент корреляции независимых случайных величин равен нулю. Обратное неверно. Случайные величины с нулевым коэффициентом корреляции могут быть зависимы не только статистически, но даже функционально (например, одна из них может равняться квадрату другой). Это объясняется в любом добросовестном (не кратком) курсе математики (см., например, [3]). Но зачем их читать, когда есть <Краткий курс…>2.

Обо всем этом не стоило бы говорить, будь подобное явление единичным. К сожалению, дело обстоит как раз наоборот. При моделировании рынка ценных бумаг вероятностные методы применяются гораздо чаще, чем все прочие методы, вместе взятые. И случаи, когда это делается корректно, представляют собой редкие исключения.

Выводы

Сказанное отнюдь не означает, что я принципиально против применения теории вероятностей, нейросетей и т.д. Ничего хорошего нет в том, что старушку-процентщицу зарубили топором. Но из этого не следует, что топор — плохой инструмент. Просто использовать его надо по назначению.

Статистические методы незаменимы на этапе идентификации моделей, то есть когда вид всех зависимостей уже известен и остается определить численные значения некоторых коэффициентов. Применять же их в других случаях просто потому, что ничего другого не приходит в голову, не стоит. И еще одно следует напомнить. Разработка прикладных пакетов, ориентированных на исследование финансовых рынков, — это бизнес3. Не хуже любого другого бизнеса, но и не лучше. В частности, он не может существовать без рекламы. Разница между тем, что действительно готов делать пакет, и тем, как это описывается в рекламе, может быть значительной, а потому не надо покупать некачественные товары в яркой упаковке. Сам товар подчас бывает достаточно сложен, и чтобы разобраться в его реальном качестве, требуются значительные усилия. Но эти усилия оправданны. Если же вы не можете по какой-то причине оценить качество программы, то лучше совсем ею не пользоваться, даже если авторы ее очень хвалят.