!Экзамен зачет 25-26 год / 67369870
.pdf
НАЦИОНАЛЬНАЯ АКАДЕМИЯ НАУК УКРАИНЫ ИНСТИТУТ ПРОБЛЕМ РЕГИСТРАЦИИ ИНФОРМАЦИИ
А.Г. Додонов, Д.В. Ландэ, В.В. Прищепа, В.Г. Путятин
КОМПЬЮТЕРНАЯ КОНКУРЕНТНАЯ РАЗВЕДКА
Киев – 2021
2
УДК 004.5 ББК 22.18, 32.81, 60.54
C95
А.Г. Додонов, Д.В. Ландэ, В.В. Прищепа, В.Г. Путятин Компьютерная конкурентная разведка. – Киев: ТОВ «Інжиніринг», 2021. – 354 с.
Книга посвящена рассмотрению вопросов компьютерной конкурентной разведки, разведки в открытых ресурсах сети Интернет. Компьютерная конкурентная разведка охватывает автоматизированные процедуры сбора и аналитической обработки информации, которые проводятся с целью поддержки принятия управленческих решений, повышения конкурентоспособности исключительно из открытых источников в компьютерных сетях – веб-сайтов, блогосферы, социальных сетей, мессенджеров, баз данных. В книге рассматриваются различные вопросы информационно-аналитической деятель-
ности в сетевой среде. В качестве теоретических основ компьютерной конкурентной разведки рассматриваются элементы теории информации, анализа социальных сетей, информационного и математического моделирования.
Для широкого круга специалистов в области информационных технологий и безопасности.
Рекомендовано к изданию ученым советом Института проблем регистрации информации НАН Украины
(протокол № 9 от 17 февраля 2021 года)
Рецензенты:
Член-корр. НАН Украины, д.т.н., профессор В.В.Мохор
Д.т.н., профессор А.Я. Матов Д.ю.н., профессор К.И. Беляков
ISBN 978-966-2344-79-0 |
А.Г. Додонов, Д.В. Ландэ, |
|
В.В. Прищепа, В.Г. Путятин, |
|
2021 |
3
Оглавление
Введение.............................................................................................. |
7 |
1. Конкурентная разведка и OSINT........................................ |
14 |
1.1. Задачи конкурентной разведки................................. |
14 |
1.2. Особенности компьютерной конкурентной |
|
разведки ........................................................................................ |
16 |
1.3. Пробемы компьютерной конкурентной |
|
разведки ........................................................................................ |
18 |
1.4. OSINT – разведка по открытым источникам......... |
20 |
1.4.1. OSINT как дисциплина разведки.......................... |
20 |
1.4.2. Области применения OSINT.................................. |
24 |
1.4.3. Технологии OSINT ....................................................... |
26 |
1.4.4. Международный опыт............................................. |
29 |
2. Компьютерные технологии конкурентной разведки..31
2.1. Поиск информации в Интернете................................ |
37 |
2.2. Мониторинг информационного пространства...... |
44 |
2.3. Text Mining, Information Extraction ............................ |
46 |
2.4. Модели предметных областей ...................................... |
51 |
2.5. Концепция Big Data.......................................................... |
58 |
2.5.1. Понятие Больших Данных..................................... |
58 |
2.5.2. Техники больших данных........................................ |
62 |
2.5.3. Технологии и инструменты больших данных71
2.6. Математические основы ................................................ |
96 |
4 |
|
2.6.1. Временные ряды......................................................... |
98 |
2.6.2. Корреляционный анализ ....................................... |
104 |
2.6.3. Анализ Фурье............................................................. |
109 |
2.6.4. Вейвлет-анализ........................................................ |
112 |
2.6.5. Корреляция с шаблоном........................................ |
125 |
2.6.6. Фрактальный анализ ............................................ |
127 |
2.6.7. Мультифрактальный анализ............................ |
137 |
2.6.8. Сетевые модели....................................................... |
147 |
2.7. Реализованные технологии конкурентной |
|
разведки ...................................................................................... |
164 |
3. Источники информации...................................................... |
200 |
3.1. Веб-сайты........................................................................... |
204 |
3.2. Социальные сети, блоги................................................ |
209 |
3.2.1. Основные социальные сети ................................. |
212 |
3.2.2. Мониторинг социальных сетей ......................... |
216 |
3.2.3. Анализ социальных сетей.................................... |
220 |
3.3. Глубинный веб, специальные базы данных ......... |
222 |
3.3.1. Понятие «глубинный веб»...................................... |
223 |
3.3.2. Виды ресурсов глубинного веб............................. |
227 |
3.3.3. Сервисы работы с глубинным веб..................... |
232 |
3.3.4. Специальные базы данных................................... |
233 |
4. Репутационный анализ......................................................... |
239 |
4.1. Проблема управления репутацией........................... |
239 |
4.2. Моделирование репутации в сетях.......................... |
244 |
5 |
|
4.3. Рейтингование интернет-ресурсов .......................... |
252 |
5. Правовые вопросы конкурентной разведки................ |
262 |
5.1. Конкурентная разведка в правовом поле ............. |
262 |
5.2. Конкурентная разведка и защита коммерческой |
|
тайны ............................................................................................ |
265 |
5.3. Конкурентная разведка................................................ |
267 |
и защита персональных данных........................................ |
267 |
5.4. Конкурентная разведка и защита авторского |
|
права............................................................................................. |
276 |
6. Противодействие информационным операциям ...... |
278 |
6.1. Информационное влияние, атаки и операции ... |
282 |
6.2. Этапы информационных операций ........................ |
285 |
6.3. Моделирование информационных операций...... |
290 |
6.4. Выявление информационных операций ............... |
303 |
6.5. Пути противодействия информационным |
|
операциям................................................................................... |
313 |
6.6. Примеры информационных операций................... |
314 |
Заключение..................................................................................... |
320 |
Краткий глоссарий ...................................................................... |
323 |
Литература...................................................................................... |
342 |
Веб-сайты по тематике конкурентной разведки............ |
349 |
Адреса упоминаемых веб-ресурсов ...................................... |
350 |
6
Введение
Компьютерная конкурентная разведка (Computer Competitive Intelligence) охватывает процедуры сбора и обра-
ботки информации, проводимые с целью поддержки принятия управленческих решений, повышения конкурентоспособности организаций исключительно из открытых источников из компьютерных сетей, большинство из которых являются надстроенными над сетью Интернет, так называемыми, оверлейными. Поэтому часто в качестве синонима конкурентной разведки используется термин интернет-разведка. Таким об-
разом, данная книга фактически посвящена проблематике конкурентной разведки, но с одним существенным ограничением – все источники информации, необходимые для проведения разведывательной деятельности, являются открытыми и доступными в компьютерных сетях. Более того, большая
часть инструментария, программ обработки информации, также свободно доступна через современные компьютерные сети. В англоязычной литературе такой вид разведки принято называть разведкой по открытым источникам (Open Sources INTelligence, OSINT) [Берд, 2007], что также можно считать синонимом термина ―конкурентная разведка‖. Однако следу-
ет отметить, что в зарубежной литературе употребление OSINT в значительной мере ограничено применением в государственной сфере. Но именно для технологий OSINT создано наибольшее количество методик, техник и технологий.
Разведывательная информация может быть получена из официальных источников, других открытых источников, СМИ, объявлений, рекламы, внутрифирменных, банковских, правительственных отчетов, баз данных, от экспертов, путем добывания (сбора), анализа или специальной обработки данных, текстов. Правда, при этом количество разнородных сведений, которые необходимо переработать, чтобы получить крупицы знаний огромно, а потому в настоящее время конкурентная разведка немыслима без использования специализированных информационных технологий, практического применения современной концепции больших данных (Big
Data).
По мнению бывшего директора Центрального разведывательного управления США (ЦРУ) Р. Хилленкерта «80 % разве-
7
дывательной информации получается из таких источников как книги, журналы, научно-технические обзоры, фотографии, коммерческих аналитических отчетов, газет, теле- и ра-
диопередач…».
По другим оценкам, в любой разведке от 35 до 95 % всей информации добывается из открытых источников. При этом доля затрат на работу с открытыми источниками, например, в разведывательном бюджете США, составляет всего лишь около 1 %.
Известно, что для бизнес-структур 95% полезной инфор-
мации дает конкурентная разведка, 4,1% информации можно легально получить из государственных структур. Позволить себе полноценное проведение бизнес-разведки на рынках
могут только большие компании, однако возможности конкурентной разведки доступны практически всем
[https://trademaster.ua/articles/312620].
Значимость разведки по открытым источникам отметил еще президент США Линдон Джонсон (Lyndon Baines Johnson) 30 июня 1966 г., когда произнес речь на церемонии
принятия присяги директором ЦРУ Ричардом М. Хелмсом (Richard McGarrah Helms): «Высшие достижения не являются результатом потихоньку пересказанной тайной информации, а следуют из терпеливого, ежечасного изучения печатных источников».
По устоявшемуся ошибочному мнению, вся полезная разведывательная информация добывается из секретных источников агентурным или оперативным путем – на самом деле это не так. Известное признание адмирала Захариаса – заместителя начальника разведки Военно-морских сил США в го-
ды Второй мировой войны, опровергает это. Так, по его оценке 95 % информации разведка военно-морских сил черпала из открытых источников, 4 % – из официальных, и только 1 %
– из конфиденциальных источников. Справедливости ради надо сказать, что часто именно этот один процент является тем золотым недостающим звеном, который позволяет сложить целостную картину разрозненной мозаики всех разведданных. И если такое соотношение справедливо для военной разведки, то тем более оно будет правильным для конкурентной разведки для бизнес-структур.
8
В то же время, анализ рассекреченного отчета ЦРУ за
1987 год «Enterprise-Level Computing in Soviet Economy» (SOV
С87-10043) дает представление о том, какой колоссальный
объем данных необходимо было обрабатывать аналитикам. Для составления отчета постоянно на протяжении года сканировалось 347 открытых источников; для создания сводки объемом в одну страницу ежедневно обрабатывался информационный массив объемом примерно 7 млн. слов.
Общеизвестно, что основное отличие конкурентной разведки от промышленного шпионажа – это легитимность и соблюдение этических норм [Дудихин, 2004]. Здесь данное
положение доведено до абсолюта – исключительно все источники информации в этом случае доступны и легальны.
Интернет-разведка, разведка по интернет-источникам, как, впрочем, и вся конкурентная разведка, представляет собой особый вид информационно-аналитической работы, позволяющей собирать разностороннюю бизнес-ин-
формацию без применения тех специфических методов опе- ративно-розыскной деятельности, которые являются исключительной прерогативой правоохранительных органов.
Вместе с тем, методы ведения интернет-разведки, техни-
ки и технологии ее проведения весьма близки к используемым в традиционной разведывательной деятельности спецслужбами.
Применение интернет-разведки в коммерческой компа-
нии оправдывается не только соображениями информационной безопасности, но важно и для решения задач менеджмента и маркетинга тем, что обеспечивает:
наблюдение за репутацией компании (с точки зрения клиентов, конкурентов, госорганов);
активное участие в формировании имиджа компании, информационного поля вокруг компании;
отслеживание появления нового конкурента, технологии или канала сбыта;
выявление возможных слияний и поглощений;
оценка потенциальных рисков при инвестициях;
опережение шагов конкурентов в рамках маркетинговых кампаний;
опережение конкурентов в тендерах;
выявление каналов утечки информации.
9
Зыбкая грань между понятиями конкурентная разведка и промышленный шпионаж, состоит в легитимности, законно-
сти методов и средств, используемых в процессе сбора целевой информации [Ландэ, Прищепа, 2007]. Следует отметить также весьма тонкую разницу между бизнес-разведкой (Business Intelligence, BI) и конкурентной разведкой. Из пуб-
ликаций и описаний систем, где упоминаются эти термины, можно сделать вывод, что бизнес-разведка направлена боль-
ше на изучение «внутренней» маркетинговой, финансовой, экономической информации и информации о клиентах, в то время как конкурентная разведка чаще охватывает процессы, связанные с добыванием «внешней» информации и знаний непосредственно о конкурентах.
Родоначальником современной бизнес-разведки считает-
ся компания Ксерокс (Xerox), столкнувшаяся с конкуренцией со стороны японских производителей [Прескотт, 2003]. В начале 70-х годов ХХ века, после выхода японцев на амери-
канский рынок, менеджеры Ксерокс заметили, что компания стала утрачивать позиции на рынке. Ситуацию исправили изменения, основанные на сборе актуальной информации о рынке и конкурентах. Ксерокс, благодаря своему японскому филиалу, создал систему оценки и анализа работы (бенч-
маркинг), а затем адаптировал и применил к бизнесу разведывательные технологии. При этом одним из основных условий организации этого процесса было неотступное соблюдение закона, так как репутация компании могла рухнуть гораздо раньше, чем можно было бы воспользоваться экономическими преимуществами промышленного шпионажа. Вскоре эти методы работы начали применяться и другими американскими компаниями. Затем бизнес-разведка стала применять-
ся в Европе, а в дальнейшем и во всем мире.
Игнорирование возможностей бизнес-разведки на
начальном этапе дорого обходилось даже для крупнейших компаний [Джилад, 2010]. Так после создания фотоаппарата, который выдавал готовый снимок, компания Polaroid стала почивать на лаврах. Когда аналитический отдел компании представил отчет, в котором указал на перспективы развития фотоиндустрии и зарождении цифровой эры, руководство компании назвали эту информацию «футуристической чепу-
10