Введення в спеціальність / Додаткова література / mon-kr-17-09.13

2. Системы и технологии конкурентной разведки

август 2010 года выдал диаграмму, свидетельствующую о динамике падения курса европейской валюты(рис. 25). Как видим, пик публикаций приходится на 17 мая 2010 г., когда, в частности, украинские банки ограничили операции с евро из-за падения курса.

Рис. 25 – «Падение курса евро» в динамике

71

3.Источники информации

Винформационно-аналитической работе важное значение имеет возможность доступа к источникам данных, информации и знаний. При этом главной проблемой является нахождение содержательных и надежных источников из всех общедоступных. Когда такие источники найдены, включаются механизмы превращения данных в знания, для чего применяются соответствующие технологии. Под данными обычно понимают«сырые», необработанные сведения, основанные на фактах. Это могут быть статистические данные, факты из биографий ключевых персон или, например, сведения об отчетности отдельных компаний. Информация представляет собой уже определенным образом обработанные и проанализированные данные. Конечным же информационным продуктом любой аналитической работы являются знания– синтезированные выводы, рекомендации для принятия решений.

Информация, как было указано выше, может быть получена из официальных, открытых источников, СМИ, объявлений, рекламы, фирменных, банковских, правительственных отчетов, баз данных, от экспертов путем анализа или специальной обработки данных, текстов.

Ниже приведен подробный перечень видов информационных источников, которые чаще всего используются при конкурентной разведке [Нежданов, 2009].

1. Пресс-релизы компаний, официальные заявления от имени компаний о новых технологиях, новых направлениях, сделках, перспективах. Такие пресс-релизы создаются компаниями для собственной популяризации, привлечения внимания потенциальных клиентов, инвесторов, ищущих выгодные варианты вложения своих средств. Часто в таких заявлениях присутствует информация о намерениях, планируемых событиях. Пресс-релизы доступны на веб-сайтах компаний, в PR-службах, на общих и профильных специализированных площадках для размещения пресс-релизов.

2. Интервью сотрудников компаний, соответствующие материалы в СМИ. В интервью интерес представляют планы компаний. При этом со стороны службы конкурентной разведки допускается инициирование интервью кого-то из сотрудников объекта интереса.

3. Высказывания сотрудников компаний на форумах, в блогах,

вчастных беседах. При этом могут выявляться планы компаний, кадровая политика, атмосфера в коллективе и т. п. Источники информации: 1) интернет-ресурсы (специализированные форумы,

72

3. Источники информации

блоги сотрудников), блоги экспертов, группы в социальных сетях; 2) выставки, конференции, курсы повышения квалификации, профессиональные мероприятия.

4.Тендеры, закупки. Предметы закупок, оборудование, исполнители. Источники информации: 1) интернет-ресурсы (веб-сайты компаний, торговые площадки, профильные форумы); 2) партнеры исследуемой компании, те, кто участвовал в их тендерах, у клиентов и поставщиков.

5.Патенты, авторские свидетельства компании и ее сотрудников. Для задач конкурентной разведки интересно их содержание, направленность, списки соавторов. Информация размещается на соответствующих сайтах. Для России: www.ru-patent.info, для Ук-

раины: www.base.ukrpatent.org/searchINV, для СНГ www.eapo. org/ru. Патентование возможно в любой стране, предпочтительные варианты – страна регистрации организации, страна ведения бизнеса, кроме того США, Евросоюз, Россия, Япония и Китай.

6.Разработки компании: ведущиеся, финансируемые, разработки, которыми компания интересуется. Наблюдению подлежат попытки компании проводить исследования: закупка специфического оборудования, прием на работу специалистов, переговоры, посещения соответствующих организаций и т.д.

7.Активность компании на рынке слияний и поглощений (M&A). Информация о том, какие организации поглощаются, планируют поглотить или ведут переговоры о поглощении. Информацию можно получить в Федеральной антимонопольной службе (ФАС) России или Антимонопольном комитете (АМК) Украины, по новостным сообщениям на веб-ресурсах посвященных M&A.

8.Вакансии компании (открывающиеся, закрывающиеся), сообщения об активном поиске сотрудников, требования к вакансиям, условия. Источник информации: веб-сайт компании, сайты по поиску работы и на сайты агентств, с которыми компания сотрудничает.

9.Курсы повышения квалификации, обучение персонала – указание на приоритеты в развитии компании. Интерес представляет то, чему обучают, каких специалистов приглашают для обучения, какие требования выдвигают при привлечении обучающих, какие сроки обучения, какое количество персонала обучается.

10.Благодарности и награды компании и ее сотрудников.

11.Участие в мероприятиях (выставки, конференции, круглые столы, презентации). Выяснение, в каких мероприятиях участвуют компании, их направленность, круг участников.

73

Конкурентная разведка в компьютерных сетях

12.Участие в организациях (союзы, ассоциации, конфедерации

ит.п.) – информация о том, в каких объединениях участвует компания, как активно участвует, что получает от участия, на что рассчитывает, как использует.

Информация характеризуется качественными, количественными и ценностными показателями. К качественным характеристикам обычно относят: достоверность, объективность и однозначность информации. К количественным характеристикам – ее полноту (отсутствие невыясненных пробелов) и релевантность (степень соответствия существу поставленных вопросов и задач). Ценностными характеристиками являются стоимость и актуальность -ин формации.

Деятельность конкурентной разведки основана на использовании только легитимных источников информации, которых вполне достаточно для принятия управленческих решений в сфере бизнеса, необходимо лишь провести некоторую информационно-анали- тическую обработку имеющихся открытых данных. Среди таких источников информации можно назвать: данные статистики, материалы с веб-сайтов, социальных сетей, СМИ, отраслевых отчетов и т.д.

Многие службы конкурентной разведки не всегда могут отделить нелегитимную часть информации от легальной, а заказчик, как правило, интересуется конечными результатами, источники для него выступают лишь в качестве подтверждений, промежуточных данных. Вместе с тем, солидные заказчики сами заинтересованы в том, чтобы информация добывалась законными средствами, чтобы аналитический отчет был легален.

Уконкурентной разведки в последние десятилетия появился и развился до невиданных ранее масштабов новый информационный источник – веб-пространство сети Интернет. Сегодня по оценкам экспертов Интернет по количеству информации находится на первом месте, опережая СМИ, отраслевые издания и получаемые от коллег новости, специальные обзоры, закрытые базы данных. При этом в открытых источниках и специализированных базах данных, доступных в Интернет, содержится большая часть информации, необходимой для проведения конкурентной разведки, однако остается открытым вопрос ее нахождения и эффективного использования. Последние исследования информационного веб-пространства показали, что доступный через традиционные информационнопоисковые системы триллион веб-страниц– это лишь «поверхностная видимая часть айсберга». Около 40 % всей информации в Интернете доступно бесплатно. Навигацию по данному информа-

74

3. Источники информации

ционному пространству обеспечивают более миллиона поисковых систем и каталогов, но и они охватывают лишь малую часть -ин формационных ресурсов. Скрытых и невидимых(deep, invisible)

ресурсов сети Интернет значительно больше– это, прежде всего динамически-генерируемые страницы, файлы разнообразных форматов, информация из многочисленных баз данных. К «скрытому» веб можно отнести и такие сети, как BitTorrent, DirectConnect, EMule, Napster и др.

Сегодня для конкурентной разведки основными источниками информации служат Интернет, пресса, а также открытые базы данных. Очень популярны среди специалистов по конкурентной разведке базы данных государственных и статистических органов, тор- гово-промышленных палат, органов приватизации и т.д. Большую пользу приносят и отдельные доступные базы данных других органов власти. В последнее время все более популярны базы данных на основе архивов СМИ, в том числе и сетевых. В России, например, большой популярностью пользуется крупнейшая архивная база данных СМИ службы«Интегрум» (integrum.ru), содержащая несколько сотен миллионов документов. С помощью другой российской базы данных «Лабиринт» (labyrinth.ru), составленной на осно-

ве публикаций ведущих бизнес-изданий, можно получить обширную информацию о конкретных персонах, организациях и компаниях.

Традиционно конкурентная разведка опирается на следующие источники информации, как опубликованные документы открытого доступа, которые содержат обзоры товарного рынка, информацию о новых технологиях, создании партнерств, слияниях и приобретениях, объявлениях о рабочих вакансиях, о выставках и конференциях, и т.п. Широко используются сведения, находящиеся в документах, уже имеющихся в компаниях, ведущих конкурентную разведку, результаты маркетинговых исследований, информация, полученная на конференциях, при общении с клиентами и коллегами. Большая часть этих данных попадает в сетевую прессу, прессрелизы или публикуются на корпоративных веб-сайтах.

Поэтому в последнее время большую популярность получают базы данных на основе архивов масс-медиа, в том числе (и преимущественно) сетевых.

3.1. Веб-пространство

Веб-пространство, основанное на физической инфраструктуре сети Интернет и протоколе передачи данных HTTP, объединяет

75

Конкурентная разведка в компьютерных сетях

сотни миллионов веб-серверов, подключенных к сети Интернет (рис. 26). В начале существования веб-пространства на небольшом количестве веб-сайтов публиковалась информация отдельных -ав торов для относительно большого количества посетителей. Сегодня ситуация резко изменилась, произошел переход к веб второго поколения. Сами посетители веб-сайтов активно участвуют в создании контента, что привело к резкому росту объемов информации и динамики веб.

Сегодня в веб уже существует свободно доступная для пользователей информационная база такого объема, который ранее трудно было представить. Более того, объемы этой базы превышают на порядки все то, что было доступно десятилетие назад. В августе 2005 года компания Yahoo! объявила о том, что проиндексировала около 20 млрд. документов. Достижение компании Google в 2004 году составляло менее 10 млрд. документов. Сегодня Google заиндексировала свыше триллиона веб-документов. По данным службы

Netcraft Web Server Survey (news.netcraft.com), в настоящее время количество веб-серверов превышает 670 млн.

Рис. 26 – Динамика роста количества веб-серверов по логарифмической шкале (Netcraft, январь 2013 года)

В открытых источниках и специализированных базах данных, доступных в веб-пространстве, содержится большая часть информации, необходимой для проведения аналитических исследований, однако остаются открытыми вопросы ее нахождения и эффективного использования. При использовании веб-пространства как мощнейшего источника информации, как уже было отмечено ранее, самыми существенными являются проблемы объема, навига-

76

3. Источники информации

ции, наличия информационного шума и динамического характера информации в Интернет.

Возможности доступа к интернет-ресурсам, привлекающим своей открытостью, объемами и содержательной многогранностью, на первый взгляд кажутся безграничными. Однако важные события в различных областях свидетельствуют об обратном. Именно в кризисных ситуациях Интернет довольно часто подводит. Существует множество проблем– от перегруженности сетевой инфраструктуры – до вирусных атак, уязвимостей и отказов в обслуживании отдельных веб-серверов. Целый ряд проблем порожден также объемами, разнообразием представления и динамикой контентного сегмента информационного пространства.

Несмотря на такие качества, как открытость и доступность, существующую инфраструктуру веб-пространства нельзя признать надежной и достоверной. Назовем еще несколько проблем, присущих веб-пространству:

–не решена задача доступа пользователей к разнородным вебресурсам из «одного окна» для получения обобщенного представления потоков информации по необходимой тематике;

–не обеспечена возможность своевременного«напоминания»

и«проталкивания» профильной для пользователя информации, публикуемой на большом количестве веб-сайтов;

–достаточно большая вероятность отказа в обслуживании критически важных веб-ресурсов в самое необходимое время.

Известно, что сегодня существуют технологии интеграции контента, которые позволяют частично решать названные проблемы, обеспечивая эффективный поиск и навигацию в веб-пространстве, мониторинг и агрегацию открытых веб-ресурсов.

Для профессионального поиска в веб-пространстве и мониторинга информации используются специализированное программное обеспечение, информационно-поисковые системы и сервисы. Приведем некоторые примеры программных продуктов:

Copernic Agent (www.copernic.com/en/products/agent) – про-

грамма, позволяющая проводить метапоиск, используя, как заявлено на веб-сайте компании, 1000 поисковых систем, объединять результаты, устранять дубликаты, блокировать нерабочие ссылки, показывать наиболее релевантные результаты (рис. 27).

Avalanche (www.tora-centre.ru) – семейство программных средств для веб-мониторинга. Технология Avalanche базируется на трех основных решениях: концепции «умных папок» (Smart Folders), автономном интеллектуальном поисковом роботе и встроенной базе данных («персональной энциклопедии»).

77

Конкурентная разведка в компьютерных сетях

Рис. 27 – Фрагмент веб-сайта программы Copernic Agent

Newprosoft Web Content Extractor (www.newprosoft.com) –

программа сканирования и извлечения данных из веб-сайтов.

Portable Offline Browser от MetaProducts Corporation (www.portableofflinebrowser.com) – программа, позволяющая ска-

чивать необходимые веб-сайты и мультимедиа-информацию, в том числе Flash-анимацию, скрипты и активное содержимое страниц.

Neiron Search Tools (neiron.ru/toolbar) – программная над-

стройка, объединяющая результаты информационно-поисковых систем Google и Яndex, которая позволяет осуществлять конкурентный анализ, базирующийся на оценке эффективности сайтов и контекстной рекламы.

WebSite-Watcher (www.aignes.com) – программа, позволяю-

щая проводить мониторинг веб-сайтов, форумов, локальных файлов, обеспечивающая фильтрацию информации, а также удобную визуализацию результатов мониторинга.

В качестве сервисных решений можно назвать:

WatchThatPage (watchthatpage.com) – бесплатный сервис,

позволяющий автоматически собирать новую информацию с вебресурсов, поставленных на мониторинг.

Diphur Monitor EveryThing (www.diphur.com) – бесплат-

ный сервис мониторинга любых веб-сайтов, уведомляющий об их обновлении и доставляющий пользователям обновления.

Newspaper Map (newspapermap.com) – сервис, объединяю-

щий геолокацию и информационно-поисковую систему по медиа-

78

3. Источники информации

ресурсам. При решении задач конкурентной разведки пользователь может выбрать интересующий его регион, язык, список онлайн версий газет и журналов, непосредственно выходить на документы. Сервис поддерживает русский язык, имеет удобный интерфейс.

InfoStream (www.infostream.ua) – сервис контент-монито-

ринга веб-ресурсов России и Украины, предоставляющий доступ в поисковом режиме к информации из6000 источников, классификацию информации, экстрагирование понятий (персон, компаний, топонимов), формирование сюжетных цепочек, оценку тональности сообщений, анализ динамики публикаций по определенным объектам.

Agregator.pro (agregator.pro) – агрегатор информации с новостных и медийных порталов. Может использоваться в конкурентной разведке для отслеживания интересующих объектов, получения частоты и контекста упоминания отслеживаемого объекта в СМИ, анализа динамики обращений по времени.

WebGround (webground.su) – агрегатор новостной информации из русскоязычного сегмента веб-пространства. Может использоваться в конкурентной разведке для отслеживания интересующих тематик, получения тематических сюжетов, ретроспективного анализа развития тематики во времени (рис. 28).

Рис. 28 – Фрагмент агрегатора новостей WebGround

79

Конкурентная разведка в компьютерных сетях

3.2. Глубинный веб

Последние исследования веб-пространства показали, что доступные через традиционные информационно-поисковые системы более триллиона веб-страниц – это лишь «поверхностная видимая часть айсберга».

Важной проблемой является поиск информации в«скрытом» или «глубинном» веб-пространстве, где, как было замечено выше, содержится несравнимо большее количество данных, потенциально интересных для конкурентной разведки, чем в открытой части Интернета.

Это, прежде всего, динамические веб-страницы, информация из многочисленных баз данных, которые могут представлять большой интерес для аналитической работы. К разряду «скрытого» веб относятся и полнотекстовые информационные системы типаLexisNexis или Factiva.

К «скрытым» ресурсам сети Интернет можно отнести также пи-

ринговые сети, такие как BitTorrent, EDonkey, EMule, Gnutella, Kazaa.

Как уже было отмечено ранее, необходимой (в том числе и для конкурентной разведки) информации в сети Интернет значительно больше, чем ее охватывают универсальные поисковые машины.

Предполагается, что в отличие от«познаваемой» части сети Интернет, «скрытая» часть оказалась в сотни раз более объемной.

Бизнес-аналитик часто сталкивается с ситуацией, когда ему известно о существовании в веб-пространстве какого-то документа, но не может найти его с помощью традиционных поисковиков, какими сегодня можно считать такие системы, как Goog-le, Yahoo!, Bing, Яндекс, Рамблер или Мета. Однако, вспомнив или найдя в закладках адрес (URL) этого документа, он без труда выходит на него. То есть в веб-пространстве этот документ есть, а найти его привычным способом нельзя. Пользователь столкнулся с невидимым (invisible) для поисковых систем ресурсом.

3.2.1. Что такое глубинный веб?

Совокупность источников в веб-пространстве, недоступных пользователям традиционных поисковых систем, образует так называемый «глубинный веб» – понятие, введенное Джиллом Иллсвор-

том (Jill Ellsworth) в 1994 г. Т.е. под глубинным веб (invisible web, deep web, hidden web) принято понимать ту часть веб-простран- ства, которая не индексируется роботами(web crawlers) поисковых систем. Используя аналогию, информация, будучи недоступной для поиска, находится «в глубине» (англ. – deep). При этом не стоит пу-

80