25. Скрытые ресурсы интернета

Не попадем на них через информационно-поисковые системы (ИПС).

1) Источники, недоступные для ИПС

Глубокая паутина (также известна как невидимая сеть) — множество веб-страниц Всемирной паутины, не индексируемых поисковыми системами. Не следует смешивать понятие глубокая паутина с понятием тёмная паутина (от англ. dark web), под которым имеются в виду сетевые сегменты, хотя и подключённые к общей сети Интернет, но требующие для доступа определенных программных средств, настроек или авторизации.

www.brightplanet.com – навигатор скрытого веба

2) Скрытые ресурсы

• Онлайн БД (вход через систему или требует пароля) (патенты, медицина и финансы)

• Ресурсы, требующие пароль и регистрацию — объявления о поиске работы, чаты, библиотеки, справочники (не все).

• С-мы интерактивного взаимодействия с пользователем — помощи, консультирования, обучения, требующие участия людей для формирования динамических ответов от серверов

• Специализированные поисковые системы, которые обслуживают определенные отрасли или рынки, базы данных которых не включаются в глобальные каталоги традиционных поисковых служб. Например, медицинские поисковики.

• Закрытая (полностью или частично) информацию, доступную, пользователям Сети только с определенных адресов, групп адресов, иногда городов или стран. Например, китайский интернет.

• Веб-сайты, зарегистрированные на бесплатных серверах. Индексируются, в лучшем случае, лишь частично - поисковые системы во избежание рекламного спама не стремятся обходить их в полном объеме

• Веб-сайты, создатели которых не оповещают о создании этих ресурсов

• Различные форматы представления информации. Например, только сравнительно недавно поисковые машины начали индексировать информацию в PDF-формате.

• архив ресурсов «открытого веба» — устаревающие веб-страницы

На Alexa.com есть ресурс «машина времени» The Wayback Machine — Интернет-архив. Сохранено 484 биллиона веб-страниц.

Плюс некоторые удаленные документы сохраняются какое-то время в кэше гугла.

По топологии Бредера (галстук бабочка):

Существующие "острова" вообще не пересекаются с остальными ресурсами Сети. Единственный способ обнаружить ресурсы этой группы - знать их адрес. Поисковые машины в принципе не находят этих островов, если они в прошлом каким-то образом не соединялись с другими частями Интернет.. Доступные сегодня благодаря традиционным информационно-поисковым системам 10 млрд. вэб- страниц - это лишь видимая крупица. Непознанных, скрытых ресурсов Сети в сотни (!) раз больше. Это прежде всего динамически генерируемые страницы, файлы неопознаваемых поисковыми системами форматов, информация из многочисленных баз данных.

.

25. Конкурентная разведка, источники информации для конкурентной разведки

Конкурентная разведка – сбор информации о деятельности конкурентов.

• корпоративная разведка,

• бизнес-разведка,

• деловая разведка,

• маркетинговая деятельность,

• промышленный шпионаж,

• бенчмаркинг — механизм сравнительного анализа эффективности работы одной компании с показателями других, более успешных фирм.

• СМИ (новостные агентства, газеты, реклама)

• Интернет (сайт компании, сайты партнеров, грамотный поиск. Искать надо, цепляясь за мелочи. Использовать команды расширенного поиска. Использовать разные поисковики под разные задачи. Работать с адресной строкой: можно пробовать самим подбирать названия папок, файлов)

• ярмарки, выставки, конференции, семинары, обход торговых точек.

• неформальное общение с коллегами и партнерами.

• Профессиональные БД, рейтинги.

• рекламные материалы и проспекты компаний, фирменные справочники.

• пресс-релизы, отраслевые издания.

• технические и патентные доклады.

• объявления конкурентов.

• сама продукция (купить на исследование). 

• государственные или правоохранительные органы.

• другие организации, специализирующиеся на информационном обслуживании, научных исследованиях, консультациях, инжиниринговых, брокерских услугах, аудиторские и консалтинговые фирмы, банки (ВНИКИ, ТПП).

• звонки в конкурирующие компании.

• косвенная информация о действиях конкурентов (активность, кредиты, заявки на тендеры).

• информация от частных лиц…