Добавил:
СПбГУТ * ИКСС * Программная инженерия Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Содержание ВКР / ВКР 2018. Малеев В.В. Разработка ПО для сегментации данных о телефонных вызовах в модуле Спайдер-FMS.pdf
Скачиваний:
81
Добавлен:
11.06.2022
Размер:
1.26 Mб
Скачать

« -

 

.

. . .

-

»

(

б

)

 

 

ФИИИИИИИИИИ К __________________

К

ИИИИИИИИИИИИ

__________________

 

 

 

и ь

щи

щ

________ _______________________

( и ь) (Ф.И. .)

«ИИИИ» _________________ 20______ .

-FMS

( ВК )

________________________

 

 

________________________

(

в

, и

 

, и

 

,

и

и

и )

 

 

/

 

 

 

 

 

 

 

 

_____________________09.03.04

 

 

 

 

________________

 

 

 

 

 

 

 

 

 

 

 

( и и в и

в и /

и ь

и)

 

 

__________________________________________________________________________________________

( )

____________________________________________________________________

К

ИИИИ

(

и

в

и )

 

 

 

 

 

 

 

_________________________________________

 

(

и

в и

в и и

ии в

:

в

вии

 

Ф

В /

В

)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

.

.,

К

-42

 

 

_________

 

 

 

 

 

 

 

(Ф.И. ., №

)

 

(

и ь)

 

 

 

 

 

 

 

 

 

 

:

 

 

 

 

 

 

 

 

 

 

.

., .

.___

 

_________

 

 

 

 

(

ё

 

 

ь, ё

в

и , Ф.И. .)

(

и ь)

-

2018

и ь и

__________________________________________________________________________

и

ь

__________________________________________________________________________

и в и в в и

______________________________________________________________________________________________

ь щ в - и и и ив и

____________________________________________________________________________________________

_____________________

_______________________

________________

(

)

( и ь)

(ФИ

)

К

щ

-

 

 

 

ИИИИИИИИИИИИИИИИИИИИИИИИИИИИ

 

 

(Ф.И. .)

__________________

___________________________

(

)

(

и ь)

К

 

К ИИИИИИИИ % .

 

 

: ИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИ

 

(

ь, Ф.И. .)

 

___________________

___________________________

(

)

(

и ь)

«

-

.

. . .

 

»

 

 

-

 

(

б

)

 

 

Ф

К

 

 

 

К

 

 

 

 

 

 

(

)

 

 

09.03.04

 

 

 

 

 

____________________________________________________________________

 

 

 

(

)

 

 

 

 

 

 

 

 

 

 

.

 

ю:

 

 

 

 

 

 

__________________

 

 

 

 

 

______________________________

 

 

 

 

 

 

(Ф. . .,

)

 

 

 

 

 

 

 

 

«ИИИИИИ»ИИИИИИИИИИИИИИИ20

.

 

ы

ы

 

ц

б ы (

)

 

1.

 

 

 

 

 

К

-42

 

 

(

, ,

)

 

 

 

 

 

2.

 

 

 

, . .

 

 

 

 

 

__________________________________________________________________

( , , , , . )

3. К

 

 

 

(

Ф

/

)

4.

 

 

 

 

 

 

 

(

,

,

,

)

5.К

-FMS ________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

 

 

«14» __

 

__ 2018 . № 465/К

6.

(

):

___________________________

 

-FMS,

 

 

_________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

7.

 

(

 

,

,

 

,

 

,

 

.)

 

__

,

,

,

,

, ______

 

 

 

 

 

 

 

,

____________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

8.

 

,

ЭК (

,

 

,

,

,

,

.):

 

 

 

 

 

;

 

 

 

 

(

 

 

1.

Ц

 

 

 

2.

 

 

 

3.

 

 

 

 

4.

 

 

 

 

5.

 

 

 

 

6.

 

K-

 

 

7.

 

 

 

 

8.

 

);

 

 

9.

 

 

 

.

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

9. К

 

К

 

 

щ

 

 

 

 

 

 

 

 

 

 

 

К

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1.

 

. .

.

.,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2.

 

. .

.

.,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3.

 

. .

.

.,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4.

 

. .

.

.,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5.

 

. .

.

.,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

«ИИИИИИ» ИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИИ20

.

 

 

К

щ

«ИИИИИИ» ИИИИИИИИИИИИИИИИИИИИИ20

.

в и

ь ВК ____________________________________________

 

 

 

 

 

(

)

 

 

 

________________________________________________

 

 

 

 

 

(

)

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

/

 

 

( К )

К

 

1.

 

 

К

01.03.2018

 

 

.

 

 

-

 

 

 

 

 

05.03.2018

 

2.

 

 

 

 

 

 

 

 

 

 

 

3.

 

 

 

06.03.2018

 

 

 

 

 

 

 

 

 

 

-

 

4.

 

 

 

 

 

 

 

 

 

09.05.2018

 

 

 

 

 

 

 

5.

 

 

 

 

 

 

 

 

 

 

 

6.

 

 

,

 

 

 

 

 

,

10.05.2018

 

 

щ

 

-

 

 

 

.

 

 

 

 

 

 

 

 

 

 

 

 

7.

 

щ

К ,

21.06.2018

 

 

щ

 

щ

 

 

 

 

.

 

 

_____________________________________________

 

(

)

в и

ь ВК ____________________________________________

 

(

)

1

щ

,

Реферат

Вданной дипломной работе рассматривается тема «Разработка ПО для сегментации данных о телефонных вызовах в модуле Спайдер-FMS». Дипломная работа содержит: 91 страницу, 18 рисунков, 6 таблиц, приложение.

Впервой разделе приведен обзор причин появления уязвимостей сетей связи, видов мошенничества в сетях связи, FMS решений и методов кластеризации.

Во втором разделе сформиулировано назначение разрабатываемого ПО, описаны входные и выходные данные.

Втретьем разделе проведен анализ входных данных, а также раскрыты детали применения метода k-средних для сегментации данных о телефонных вызовах.

Вчетвертом разделе описана модульная структура ПО и разработка

кода.

Впятом разделе описан процесс тестирования разработанного ПО. Ключевые слова: CDR, фрод, fraud, Спайдер-FMS, метод k-средних, k-

means.

Оглавление

ВВЕДЕНИЕ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

1. ОБЗОР . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

1.1 Причины появления уязвимостей в сетях связи . . . . . . . . .

12

1.2Виды мошенничества в сетях связи . . . . . . . . . . . . . . . . 13

1.3Обзор FMS решений . . . . . . . . . . . . . . . . . . . . . . . . . 16

1.3.1RAID FMS . . . . . . . . . . . . . . . . . . . . . . . . . . 16

 

1.3.2

FraudTrace . . . . . . . . . . . . . . . . . . . . . . . . . .

17

 

1.3.3

SENTRY Fraud Management . . . . . . . . . . . . . . . .

18

1.4

Обзор методов кластеризации . . . . . . . . . . . . . . . . . . .

18

2. ПОСТАНОВКА ЗАДАЧИ . . . . . . . . . . . . . . . . . . . . . . . . .

23

2.1

Модуль СПАЙДЕР-FMS . . . . . . . . . . . . . . . . . . . . . .

23

2.2Назначение разрабатываемого ПО . . . . . . . . . . . . . . . . . 23

2.3Описание входных данных . . . . . . . . . . . . . . . . . . . . . 24

2.4

Описание выходных данных . . . . . . . . . . . . . . . . . . . .

24

3. АНАЛИЗ ЗАДАЧИ . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

3.1

Анализ входных данных . . . . . . . . . . . . . . . . . . . . . .

25

3.2 Кластеризация данных методом k-средних . . . . . . . . . . . . 28

4.РАЗРАБОТКА ПО . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

4.1

Разработка модульной структуры . . . . . . . . . . . . . . . . .

33

4.2

Разработка кода . . . . . . . . . . . . . . . . . . . . . . . . . . .

35

 

4.2.1 Выбор языка программирования . . . . . . . . . . . . . .

35

 

4.2.2 Модуль CDR Filter . . . . . . . . . . . . . . . . . . . . . .

36

 

4.2.3

Модуль RS Parser . . . . . . . . . . . . . . . . . . . . . .

37

 

4.2.4

Модуль Number Mask Builder . . . . . . . . . . . . . . .

39

 

4.2.5

Модуль RS Tree . . . . . . . . . . . . . . . . . . . . . . .

41

4.2.6Модуль RS Utils . . . . . . . . . . . . . . . . . . . . . . . 43

4.2.7 Модуль Call Counts Maker . . . . . . . . . . . . . . . . . 44

4.2.8Модуль K-Means . . . . . . . . . . . . . . . . . . . . . . . 47

4.2.9Модуль Labeled Call Counts Maker . . . . . . . . . . . . . 51

4.2.10Модуль Main . . . . . . . . . . . . . . . . . . . . . . . . . 54

5. ТЕСТИРОВАНИЕ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

5.1Модульное тестирование . . . . . . . . . . . . . . . . . . . . . . 56

5.1.1 Модуль Number Mask Builder . . . . . . . . . . . . . . . 56

5.1.2 Модуль K-Means . . . . . . . . . . . . . . . . . . . . . . . 57

5.2Интеграционное тестирование . . . . . . . . . . . . . . . . . . . 60

ЗАКЛЮЧЕНИЕ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

62

СПИСОК ИСТОЧНИКОВ . . . . . . . . . . . . . . . . . . . . . . . . . .

63

ПРИЛОЖЕНИЕ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

65

Перечень сокращений и специальных терминов

CFCA (Communications Fraud Control Association) - некоммерческая международная организация, деятельность которой посвящена изучению проблем управления рисками, предовтращения потери прибыли и контролирования мошенничества в сфере телекоммуникаций.

УПАТС (Учрежденческо-Производственная Автоматическая Телефонная Станция) - телефонная станция, не являющаяся частью общедоступной сети (например, офисная автоматическая телефонная станция).

FMS (Fraud Management System) - система, предоставляющая пользователю средства для контроля, анализа и борьбы с мошенничеством.

ТФоП - телефонная сеть общего пользования.

ОКС-7 - набор сигнальных телефонных протоколов, используемых для настройки большинства телефонных станций.

CDR (Charging Data Record) - данные, используемые оператором связи при/для выставлении счета пользователям платных телекоммуникационных услуг.

NRTRDE (Near Real Time Roaming Data Exchange) - процедура передачи непротарифицированных роуминговых данных между операторами и роуминговыми брокерами в режиме, максимально приближенном к реальному времени.

Prepaid - авансовый тип расчета, т.е. деньги за предоставляемые услуги вносятся заранее.

Postpaid - тип расчета, при котором пользователю услуг выставляется счет за определенный период времени по его итогам.

ABC/DEF коды - коды обозначающие зоны нумерации в телефонном плане нумерации. Для географически определяемой зоны нумерации используется название ABC, а для не определяемой - DEF.

ВВЕДЕНИЕ

Телефонные сети появились более сотни лет назад, задолго до изобретения транзисторов и сейчас организуют связь по всему миру. С развитием инфокоммуникационных технологий абонентам операторов связи стали доступны новые услуги, основанные на использовании современных технологий для обеспечения связи. Расширение перечня предоставляемых услуг и использованных технологий привели к усложнению архитектуры сетей связи и появлению различных видов мошенничества.

Мошенничество или фрод (от англ. fraud) в телекоммуникациях это любая активность злоумышленника, направленная на извлечение прибыли путем использования уязвимостей в процессах предоставления или оплаты услуг сети связи[1]. По данным ассоциации по противодействию фроду на сетях связи (CFCA) за 2017 год общемировые потери операторов связи от мошеннических действий составили $29,2 млрд. Наибольший ущерб при этом наносит активность, связанная с несанкционированным доступом к услугам сети, взломом абонентов, взломом учрежденческо-производственных автоматических телефонных станций (УПАТС).[2].

Для борьбы с фродом используются системы противодействия мошенничеству (FMS). Эти системы обрабатывают данные, связанные с деятельностью компании по предустановленным правилам с целью обнаружения подозрительного поведения пользователей услуг и формирования оповещений в ситуациях, требующих особого внимания со стороны работающего с FMS персонала. При рассмотрении случаев подозрительного поведения может быть использована различная информация: записи о телефонных вызовах клиента, подробное описание предупреждения и т.д.

Компания НТЦ “СевенТест” занимается разработкой системы распределенного мониторинга сетей связи СПАЙДЕР. Система выполняет функции контроля состояния, анализа производительности сети связи, наблюдения за

10

текущей конфигурацией, учета сигнального и разговорного трафика, измерения показателей качества обслуживания и обеспечения безопасности.

В состав системы входит модуль СПАЙДЕР-FMS. Модуль обеспечивает автоматический поиск и обнаружение различных типов мошенничества, пресечение новых попыток нелегального доступа лиц, однажды уличенных в мошенничестве, предоставление полной информации по источникам, типам и числу попыток совершения мошенничества в сети оператора. [3]

Данная дипломная работа посвящена разработке ПО для сегментации данных о телефонных вызовах в модуле СПАЙДЕР-FMS.

11

1. ОБЗОР

1.1 Причины появления уязвимостей в сетях связи

Основная причина распространения мошенничества в современных сетях связи связана с использованием старых и плохо защищенных технологий, которые лежат в основе современных телефонных сетей. Во время их создания безопасности не уделялось достаточно внимания, так как раньше телекоммуникационные сети было проще контролировать.

Разнообразие используемых технологий и предоставляемых услуг привело к выявлению различных видов уязвимостей. Уязвимости можно разделить на три категории: уязвимости протоколов и сетей, уязвимости биллинга, халатность.

Телекоммуникационные сети представляют собой объединение телефонных сетей общего пользования (ТФоП) и IP сетей, каждая из которых имеет свои уязвимости. В частности, в системе сигнализации №7 (ОКС-7) отсутствуют механизмы шифрования или аутентификации. Таким образом, любой человек, имеющий доступ к сигнальным каналам, может вмешаться в работу системы, использующей ОКС-7.

Передачу данных в беспроводных и VoIP сетях также нельзя назвать абсолютно безопасной, так как аутентификация и шифрование присутствует не на всех этапах (например, их нет на этапе передачи данных между мобильным устройством и базовой станцией). Многие проблемы протоколов мобильных сетей были решены, однако старые технологии по-прежнему широко применяются и, их уязвимости могут быть использованы мошенниками.

Уязвимости ТФоП могут влиять и на организацию связи в сотовых и VoIP сетях, например, если звонок приходит в сотовую сеть из ТФоП.

С приходом новых технологий и услуг повысилась сложность биллинговых систем, при этом любая ошибка в процессе биллинга (например,

12

неточность или несвоевременное списание платы) может быть использована мошенниками. Мобильный роуминг осложняет процесс биллинга. Домашний оператор не может получить доступ к записям с биллинговыми данными (CDR), сформированным вне домашнего региона сразу, потому быстрое обнаружение и остановка фрода при обработке подобных звонков является непростой задачей. Для решения этой проблемы были созданы системы, использующие процедуру передачи непротарифицированных роуминговых данных между операторами и роуминговыми брокерами в режиме, максимально приближенном к реальному времени (NRTRDE). Однако даже при использовании NRTRDE для передачи CDR в домашнюю сеть всё ещё требуется около четырёх часов.

Одной из основных причин фрода также является халатность. Недостаточная осведомленность персонала телекоммуникационных компаний о фроде, отсутствие и неэффективность мер обеспечения безопасности, ошибки при развертывании оборудования и использовании ПО являются источниками уязвимостей.

1.2 Виды мошенничества в сетях связи

Мошенничество, направленное на уклонение от оплаты, является старейшим видом мошенничества в телефонных сетях, который может быть разделен на четыре категории.

Subscription fraud. Связан с кражей личности, предоставление ложной информации при использовании платных услуг с целью уклонения от оплаты;

Superimposed fraud. Связан с кражей и последующим использованием счета существующего абонента;

PBX dial-through fraud. Взломанные УПАТС могут быть использованы мошенниками для осуществления бесплатных звонков, счета при этом

13

поступают владельцу УПАТС;

Internal fraud. Связан с внутренним мошенничеством, осуществляемым персоналом, имеющим доступ к информации о пользовательских счетах, тарифных планах, а также персоналом, работающим с системой биллинга.

Вмошенничестве, связанном с оптовым биллингом между операторами можно выделить два типа.

Call routing abuses. Фрод, связанный с недостаточной прозрачностью передачи трафика в телекоммуникационных сетях. Можно выделить два вида.

Смешение маршрута (Route blending) - ситуация, когда оператор, передающий транзитный трафик, использует линии связи низкого качества, нарушая установленные договоренности с другими операторами.

Подмена оператора-отправителя (Re-originating). Возникает при обслуживании международных звонков. Международный трафик оператора А посылается в страну с более высококонкурентным телекоммуникационным рынком и более благоприятными условиями соглашений о межсетевом соединении, там осуществляется подмена номера вызывающего абонента, после чего звонок отправляется в страну назначения. Результатом этих действий является сниженная стоимость обслуживания вызова для оператора А и потеря прибыли для оператора Б, обслуживающего звонок в стране назначения.

False Answer Supervision. Позволяет операторам получить прибыль с любого телефонного вызова за счет использования следующих методов.

14

Ложный ответ. Оператор переводит звонок на записанное сообщение и начинает списание платы вместо передачи звонка в реальную сеть

Преждевременный ответ. Оператор искусственно увеличивает продолжительность звонка, например, отвечая на звонок и проигрывая музыку до тех пор, пока адресат не ответит.

Задержка разрыва соединения. Оператор откладывает передачу сообщения о разрыве соединения, тем самым искусственно продливая звонок.

Таргетированное мошенничество - вид мошенничества, при котором целью мошенников становится отдельный человек или организация. К этому виду мошенничества можно отнести несколько мошеннических схем: кража личности и проведение операций от лица другого человека, перехват и прослушивание вызовов, а также автоматизированное сканирование диапазонов номеров с целью получения информации, которая может быть использована злоумышленниками при планировании атак.

Голосовой спам является одним из наиболее распространенных видов мошенничества, направленных на потребителей услуг связи. Мошенники могут получить множество телефонных номеров в результате утечек баз данных или же путем покупки в интернете. Используя автоматизированные средства набора, злоумышленники генерируют большое количество звонков с использованием записанных сообщений. Жертва мошенничества при ответе на подобный звонок может быть переведена на реальных операторов колл-центров, которые чаще всего выдают себя за представителей реально существующей организации, и путем обмана могут получить доступ к персональным данным жертвы.

Снижение стоимости и легкая масштабируемость телефонных систем, основанных на VoIP, позволяют мошенникам совершать миллионы вызовов и

15