УДК 004.04 ББК 16.23 К64

ББК 16.23

3

Без данных вы просто еще один человек со своим мнением

Анализ данных в современном мире чем-то напоминает добычу золота во времена золотой лихорадки. Данных очень много, и на первый взгляд их трудно структурировать, а тем более извлечь из них что-то полезное. Благодаря разви­тию вычислительной техники есть возможность структурировать и исследовать данные, находить неожиданные зависимости в них и извлекать новые знания.

Собранные данные в хранилище – это просто набор информации, кото­рый не способен принести никакой пользы. Чтобы польза была, необходим анализ больших данных – их структурирование и обработка по специальным алгоритмам с целью сделать определенные выводы.

Данные исследуют в четыре стадии:

 получение данных и ознакомление с ними;

 предобработка данных;

 анализ данных;

 оформление результатов исследования.

4

Предобработка – процесс подготовки данных для дальнейшего анализа. Его суть заключается в поиске и устранении возможных «проблем» в данных.

Таблица, удобная для анализа данных:

 в каждом столбце хранятся значения одной переменной;

 каждая строка содержит одно наблюдение, к которому привязаны зна-

чения разных переменных.

Названия столбцов:

дарта, которого придерживаются составители. Чаще всего это n/a, na, NA, и N.N. либо NN;

Плюс удаления данных в том, что это простой процесс. Также можно быть уверенным, что те данные, которые остались, хорошие и отвечают всем требованиям. Потенциальные минусы: потеря важной информации и снижение точности.

5

NaN и None – эти особые значения указывают, что никакого значения нет. NaN отвечает за отсутствующее в ячейке число. Его тип данных float, поэтому

Язык Python – основной инструмент аналитика данных. Для обработки данных подойдет и Excel, но лучше использовать профильный инструмент – программную библиотеку Pandas. Из того, что есть в Python, для операций с таблицами чаще всего применяют Pandas. Название Pandas происходит от со­кращения panel-data (англ. «панельные данные») – пришло из терминологии применяемого в экономике панельного анализа, который изучает изменение определенного признака у определенного объекта во времени (например, уро­вень заболеваемости холерой в Африке в начале XXI века). Библиотека Pandas оказалась таким универсальным инструментом, что годится для исследования любых данных, которые вообще можно собрать в таблицу.

6

Переменные бывают двух типов: категориальные и количественные. Категориальная переменная принимает одно значение из ограниченного набо­ра, а количественная – любое числовое значение в диапазоне. Количественные переменные, в отличие от категориальных, обладают возможностью сравнения.

7

После применения метода agg(), названия столбцов становятся «двойны­ми». Чтобы обратиться к результату применения функции ['function1'] к столб- цу['column'], надо указать их подряд:

8

9

Среди самых разнообразных способов представления даты и времени особое место занимает формат unix time. Его идея проста – это количество секунд, прошедших с 00:00:00 1 января 1970 года. Unix-время соответствует Всемирному координированному времени, или UTC. Метод to_datetime() работает и с форматом unix time. Первый аргумент – это столбец со временем в формате unix time, второй аргумент unit со значением 's' сообщит о том, что нужно перевести время в привычный формат нужно с точностью до секунды. Часто приходится исследовать статистику по месяцам, дням, годам. Чтобы осуществить такой расчет, нужно поместить время в класс DatetimeIndex и применить к нему атрибут month, day, year:

Выгружая данные из разных систем, нужно быть готовым к следующим трудностям:

 некорректный формат приводит к невыполнению кода. Говорят, что «код падает с ошибкой»;

 ошибки в данных встречаются ближе к концу файла, и код на строках с неверными значениями не выполняется. Значит, пропадают расчеты для предыдущих, правильных строк;

К сожалению, предсказать все потенциальные ошибки невозможно. Для работы с непредсказуемым поведением данных есть конструкция try-except. Принцип работы такой: исходный код помещают в блок try. Если при выполне­нии кода из блока try возникнет ошибка, воспроизведется код из блока except.

Данные хранятся в excel-таблице из нескольких листов. Для того, чтобы использовать данные на всех листах, нужно склеить таблицы. Объединить несколько таблиц в одну поможет метод merge().

Сводная таблица применяется для обобщения данных и их наглядного представления. В Pandas для подготовки сводных таблиц есть метод

 две и более одинаковых строки с идентичной информацией. Большое количество повторов раздувает размер таблицы, а значит, увеличивает время обработки данных;