- •Об авторе
 - •О научном редакторе
 - •От издательства
 - •Введение
 - •Использование Python для data science
 - •Для кого эта книга?
 - •О чем эта книга?
 - •Глава 1. Базовые знания о данных
 - •Категории данных
 - •Неструктурированные данные
 - •Структурированные данные
 - •Слабоструктурированные данные
 - •Данные временных рядов
 - •Источники данных
 - •Веб-страницы
 - •Базы данных
 - •Файлы
 - •Получение
 - •Очистка
 - •Преобразование
 - •Анализ
 - •Хранение
 - •Питонический стиль
 - •Выводы
 - •Глава 2. Структуры данных Python
 - •Списки
 - •Создание списка
 - •Использование общих методов списков
 - •Использование срезов
 - •Использование списка в качестве очереди
 - •Использование списка в качестве стека
 - •Использование списков и стеков для обработки естественного языка
 - •Расширение функциональности с помощью списковых включений
 - •Кортежи
 - •Список кортежей
 - •Неизменяемость
 - •Словари
 - •Список словарей
 - •Добавление элементов в словарь с помощью setdefault()
 - •Преобразование JSON в словарь
 - •Множества
 - •Удаление дубликатов из последовательности
 - •Общие операции с множеством
 - •Упражнение № 1: продвинутый анализ тегов фотографий
 - •Выводы
 - •NumPy
 - •Установка NumPy
 - •Создание массива NumPy
 - •Выполнение поэлементных операций
 - •Использование статистических функций NumPy
 - •Упражнение № 2: использование статистических функций numpy
 - •pandas
 - •Установка pandas
 - •pandas Series
 - •Упражнение № 3: объединение трех серий
 - •pandas DataFrame
 - •Упражнение № 4: использование разных типов join
 - •scikit-learn
 - •Установка scikit-learn
 - •Получение набора образцов
 - •Преобразование загруженного датасета в pandas DataFrame
 - •Разделение набора данных на обучающий и тестовый
 - •Преобразование текста в числовые векторы признаков
 - •Обучение и оценка модели
 - •Создание прогнозов на новых данных
 - •Выводы
 - •Глава 4. Доступ к данным из файлов и API
 - •Импортирование данных с помощью функции open()
 - •Текстовые файлы
 - •Файлы с табличными данными
 - •Упражнение № 5: открытие json-файлов
 - •Двоичные файлы
 - •Экспортирование данных в файл
 - •Доступ к удаленным файлам и API
 - •Как работают HTTP-запросы
 - •Библиотека urllib3
 - •Библиотека Requests
 - •Упражнение № 6: доступ к api с помощью requests
 - •Перемещение данных в DataFrame и из него
 - •Импортирование вложенных структур JSON
 - •Конвертирование DataFrame в JSON
 - •Выводы
 - •Глава 5. Работа с базами данных
 - •Реляционные базы данных
 - •Понимание инструкций SQL
 - •Начало работы с MySQL
 - •Определение структуры базы данных
 - •Вставка данных в БД
 - •Запрос к базе данных
 - •Упражнение № 8: объединение «один-ко-многим»
 - •Использование инструментов аналитики баз данных
 - •Базы данных NoSQL
 - •Документоориентированные базы данных
 - •Упражнение № 9: вставка и запрос нескольких документов
 - •Выводы
 - •Глава 6. Агрегирование данных
 - •Данные для агрегирования
 - •Объединение датафреймов
 - •Группировка и агрегирование данных
 - •Просмотр конкретных агрегированных показателей по MultiIndex
 - •Срез диапазона агрегированных значений
 - •Срезы на разных уровнях агрегирования
 - •Добавление общего итога
 - •Добавление промежуточных итогов
 - •Выбор всех строк в группе
 - •Выводы
 - •Глава 7. Объединение датасетов
 - •Объединение встроенных структур данных
 - •Объединение списков и кортежей с помощью оператора +
 - •Объединение словарей с помощью оператора **
 - •Объединение строк из двух структур
 - •Реализация join-объединений списков
 - •Конкатенация массивов NumPy
 - •Объединение структур данных pandas
 - •Конкатенация датафреймов
 - •Удаление столбцов/строк из датафрейма
 - •Join-объединение двух датафреймов
 - •Выводы
 - •Глава 8. Визуализация
 - •Распространенные способы визуализации
 - •Линейные диаграммы
 - •Столбчатые диаграммы
 - •Круговые диаграммы
 - •Гистограммы
 - •Построение графиков с помощью Matplotlib
 - •Установка Matplotlib
 - •Использование matplotlib.pyplot
 - •Работа с объектами Figure и Axes
 - •Создание гистограммы с помощью subplots()
 - •Совместимость Matplotlib с другими библиотеками
 - •Построение графиков для данных pandas
 - •Отображение данных геолокации с помощью Cartopy
 - •Выводы
 - •Глава 9. Анализ данных о местоположении
 - •Получение данных о местоположении
 - •Преобразование стандартного вида адреса в геокоординаты
 - •Получение геокоординат движущегося объекта
 - •Анализ пространственных данных с помощью geopy и Shapely
 - •Поиск ближайшего объекта
 - •Поиск объектов в определенной области
 - •Объединение двух подходов
 - •Упражнение № 15: совершенствование алгоритма подбора машины
 - •Получение непространственных характеристик
 - •Объединение датасетов с пространственными и непространственными данными
 - •Выводы
 - •Глава 10. Анализ данных временных рядов
 - •Регулярные и нерегулярные временные ряды
 - •Общие методы анализа временных рядов
 - •Вычисление процентных изменений
 - •Вычисление скользящего окна
 - •Вычисление процентного изменения скользящего среднего
 - •Многомерные временные ряды
 - •Обработка многомерных временных рядов
 - •Анализ зависимости между переменными
 - •Выводы
 - •Глава 11. Получение инсайтов из данных
 - •Ассоциативные правила
 - •Поддержка
 - •Доверие
 - •Лифт
 - •Алгоритм Apriori
 - •Создание датасета с транзакциями
 - •Определение часто встречающихся наборов
 - •Генерирование ассоциативных правил
 - •Визуализация ассоциативных правил
 - •Получение полезных инсайтов из ассоциативных правил
 - •Генерирование рекомендаций
 - •Планирование скидок на основе ассоциативных правил
 - •Выводы
 - •Глава 12. Машинное обучение для анализа данных
 - •Почему машинное обучение?
 - •Типы машинного обучения
 - •Обучение с учителем
 - •Обучение без учителя
 - •Как работает машинное обучение
 - •Данные для обучения
 - •Статистическая модель
 - •Неизвестные данные
 - •Пример анализа тональности: классификация отзывов о товарах
 - •Получение отзывов о товарах
 - •Очистка данных
 - •Разделение и преобразование данных
 - •Обучение модели
 - •Оценка модели
 - •Упражнение № 19: расширение набора примеров
 - •Прогнозирование тенденций фондового рынка
 - •Получение данных
 - •Извлечение признаков из непрерывных данных
 - •Генерирование выходной переменной
 - •Обучение и оценка модели
 - •Выводы
 
26 Глава 1. Базовые знания о данных
Данные временных рядов
Временные ряды — это множество точек данных, индексированных или перечисленных в порядке от самой ранней до самой поздней. Многие датасеты с финансовыми данными хранятся в виде временных рядов, поскольку обычно включают наблюдения в конкретное время.
Данные временных рядов могут быть как структурированными, так и слабоструктурированными. Представьте, что через равные промежутки времени вы получаете данные о местоположении такси в виде записей от GPS-трекера. Такие данные могут иметь следующий формат:
[
{  | 
	
  | 
"машина":  | 
	"cab_238",  | 
"координаты":  | 
	(43.602508,39.715685),  | 
"время":  | 
	"14:47",  | 
"состояние":  | 
	"доступен"  | 
},  | 
	
  | 
{  | 
	
  | 
"машина":  | 
	"cab_238",  | 
"координаты":  | 
	(43.613744,39.705718),  | 
"время":  | 
	"14:48",  | 
"состояние":  | 
	"доступен"  | 
}  | 
	
  | 
...  | 
	
  | 
]
Каждую минуту от машины cab_238 поступает новая запись, содержащая последние координаты местоположения (широта/долгота). Каждая запись имеет одинаковую последовательность полей, и каждое поле имеет последовательную структуру от одной записи к следующей, что позволяет хранить временные ряды в таблице реляционной базы данных как обычные структурированные данные.
А теперь предположим, что данные поступают через разные промежутки времени (что часто бывает на практике) и за минуту вы получаете несколько наборов координат. Тогда структура может выглядеть так:
[
{
"машина": "cab_238",
"координаты": [(43.602508,39.715685),(43.602402,39.709672)], "время": "14:47", "состояние": "доступен"
