Удаление столбцов/строк из датафрейма

Удаление столбцов/строк из датафрейма      163

('2022-02-04', 'West', 243.0), ('2022-02-05', 'East', 160.0), ('2022-02-05', 'West', 35.0), ('2022-02-06', 'East', 110.0), ('2022-02-06', 'West', 86.0)

],

columns =['Date', 'Region', 'Total']).set_index(['Date','Region'])

Теперь нам понадобится другой датафрейм, который будет также индексироваться по Date и Region. Создайте его следующим образом:

df_date_region2 = pd.DataFrame(

[

('2022-02-04', 'South', 114.0), ('2022-02-05', 'South', 325.0), ('2022-02-06', 'South', 212.0)

],

columns =['Date', 'Region', 'Total']).set_index(['Date','Region'])

Второй датафрейм содержит те же три даты, что и первый, но данные в нем относятся к новому региону — South. Проблема объединения этих двух датафреймов в том, что в результате нужно получить набор данных, отсортированный по дате, а не просто добавить второй датафрейм после первого. Вот как это сделать:

df_date_region = pd.concat([df_date_region1, df_date_region2]).sort_index(level=['Date','Region'])

Сначала вызываем concat(). Вызов этой функции выглядит так же, как при конкатенации датафреймов с одним индексным столбцом. Определяем датафреймы для конкатенации, и поскольку параметр axisопущен, по умолчанию они будут объединены по вертикали. Чтобы отсортировать строки в полученном дата­ фрейме по дате и региону, необходимо вызвать метод sort_index(). В результате получим следующий датафрейм:

164      Глава 7. Объединение датасетов

Как видите, строки из второго датафрейма распределены между строками из первого, при этом верхнеуровневая группировка по дате сохранилась.

Join-объединение двух датафреймов

Объединение двух датафреймов — это не просто добавление строк или столбцов одного датафрейма после или рядом со столбцами другого, а совмещение каждой строки из одного датасета с соответствующей строкой (строками) второго датасета. Чтобы рассмотреть основы join-объединения датафреймов, вернитесь к подразделу «Объединение датафреймов» в главе 3, где рассматриваются различные типы объединений. Благодаря этому разделу вы расширите знания, полученные в главе 3, реализовав механизм right join и объединение на основе отношений «многие-ко-многим».

Реализация Right Join

Метод right join берет все строки из второго датафрейма и объединяет их с подходящими строками из первого датафрейма. Вы увидите, что при данном типе объединения в некоторых строках итогового датафрейма могут появиться неопределенные поля, что чревато неожиданными последствиями.

Чтобы посмотреть, как это работает, выполните right join датафреймов df_orders и df_details, созданных из списков orders и details главы 6. Мы использовали их в примерах вступительного раздела этой главы. Сформировать датафреймы из этих списков можно так:

import pandas as pd

df_orders = pd.DataFrame(orders, columns =['OrderNo', 'Date', 'Empno']) df_details = pd.DataFrame(details, columns =['OrderNo', 'Item', 'Brand',

'Price', 'Quantity'])

Напомню, что каждой строке исходного списка details соответствует определенная строка в списке orders. То же справедливо и для датафреймов df_details и df_orders. Чтобы понятнее проиллюстрировать right join, необходимо добавить одну или несколько новых строк в df_details, для которых не будет соответствующих строк из df_orders. Добавить строку можно с помощью метода DataFrame.append(), который принимает добавляемую строку в виде словаря или серии.

Если вы следовали примеру из раздела «Реализация join-объединений списков» этой главы, то у вас уже добавлена новая строка в список details, и поэтому она должна появиться и в датафрейме df_details. В этом случае можно пропустить

Удаление столбцов/строк из датафрейма      165

следующую операцию. Иначе добавьте приведенную ниже строку в df_details в виде словаря. Обратите внимание, что значения поля OrderNo новой строки нет среди значений столбца OrderNo датафрейма df_orders:

df_details = df_details.append( {'OrderNo': 4626592, 'Item': 'Shorts',

'Brand': 'Protest', 'Price': 48.0, 'Quantity': 1

},

ignore_index = True

)

Необходимо добавить параметр ignore_indexсо значением True , в противном случае добавить словарь к датафрейму не получится. Значение параметра True также сбрасывает индексы датафрейма и устанавливает последовательную нумерацию строк (0, 1, ...).

Затем мы объединяем датафреймы df_orders и df_details с помощью метода merge(). Как обсуждалось в главе 3, merge() обеспечивает удобный способ объединения двух датафреймов с общим столбцом:

df_orders_details_right = df_orders.merge(df_details, how='right',left_on='OrderNo', right_on='OrderNo')

Используем параметр how для указания типа объединения — в данном примере это right join . С помощью параметров left_on и right_on указываем объединяемые столбцы из df_orders и df_details соответственно .

Полученный датафрейм выглядит так:

Удаление столбцов/строк из датафрейма      167

Мы используем метод fillna(), который заменяет NaNв выбранном столбце(-ах) на указанное значение. Столбец и значение для замены объявляются в виде словаря. В этом конкретном примере мы заменяем NaN в столбце Empno на 0. Затем с помощью метода astype() преобразуем тип колонки в int64. И снова столбец и новый тип указываются в виде пары «ключ — значение» словаря.

В итоге получаем следующий датафрейм:

Значения NaNв столбце Empno превратились в 0, а идентификаторы сотрудников снова отображаются как целые числа. Больше никаких десятичных знаков!

Реализация объединения типа «многие-ко-многим»

Между датасетами может быть установлено отношение типа «многие-ко- многим», когда строка в каждом наборе данных связана с несколькими строками в другом. Предположим, что у нас есть два датасета, содержащих книги и авторов соответственно. Каждая запись в датасете с авторами может быть связана с одной или несколькими записями в датасете с книгами, а каждая запись в наборе данных книг может быть связана с одной или несколькими записями в наборе данных авторов.

Обычно для объединения датасетов, имеющих отношения «многие-ко-многим», используется хеш-таблица, также известная как таблица соответствия. Эта таблица сопоставляет два (или более) датасета, ссылаясь на первичные ключи каждого из них. Хеш-таблица имеет отношения типа «один-ко-многим» с каждым из датасетов и выступает как посредник между ними, позволяя их объединять.

Чтобы изучить, как реализовать объединение «многие-ко-многим» через хештаблицу, создайте датафреймы books и authors следующим образом:

import pandas as pd

books = pd.DataFrame({'book_id': ['b1', 'b2', 'b3'],

'title': ['Beautiful Coding', 'Python for Web Development', 'Pythonic Thinking'],

'topic': ['programming', 'Python, Web', 'Python']}) authors = pd.DataFrame({'author_id': ['jsn', 'tri', 'wsn'],

'author': ['Johnson', 'Treloni', 'Willson']})

168      Глава 7. Объединение датасетов

Датафрейм books содержит три книги, у каждой из которых есть уникальный идентификатор — book_id, а датафрейм authors включает трех авторов (тоже с уникальными идентификаторами — author_id). Теперь сформируем третий датафрейм, matching, который будет служить в качестве хеш-таблицы, связывающей каждую книгу с соответствующим автором(ами) и наоборот:

matching = pd.DataFrame({'author_id': ['jsn', 'jsn','tri', 'wsn'], 'book_id': ['b1', 'b2', 'b2', 'b3']})

В датафрейме matching два столбца: один соответствует идентификаторам авторов, а другой — идентификаторам книг. В отличие от двух других датафреймов, каждая строка в matching представляет не только одного автора или одну книгу. Она содержит информацию об отношениях между одним конкретным автором и одной конкретной книгой. Вот как выглядит этот датафрейм:

В поле author_id и первой и второй строки указано значение jsn, то есть Джонсон (Johnson) является автором двух разных книг. Аналогично во второй и третьей строках одинаковый book_id — b2, это означает что у книги Python for Web Development два автора.

Теперь можно создать объединение типа «многие-ко-многим» датасетов authors и books с помощью датасета matching, как показано ниже:

authorship = books.merge(matching).merge(authors)[['title','topic','author']]

На самом деле операция состоит из двух отдельных объединений с использованием метода merge(). Сначала мы объединяем books и matching по столбцам book_id. Затем объединяем результат первого объединения с датафреймом authors по столбцам author_id. Обе эти операции являются простыми объединениями «один-ко-многим», однако вместе они создают новый датафрейм, иллюстрирующий отношения типа «многие-ко-многим» между датасетами books и authors. Фильтруем датафрейм так, чтобы он включал только столбцы title, topic и author, и получим следующий результат: