Лекции / 10. Датафреймы pandas - Jupyter Notebook

In [40]:

df["Econ"] > 6

Out[40]:

id

М141БПЛТЛ024 True М141БПЛТЛ031 True М141БПЛТЛ075 True М141БПЛТЛ017 True М141БПЛТЛ069 True М141БПЛТЛ072 True М141БПЛТЛ020 False М141БПЛТЛ026 True М141БПЛТЛ073 True М141БПЛТЛ078 False М141БПЛТЛ060 True М141БПЛТЛ040 False М141БПЛТЛ065 False М141БПЛТЛ053 False М141БПЛТЛ015 False М141БПЛТЛ021 True М141БПЛТЛ018 True М141БПЛТЛ039 True М141БПЛТЛ036 True М141БПЛТЛ049 False 06114043 False М141БПЛТЛ048 False М141БПЛТЛ034 False М141БПЛТЛ045 True М141БПЛТЛ033 True М141БПЛТЛ083 False М141БПЛТЛ008 True М141БПЛТЛ001 False М141БПЛТЛ038 False М141БПЛТЛ052 True М141БПЛТЛ011 False М141БПЛТЛ004 False М141БПЛТЛ010 False М141БПЛТЛ071 True М141БПЛТЛ035 False М141БПЛТЛ030 False М141БПЛТЛ070 False М141БПЛТЛ051 False М141БПЛТЛ046 False М141БПЛТЛ047 False М141БПЛТЛ063 False М141БПЛТЛ029 True М141БПЛТЛ064 True М141БПЛТЛ076 False М141БПЛТЛ062 False М141БПЛТЛ074 False 130232038 False М141БПЛТЛ023 True М141БПЛТЛ054 False М141БПЛТЛ012 False М141БПЛТЛ006 False М141БПЛТЛ055 False М141БПЛТЛ007 False М141БПЛТЛ050 False

М141БПЛТЛ066 True М141БПЛТЛ043 False М141БПЛТЛ084 False М141БПЛТЛ005 False М141БПЛТЛ044 False 13051038 False Name: Econ, dtype: bool

Что мы увидели? Просто результат проверки условия, набор из True и False. Когда мы подставляем это выражение в квадратные скобки, Python выбирает из df те строки, где выражение принимает значение

True.

Все операторы проверки условий работают как обычно:

In [41]:

df[df["Econ"] == 9] # двойное равенство для равенства

Out[41]:

Можно формулировать сложные условия. Выберем студентов с оценкой по экономике от 6 до 8 (8 не включается).

12.11.2022, 11:38 10. Датафреймы pandas - Jupyter Notebook

In [42]:

df[(df["Econ"] >= 6) & (df["Econ"] < 8)]

Out[42]:

В качестве символа для одновременного выполнения условий используется оператор & . И не забудьте про круглые скобки. А теперь выберем студентов с оценкой по английскому выше 9 и оценкой по праву ниже 9:

12.11.2022, 11:38 10. Датафреймы pandas - Jupyter Notebook

In [43]:

df[(df["Eng"] > 9) & (df["Law"] < 9)] Out[43]:

При формулировании сложных (составных) условий обращайте особое внимание на порядок круглых скобках, потому что, если вы расставите скобки неправильно, результат получится неверный:

In [44]:

df[(df["Eng"]) > 9 & (df["Law"] < 9)] # первая закрывающая скобка не после 9

Out[44]:

Результат получился совсем неверным. Потому что Python понял наше условие не так, как нужно. Теперь выберем студентов с оценкой по политической истории ниже 5 или с оценкой по истории политических учений ниже 5:

In [45]:

df[(df["Phist"] < 5) | (df["Polth"] < 5)] # оператор | для условия или

Out[45]:

Здесь наше выражение в квадратных скобках принимает значение True, когда хотя бы одно из условий верно: либо верно первое, либо второе, либо оба.

Добавление новых столбцов в таблице и удаление пропущенных значений

Давайте добавим в нашу таблицу df новый столбец, который будет представлять собой среднюю оценку по социологии (посчитаем среднее арифметическое оценок по социологии и политической социологии). Чтобы добавить новый столбец, нужно указать его название в квадратных скобках:

In [46]:

df["Avg_Soc"] = (df["Soc"] + df["Polsoc"]) / 2

12.11.2022, 11:38 10. Датафреймы pandas - Jupyter Notebook

In [47]: df.head()

Out[47]:

Теперь внесем изменения в уже существующий столбец в таблице. В самом начале мы заметили, что некоторые столбцы имеют тип float (числа с плавающей точкой), а не integer (целые числа). Давайте попробуем сделать столбец с политической историей целочисленным.

In [48]:

newh = [int(i) for i in df["Phist"]]

---------------------------------------------------------------------------

ValueError Traceback (most recent call last) <ipython-input-48-209824ec1fa3> in <module>()

----> 1 newh = [int(i) for i in df["Phist"]]

<ipython-input-48-209824ec1fa3> in <listcomp>(.0)

----> 1 newh = [int(i) for i in df["Phist"]] ValueError: cannot convert float NaN to integer

Не получается! Почему? Python пишет, что не может превратить NaN в integer. Действительно, сложно превратить объект Not a number в целое число. Тип float относится к нему толерантно, а вот тип integer уже нет. Как быть? Давайте просто удалим из датафрейма все пропущенные значения (то есть строки, содержащие пропущенные значения).

In [49]:

df = df.dropna() # удаляем и сохраняем изменения

Теперь проделаем те же операции:

In [50]:

newh = [int(i) for i in df["Phist"]]

In [51]:

df["Phist"] = newh

/anaconda3/lib/python3.6/site-packages/ipykernel_launcher.py:1: SettingWithC opyWarning:

A value is trying to be set on a copy of a slice from a DataFrame. Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: http://pandas.pydata.org/pandas-docs/s table/indexing.html#indexing-view-versus-copy (http://pandas.pydata.org/pand as-docs/stable/indexing.html#indexing-view-versus-copy)

"""Entry point for launching an IPython kernel.

Получилось!

In [52]:

df.head() # Phist уже с целыми значениями

Out[52]:

Еще немного про описательные статистики

В самом начале мы обсуждали описание базы данных с помощью метода .describe() . Помимо этого метода существует много методов, которые выводят отдельные статистики.

In [53]:

df.median() # медиана (для всех показателей)

dtype: float64

Можно запрашивать статистики по отдельным переменным (столбцам):

In [54]:

df.Phist.mean() # среднее арифметическое

Out[54]:

5.833333333333333

Или по наблюдениям (строкам):

In [55]:

df.loc["М141БПЛТЛ023"].mean()

Out[55]:

6.25

Давайте теперь построим какие-нибудь графики. Библиотеку pandas удобно использовать в сочетании с библиотекой для построения графиков matplotlib. Давайте её импортируем (эта библиотека должна была быть установлена на ваш компьютер вместе с Anaconda).

In [56]:

import matplotlib

Теперь добавим элементы магии :) Магическую строку в Jupyter Notebook (Python magic). Эта строка позволит выводить графики прямо внутри ноутбука, файла .ipynb , а не в отдельном окне.