Объединение нескольких DataFrame в Pandas

В завершение этого раздела мы загрузим данные о погоде в Канаде за 2012 год и сохраним их в формате CSV. Это будет сделано поэтапно: сначала загрузим каждый месяц отдельно, а затем объединим все месяцы.

Данные содержат информацию о температуре за каждый час в течение 2012 года!

%matplotlib inline
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np

pd.options.display.max_rows = 7
plt.style.use('ggplot')
plt.rcParams['figure.figsize'] = (15, 3)
plt.rcParams['font.family'] = 'sans-serif'

In [2]:

weather_2012_final = pd.read_csv('data/weather_2012.csv', index_col='Date/Time')
weather_2012_final['Temp (C)'].plot(figsize=(18, 6))

Out[2]:

Загрузка данных за 1 месяц

Исследуя данные о велосипедистах, мы заинтересованы в температуре и осадках, чтобы оценить, сколько людей предпочитает ездить на велосипеде в дождливую погоду. Для этого мы обращаемся к историческим данным о погоде в Канаде и проверяем возможность автоматизации процесса сбора информации.

Сначала загружаем данные за 2012 год и удаляем из них ненужную информацию.

Данный URL содержит данные для Монреаля:

url_template = "http://climate.weather.gc.ca/climate_data/bulk_data_e.html?format=csv&stationID=5415&Year={year}&Month={month}&timeframe=1&submit=Download+Data"

Чтобы получить данные за март 2012 года, необходимо форматировать строку с month=3, year=2012.

url = url_template.format(month=3, year=2012)
weather_mar2012 = pd.read_csv(url, skiprows=15, index_col='Date/Time', parse_dates=True, encoding='latin1')

Отлично! Мы можем использовать read_csv для загрузки данных по URL так же, как и с файлами.

Первые 16 строк файла содержат метаданные, но благодаря pandas' read_csv с параметром skiprows, это не проблема. Мы обрабатываем даты и устанавливаем 'Date/Time' в качестве индекса. Вот полученный dataframe:

weather_mar2012

Теперь давайте нарисуем график температуры!

In [6]:

weather_mar2012["Temp (°C)"].plot(figsize=(15, 5))

Out[6]:

Пора внести изменения в названия некоторых столбцов (столбец "Temp (°C)" не самый удобный).

weather_mar2012.columns = [
    u'Year', u'Month', u'Day', u'Time', u'Data Quality', u'Temp (C)',
    u'Temp Flag', u'Dew Point Temp (C)', u'Dew Point Temp Flag',
    u'Rel Hum (%)', u'Rel Hum Flag', u'Wind Dir (10s deg)', u'Wind Dir Flag',
    u'Wind Spd (km/h)', u'Wind Spd Flag', u'Visibility (km)', u'Visibility Flag',
    u'Stn Press (kPa)', u'Stn Press Flag', u'Hmdx', u'Hmdx Flag', u'Wind Chill',
    u'Wind Chill Flag', u'Weather']

Некоторые колонки почти пустые, поэтому используем функцию dropna для их удаления. Аргумент axis=1 сигнализирует об удалении столбцов, а how='any' удаляет столбец, если в нём есть хотя бы один пустой элемент.

Теперь стало лучше: у нас остались только важные данные.

weather_mar2012 = weather_mar2012.dropna(axis=1, how='any')
weather_mar2012[:5]

Колонки Year/Month/Day/Time избыточны, а столбец "Data Quality" малоинформативен. Давайте их уберем.

Параметр axis=1 означает удаление колонок, аналогично как раньше dropna и drop обычно удаляют строки, когда используется axis=0.

weather_mar2012 = weather_mar2012.drop(['Year', 'Month', 'Day', 'Time', 'Data Quality'], axis=1)
weather_mar2012[:5]

Здорово, теперь работать с этими данными стало намного удобнее.

Дневной график температуры

Это просто, хотя мы уже делали это в предыдущих разделах. Давайте повторим, ведь графики всегда представляют данные информативно и красиво.

In [10]:

temperatures = weather_mar2012[[u'Temp (C)']].copy()
temperatures.loc[:,'Hour'] = weather_mar2012.index.hour
temperatures.groupby('Hour').aggregate(np.median).plot()

Out[10]:

Максимальная температура по медиане наблюдается в 2 часа дня. Отличный результат.

Получаем данные за год

Как мы можем собрать данные за весь год? В идеальных условиях сайт предоставил бы эту функциональность, но, к сожалению, ее нет.

Во-первых, у нас имеется функция для загрузки данных за каждый месяц:

def download_weather_month(year, month):
    url = url_template.format(year=year, month=month)
    weather_data = pd.read_csv(url, skiprows=15, index_col='Date/Time', parse_dates=True)
    weather_data = weather_data.dropna(axis=1)
    weather_data.columns = [col.replace('\xb0', '') for col in weather_data.columns]
    weather_data = weather_data.drop(['Year', 'Day', 'Month', 'Time', 'Data Quality'], axis=1)
    return weather_data

Проверим, корректно ли работает функция:

download_weather_month(2012, 1)[:5]

Приступим к объединению данных всех месяцев. Получим их следующим образом:

data_by_month = [download_weather_month(2012, i) for i in range(1, 13)]

Соединим данные в один dataframe с помощью pd.concat. В итоге у нас будет собрана информация за весь год!

weather_2012 = pd.concat(data_by_month)
weather_2012

Сохранить dataframe в CSV файл

Вы заметили, что функция download_weather_month работает не слишком быстро? Излишне загружать информацию каждый раз, поэтому сохраняем результат в CSV файл для удобного доступа в будущем.

weather_2012.to_csv('data/weather_2012.csv')