Обработка данных на Python

В начале этого курса нам бы хотелось рассказать анекдот-загадку. Итак, загадка. Кто делает самый отвратительный код? Варианты ответа: дата сайентисты, программисты или школьники. Внимание, подсказка: это не школьники.

Этот курс даст понимание обработки данных на Python. При чтении данного материала не забывайте, что программирование - это в большинстве случаев командная работа, поэтому настраивайтесь на командную работу. Удачного чтения!

Сомневаешься, будет ли тебе полезен материал курса, или хочешь убедиться, что усвоил материал курса? Проверь свои знания с помощью вопросов для самопроверки по материалам курса.

1. Какой командой запускается сервер Jupyter после установки пакетов?
2. Какие клавиши следует нажать, чтобы выполнить код в ячейке Jupyter Notebook без использования кнопки ▶?
3. Какая функция автодополнения доступна в IPython Notebook?
4. Какую магическую функцию можно использовать для измерения времени выполнения кода?
5. Какие библиотеки необходимо импортировать для работы с данными в формате CSV и построения графиков?
6. Какой командой загружаются данные из CSV-файла с учетом разделителя и кодировки?
7. Какие дополнительные параметры нужно указать при чтении CSV-файла для корректной обработки дат?
8. Как построить график для одного столбца?
9. Как можно визуализировать все колонки одновременно и поменять размер изображения графика?
10. Как можно выбрать определённый столбец данных используя pandas?
11. Какой метод используется для подсчёта количества различных значений в столбце?
12. Что означает предупреждение "DtypeWarning: Columns (8) have mixed types", которое может появиться при загрузке данных?
13. Как получить первые 5 значений определенного столбца?
14. Какой метод Pandas используется для добавления нового столбца в DataFrame?
15. Какой метод используется для суммирования значений группировки в DataFrame?
16. Что означают аргументы axis=1 и how='any' в функции dropna?
17. Как объединить данные в один DataFrame?
18. Какой метод используется для сохранения финального DataFrame в CSV файл?
19. Какой метод библиотеки pandas используется для работы с текстовыми данными в столбцах?
20. Какую операцию выполняет метод `resample()` в процессе анализа данных?
21. С использованием какого метода объединяются две статистики в один DataFrame?
22. Каким образом отобразить два графика на разных осях?
23. Какие проблемы могут возникнуть при работе с загрязненными данными?
24. Какие методы можно использовать для выявления проблем в колонке с данными?
25. Какие есть методы эффективной фильтрации данных?
26. Что такое Unix timestamps и как они используются в pandas?
27. В чем заключается особенность работы с timestamp в pandas?
28. Какие специфические типы данных доступны в pandas для представления времени?
29. Какая функция используется для преобразования чисел в даты и время?
30. Как называется функция Pandas для загрузки данных из SQL базы данных?
31. Какие параметры принимает функция загрузки данных из SQL?
32. Как сделать столбец 'id' первичным ключом (индексом) DataFrame при чтении из базы данных?
33. Как называется метод, который используется для записи данных в SQL базу данных?
34. Какое преимущество дает хранение данных в базе данных, в отличие от CSV-файлов?

1. Описание курса
2. Введение и быстрый старт с Jupyter (ipython)
3. Работа с CSV в Python: чтение и визуализация
4. Выбор данных и нахождение наиболее частых жалоб
5. Классификация и группировка данных в анализе
6. Объединение нескольких DataFrame в Pandas
7. Определение самого снежного месяца с помощью Pandas
8. Управление загрязнёнными данными в анализе запросов
9. Работа с датами и временем в Pandas
10. Работа с SQL базами данных через Pandas