Анализ данных с помощью pandas.
Часть 0: введение, jupyter (ipython)

Цель этого цикла статей - дать конкретные примеры использования pandas.
pandas - это Python библиотека для анализа и обработки данных.
Она действительно быстрая и позволяет вам легко исследовать данные.

Python позволяет перегружать множество различных операторов, и оператор shift является одним из них. Вот пример того, как создать композицию функции с помощью этого оператора. Здесь эти знаки показывают направление потока данных:

 collections import deque
from math import sqrt


class Compose:
    def __init__(self):
        self._functions = deque()

    def __call__(self, *args, **kwargs):
        result = None
        for f in self._functions:
            result = f(*args, **kwargs)
            args = [result]
            kwargs = dict()
        return result

    def __rshift__(self, f):
        self._functions.append(f)
        return self

    def __lshift__(self, f):
        self._functions.appendleft(f)
        return self


compose = Compose


sqrt_abs = (compose() << sqrt << abs)
sqrt_abs2 = (compose() >> abs >> sqrt)

print(sqrt_abs(-4))  # 2.0
print(sqrt_abs2(-4))  # 2.0

​​Приветствую всех!
Сегодня мы познакомимся с историей создания Python.

Разработка языка Python была начата в конце 1980-х годов сотрудником голландского института CWI Гвидо ван Россумом.
Для распределённой ОС Amoeba требовался расширяемый скриптовый язык, и Гвидо начал писать Python на досуге, позаимствовав некоторые наработки для языка ABC (Гвидо участвовал в разработке этого языка, ориентированного на обучение программированию).
В феврале 1991 года Гвидо опубликовал исходный текст в группе новостей alt.sources.
С самого начала Python проектировался как объектно-ориентированный язык.

3 декабря 2008 года, после длительного тестирования, вышла первая версия Python 3000 (или Python 3.0, также используется сокращение Py3k).
В Python 3000 устранены многие недостатки архитектуры с максимально возможным (но не полным) сохранением совместимости со старыми версиями Python.
На сегодня поддерживаются обе ветви развития (Python 3.x и 2.x), но поддержка Python 2.7 заканчивается в 2020 году.

Итак, мы узнали на чуточку больше про Python!

Анализ данных с помощью pandas.
Часть 1: Чтение данных из csv файла

Продолжаем работать с pandas.
Эта часть показывает способ обработки данных, хранящихся в формате csv, а также построение простейших графиков.

Анализ данных с помощью pandas.
Часть 2: Выбор данных и нахождение наиболее частых жалоб

В этой части мы будем использовать новый набор данных, чтобы показать, как быть с большими объёмами данных.
Это данные о 311 сервисных запросов (или жалоб) жителей, предоставленные NYC Open Data.

Анализ данных с помощью pandas.
Часть 3: объединение и группировка данных

Эта часть показывает способы группировки, объединения и дополнения данных.

Анализ данных с помощью pandas.
Часть 4: объединение нескольких dataframe

В конце этой части, мы загрузим данные о погоде в Канаде за весь 2012 год, и сохраним в CSV файл.
Мы сделаем это, загрузив каждый месяц в отдельности, а затем сгруппировав все месяцы вместе.

Анализ данных с помощью pandas.
Часть 5: ищем самый снежный месяц

Мы уже видели, что pandas хорошо умеет обращаться с датами.
Но он также хорошо умеет работать со строками!
Возьмём наши данные из предыдущей части.

Анализ данных с помощью pandas.
Часть 6: работа с загрязненными данными

Главная проблема загрязненных данных: понять, они загрязнены или нет?
Используем данные NYC 311 service request из одной из прошлых статей, так как их много и они неочевидны.

Погнали уже кодить!

Анализ данных с помощью pandas.
Часть 7: работа с датами и временем

Часто данные содержат не только числовые или строковые значения, но и даты / время, причём в огромном множестве разных форматов. pandas умеет работать с датами; в этой части будет показано, как.

Анализ данных с помощью pandas.
Часть 8: работа с данными из базы данных SQL

До этого момента, мы получали данные только из csv файлов. Это довольно распространённый способ сохранения данных, но далеко не единственный!
Pandas может работать с данными из HTML, JSON, SQL, Excel (!!!), HDF5, Stata, и некоторых других вещей.
В этой части мы поговорим о работе с данными из баз данных SQL.

Автопостинг c ВК в телеграм

По просьбе одного из подписчиков нашего канала мы приготовили для вас статью о том, как же осуществить автопостинг с ВК в телеграм.

Задача про словарь

Я вижу, что вам больше нравится практика, нежели теорема :)
Сегодня я разберу одну из олимпиадных задач, довольно простую.
Суть задачи в том, чтобы из англо-латинского словаря сделать латино-английский.

Пишем блэкджек на Python

Ну, точнее, не блэкджек, а его мини-вариант под названием очко.
Получилось прикольно, залетаем!

Нахождение 10 наиболее частых слов на web странице

Решим небольшую задачку в данной статье.

HTML парсер на Python

Учитывая современное развитие Интернета, было бы кощунством не написать приложение, взаимодействующее со всемирной паутиной.
Сегодня мы напишем простенький html-парсер на Python.
Наше приложение будет читать код указанной страницы сайта и сохранять все ссылки в ней в отдельный файл.
Это приложение может помочь SEO-аналитикам и веб-разработчикам.

Графический калькулятор квадратных уравнений на Python и Tkinter

Рассмотрим пример создания графического интерфейса (GUI) на Python.
В качестве "жертвы" напишем простенькую программу - решатель квадратных уравнений. Наше задание мы разобъем на несколько частей.

Читаем почту через IMAP

В этой статье вы научитесь использовать IMAP для управления почтой и прочитывания писем.

Перечисления enum (Python 3.4+)

Python 3 поддерживает простой способ написания перечислений через класс Enum.
Этот класс можно назвать удобным способом инкапсуляции списка констант, чтобы они не были разбросаны по всему коду без структуры.

from enum import Enum, auto


class Monster(Enum):
ZOMBIE = auto()
WARRIOR = auto()
BEAR = auto()


print(Monster.ZOMBIE) # Monster.ZOMBIE

Как работает FaceID в iPhone X: алгоритм на языке Python

Одна из самых обсуждаемых фишек iPhone X – новый метод разблокировки: FaceID.
В этой статье разобран принцип работы данной технологии.