В Amazon Redshift наконец появилась фича UNLOAD прямо в Parquet формат: https://aws.amazon.com/ru/about-aws/whats-new/2019/12/announcing-amazon-redshift-data-lake-export/

Нашел, пожалуй, лучший сайт, посвященный индексам в базе данных: https://use-the-index-luke.com/. Это лучшее, что есть в сети :)

Увидела свет первая версия pandas: pandas 1.0.0rc0. К этому знаменательному событию ребята также обновили сайт с документацией: https://pandas.pydata.org/pandas-docs/version/1.0.0/. Теперь он выглядит приятно и не вызывает рвотного рефлекса :)

Это не финальная версия релиза, а первый релиз-кандидат, поэтому библиотека может вести себя нестабильно.

Из прикольного, в версии 1.0 появился метод .to_markdown у объекта DataFrame.

Чтобы поиграться:

pip install pandas==1.0.0rc0

Всем привет!

На сайте Dice вышла статья о том, что 2020 год должен стать годом Data Engineer: 2020: The Year of the Citizen Data Engineer

В заметке есть интересная ссылка на исследование от LinkedIn: 2020 Emerging Jobs Report, где дата инженер занимает почетное 8 месте с годовым приростом спроса аж на 38%. Отчёт актуален для рынка США.

Из наиболее популярных навыков для дата инженера упоминаются:

- Apache Spark
- Hadoop
- Python
- SQL
- ETL
- Amazon Web Services

Самое время углубиться в эту интересную и важную профессию цифрового века. А узнать как стать дата инженером поможет моя прошлогодняя статья: Как стать Data Engineer.

В официальном devguide CPython обновилась информация о работе сборщика мусора: https://devguide.python.org/garbage_collector/
Выделите 20-30 минут на чтение, чтобы лучше разобраться как работает очищение памяти в Python.

Гугл выпустил новый сервис по поиску датасетов, пока в бета, но что-то годное для работы уже можно найти: https://datasetsearch.research.google.com/

Интересное в сети

Давненько я не делал постов из серии рекомендаций на интересных авторов в IT.

Рекомендую вам отличный блог девушки по имени Chelsea Troy. Она пишет регулярно (в отличии от меня).
Сейчас она в процессе написания цикла статей про реализацию алгоритма Raft на Python по мотивам мастер-класса от Дэвида Бизли: https://chelseatroy.com/2019/12/20/the-raft-algorithm-what-why-and-how/

Все слышали про знаменитый курс SICP от MIT и одноименную книгу? Челси прошла мастер-класс от того же Бизли и забабахала серию статей. Начало SICP, Introduction: On Learning the Abstract.

Другой не менее интересный автор Ruslan Spivak. Руслан в 2015 году начал серию постов о том как создать свой интерпретируемый язык программирования на Python :)
Ссылка на первый пост: Let’s Build A Simple Interpreter. Part 1.. Статья написана в июне 2015 года, а последний пост вышел в августе 2019. Недавно в твиттере Руслана появилась информация, что совсем скоро будет ещё один

Отдельных аплодисментов заслуживает Eli Bendersky, который регулярно ведёт блог с 2003 года. Не буду выделять какие-то конкретные его работы. Весь блог это сплошной must read.

На образовательной платформе edX появился бесплатный курс по контейнерам в AWS: https://www.edx.org/course/building-containerized-applications-on-aws

Если вы также как и я активно используете PyCharm для создания приложений на Python, то ребята из JetBrains совсем недавно проводили очень крутой вебинар по продвинутой отладке в PyCharm: смотреть

Нашел сайт с коллекцией видео с различных конференций. По сути это большой тематический каталог с функцией подписки на интересующие вас темы и конференции.
Вот, например, список всех доступных видео с различных Python конф: https://tulu.la/events/?past=show&search=Python&videos=true

Гвидо Ван Россум подготовил небольшую заметку для тех, кто хочет начать контрибьютить в CPython: https://paper.dropbox.com/doc/Contributing-to-CPython-JlgnduI6kw9MJIaGPpN9G

​​Накатал статейку про введение в Apache Airflow: http://bit.ly/37o3tiD

У Vas3k вышла очередная крутая статья, на этот раз про Дополненную реальность: http://bit.ly/2HCHjP6

​​В левом углу ринга — Дима: Android-разработчик, учится на магистратуре в Иннополисе. Говорит, что победитель батла заранее известен. Его соперник Никита, старший iOS-разработчик в Movavi, уверен — не всё так очевидно.

Чтобы понаблюдать за борьбой платформ и выбрать сильнейшую, регистрируйтесь на бесплатный марафон «iOS vs Android». Всего за 2 дня вы узнаете, какую сферу разработки выбрать новичку и с чего начать обучение, чтобы стать профессионалом.

Let’s get ready to rrrumble ↓
http://netolo.gy/fiT

Поиск Яндекса научился предсказывать запросы пользователей

Поисковик давно умеет исправлять некорректно введенные запросы и использует саджесты – подсказки, которые помогают быстрее доформулировать вопрос в строке поиска, но недавно Яндекс обучил систему решать более оригинальную задачу.

Теперь поисковик может предлагать пользователю полезный запрос, о котором тот, возможно, еще не подумал. К примеру, тому, кто ищет экипировку сноубориста, система порекомендует «как выбрать шлем для сноуборда» или «как выбрать сноуборд по росту и весу».

Если при создании обычных подсказок система максимизирует вероятность следующего запроса, то в случае предиктивного поиска важна вероятность клика по запросу – это позволяет предложить пользователю максимально интересный и полезный вариант. Поисковик отбирает такие варианты с помощью kNN – алгоритма поиска ближайших соседей.

Подробности: https://habr.com/ru/company/yandex/blog/488428/

Если вы используете redis, то утилитка iredis вполне может стать вашим другом в удивительный мир key-value хранилища на стероидах :) — https://iredis.io/
Прекрасная альтернатива redis-cli.

Гайд по Kubernetes для Full-Stack разработчиков от DigitalOcean: https://do.co/3a4xiq7

​​Отличная возможность заняться практикой по машинному обучению под руководством Артура Кадурина, эксперта по ML, CEO Insilico Taiwan, Chief AI Officer Insilico Medicine, автора научных публикаций.

Зарегистрируйтесь на бесплатный онлайн-интенсив и вечером 11 марта вы познакомитесь с reinforcement learning, узнаете, как применять машинное обучения для игр и научитесь с его помощью играть в «крестики-нолики».

Приходите, будет очень интересно и профессионально: https://otus.pw/faja/

В рамках подготовки к митапу AWS Meetup Almaty 2020 написал небольшую статью про построение Data Lake средствами AWS, а именно:

- Amazon S3
- Amazon Glue
- Amazon Athena

Прочитать можно по ссылке: http://bit.ly/2Tkcswc
Код с примерами пайплайна есть в моём гитхаб репе: https://github.com/adilkhash/aws-meetup-almaty-2019-data-lake

​​Приглашаем всех разработчиков 11 марта в 20.00 (мск) на онлайн-интенсив «Архиватор Хаффмана». Запишитесь сейчас и получите напоминание в день вебинара: https://otus.pw/9oRZ/

На практическом вебинаре обсудим и напишем архиватор на основе кода Хаффмана:
• Способы сжатия информации.
• Префиксный код Хаффмана.
• Создание частотного словаря.
• Дерево кода Хаффмана.
• Алгоритм сжатия файла.
• Алгоритм распаковки архива.
• Тестирование программы на разных файлах.

Для активного участия в вебинаре вам понадобятся Microsoft Visual Studio и C# .NET.

Проведет практическое занятие Евгений Волосатов, руководитель продвинутого онлайн-курса «Алгоритмы для разработчиков» в Отус Онлайн-образование.