Нашел в сети бесплатный курс про Apache Druid.
Apache Druid это колоночная база данных, предназначенная для выполнения быстрых аналитических запросов. Из аналогов: Amazon Redshift, Yandex ClickHouse, HP Vertica.
Вводный курс можно посмотреть по ссылке https://imply.io/druid-university/intro-to-druid-university
Apache Druid это колоночная база данных, предназначенная для выполнения быстрых аналитических запросов. Из аналогов: Amazon Redshift, Yandex ClickHouse, HP Vertica.
Вводный курс можно посмотреть по ссылке https://imply.io/druid-university/intro-to-druid-university
Imply
Introduction to Druid University - Imply
An introduction to Druid University.
Вот и состоялся релиз python 3.8. Отличный релиз с большим набором интересных фич.
Кому любопытно узнать что там нового - почитайте мой июльский пост: https://khashtamov.com/ru/python38-overview/
Скачать релиз https://www.python.org/downloads/release/python-380/
Кому любопытно узнать что там нового - почитайте мой июльский пост: https://khashtamov.com/ru/python38-overview/
Скачать релиз https://www.python.org/downloads/release/python-380/
Khashtamov
Обзор Python 3.8
Релиз Python 3.8 намечен на октябрь 2019 года, но уже сейчас у каждого есть возможность пощупать набор новых фишек языка. Пока пишу этот пост, на официальном сайте доступна версия python 3.8b2.Итак…
Гвидо Ван Россум ушел на пенсию: http://bit.ly/2C9JR4N
Dropbox
Thank you, Guido
Друзья!
На платформе Stepik я запустил продажи курса Введение в data engineering: дата-пайплайны. Речь в курсе идёт о замечательном инструменте Luigi о котором я неоднократно рассказывал на конференциях и в статьях.
Сейчас курс сделан наполовину, в нём есть вводная часть и каждую неделю, начиная с 18 ноября, будет открываться новый модуль с практическими материалами. Этот небольшой курс это начало интересной специализации по data engineering (будут отдельные курсы), которую я планирую создать в будущем, в неё войдут материалы про базы данных, распределенные системы, продвинутый SQL, инструменты экосистемы больших данных (Kafka, Spark, Airflow и т.д).
В курсе про дата-пайплайны я рассказываю о существующих инструментах, и детальный акцент делаю на Luigi. Курс научит вас понимать luigi и его компоненты, эффективно строить сложные зависимости между задачами, а также деплоить ваш пайплайн через Docker. Я подробно расскажу про конфигурирование и подводные камни при работе с этим инструментом.
Стоимость курса $10. Ссылка на курс: http://bit.ly/2NtOrRG
Чтобы его купить, необходимо сначала зарегистрироваться на платформе stepik.org.
На платформе Stepik я запустил продажи курса Введение в data engineering: дата-пайплайны. Речь в курсе идёт о замечательном инструменте Luigi о котором я неоднократно рассказывал на конференциях и в статьях.
Сейчас курс сделан наполовину, в нём есть вводная часть и каждую неделю, начиная с 18 ноября, будет открываться новый модуль с практическими материалами. Этот небольшой курс это начало интересной специализации по data engineering (будут отдельные курсы), которую я планирую создать в будущем, в неё войдут материалы про базы данных, распределенные системы, продвинутый SQL, инструменты экосистемы больших данных (Kafka, Spark, Airflow и т.д).
В курсе про дата-пайплайны я рассказываю о существующих инструментах, и детальный акцент делаю на Luigi. Курс научит вас понимать luigi и его компоненты, эффективно строить сложные зависимости между задачами, а также деплоить ваш пайплайн через Docker. Я подробно расскажу про конфигурирование и подводные камни при работе с этим инструментом.
Стоимость курса $10. Ссылка на курс: http://bit.ly/2NtOrRG
Чтобы его купить, необходимо сначала зарегистрироваться на платформе stepik.org.
Stepik: online education
Promoting efficient learning by developing innovative educational technologies. Create an interactive lesson and employ automated grading software.
Нашел в сети увесистый гайд по разработке веб-приложений на базе serverless технологий. Конкретно в этом гайде разбирают Amazon Web Services, AWS Lambda, React.js: http://bit.ly/2XJmgBW
SST
Build modern full-stack serverless applications on AWS with Next.js, SvelteKit, Remix, Astro, Solid, and more.
От университета ETH Zürich в Швейцарии в сети стал доступен курс Computer Architecture: https://www.youtube.com/playlist?list=PL5Q2soXY2Zi-DyoI3HbqcdtUm9YWRR_z-.
YouTube
Computer Architecture - ETH Zürich - Fall 2019
Onur Mutlu's lecture videos from the senior/master's level Computer Architecture course taught at ETH Zürich in Fall 2019. Course website including all slide...
Состоялся релиз 3й версии популярного веб- фреймворка Django 🥳 https://www.djangoproject.com/weblog/2019/dec/02/django-3-released/
В Amazon Redshift наконец появилась фича UNLOAD прямо в Parquet формат: https://aws.amazon.com/ru/about-aws/whats-new/2019/12/announcing-amazon-redshift-data-lake-export/
Amazon
Announcing Amazon Redshift data lake export: share data in Apache Parquet format
Нашел, пожалуй, лучший сайт, посвященный индексам в базе данных: https://use-the-index-luke.com/. Это лучшее, что есть в сети :)
Use-The-Index-Luke
SQL Indexing and Tuning e-Book for developers: Use The Index, Luke covers Oracle, MySQL, PostgreSQL, SQL Server, ...
SQL indexing and tuning tutorial for developers. No unnecessary database details—just what developers need to know. Covers all major SQL databases.
Увидела свет первая версия pandas: pandas 1.0.0rc0. К этому знаменательному событию ребята также обновили сайт с документацией: https://pandas.pydata.org/pandas-docs/version/1.0.0/. Теперь он выглядит приятно и не вызывает рвотного рефлекса :)
Это не финальная версия релиза, а первый релиз-кандидат, поэтому библиотека может вести себя нестабильно.
Из прикольного, в версии 1.0 появился метод .to_markdown у объекта DataFrame.
Чтобы поиграться:
pip install pandas==1.0.0rc0
Это не финальная версия релиза, а первый релиз-кандидат, поэтому библиотека может вести себя нестабильно.
Из прикольного, в версии 1.0 появился метод .to_markdown у объекта DataFrame.
Чтобы поиграться:
pip install pandas==1.0.0rc0
Forwarded from DataEng
Всем привет!
На сайте Dice вышла статья о том, что 2020 год должен стать годом Data Engineer: 2020: The Year of the Citizen Data Engineer
В заметке есть интересная ссылка на исследование от LinkedIn: 2020 Emerging Jobs Report, где дата инженер занимает почетное 8 месте с годовым приростом спроса аж на 38%. Отчёт актуален для рынка США.
Из наиболее популярных навыков для дата инженера упоминаются:
- Apache Spark
- Hadoop
- Python
- SQL
- ETL
- Amazon Web Services
Самое время углубиться в эту интересную и важную профессию цифрового века. А узнать как стать дата инженером поможет моя прошлогодняя статья: Как стать Data Engineer.
На сайте Dice вышла статья о том, что 2020 год должен стать годом Data Engineer: 2020: The Year of the Citizen Data Engineer
В заметке есть интересная ссылка на исследование от LinkedIn: 2020 Emerging Jobs Report, где дата инженер занимает почетное 8 месте с годовым приростом спроса аж на 38%. Отчёт актуален для рынка США.
Из наиболее популярных навыков для дата инженера упоминаются:
- Apache Spark
- Hadoop
- Python
- SQL
- ETL
- Amazon Web Services
Самое время углубиться в эту интересную и важную профессию цифрового века. А узнать как стать дата инженером поможет моя прошлогодняя статья: Как стать Data Engineer.
Dice Insights
2020: The Year of the Citizen Data Engineer
Data sophistication has forever and profoundly changed the way in which companies do business today. Data-driven innovation has led to better business decisions, enhanced customer engagement, and improved customer retention, all of which are essential to…
В официальном devguide CPython обновилась информация о работе сборщика мусора: https://devguide.python.org/garbage_collector/
Выделите 20-30 минут на чтение, чтобы лучше разобраться как работает очищение памяти в Python.
Выделите 20-30 минут на чтение, чтобы лучше разобраться как работает очищение памяти в Python.
Гугл выпустил новый сервис по поиску датасетов, пока в бета, но что-то годное для работы уже можно найти: https://datasetsearch.research.google.com/
Интересное в сети
Давненько я не делал постов из серии рекомендаций на интересных авторов в IT.
Рекомендую вам отличный блог девушки по имени Chelsea Troy. Она пишет регулярно (в отличии от меня).
Сейчас она в процессе написания цикла статей про реализацию алгоритма Raft на Python по мотивам мастер-класса от Дэвида Бизли: https://chelseatroy.com/2019/12/20/the-raft-algorithm-what-why-and-how/
Все слышали про знаменитый курс SICP от MIT и одноименную книгу? Челси прошла мастер-класс от того же Бизли и забабахала серию статей. Начало SICP, Introduction: On Learning the Abstract.
Другой не менее интересный автор Ruslan Spivak. Руслан в 2015 году начал серию постов о том как создать свой интерпретируемый язык программирования на Python :)
Ссылка на первый пост: Let’s Build A Simple Interpreter. Part 1.. Статья написана в июне 2015 года, а последний пост вышел в августе 2019. Недавно в твиттере Руслана появилась информация, что совсем скоро будет ещё один
Отдельных аплодисментов заслуживает Eli Bendersky, который регулярно ведёт блог с 2003 года. Не буду выделять какие-то конкретные его работы. Весь блог это сплошной must read.
Давненько я не делал постов из серии рекомендаций на интересных авторов в IT.
Рекомендую вам отличный блог девушки по имени Chelsea Troy. Она пишет регулярно (в отличии от меня).
Сейчас она в процессе написания цикла статей про реализацию алгоритма Raft на Python по мотивам мастер-класса от Дэвида Бизли: https://chelseatroy.com/2019/12/20/the-raft-algorithm-what-why-and-how/
Все слышали про знаменитый курс SICP от MIT и одноименную книгу? Челси прошла мастер-класс от того же Бизли и забабахала серию статей. Начало SICP, Introduction: On Learning the Abstract.
Другой не менее интересный автор Ruslan Spivak. Руслан в 2015 году начал серию постов о том как создать свой интерпретируемый язык программирования на Python :)
Ссылка на первый пост: Let’s Build A Simple Interpreter. Part 1.. Статья написана в июне 2015 года, а последний пост вышел в августе 2019. Недавно в твиттере Руслана появилась информация, что совсем скоро будет ещё один
Отдельных аплодисментов заслуживает Eli Bendersky, который регулярно ведёт блог с 2003 года. Не буду выделять какие-то конкретные его работы. Весь блог это сплошной must read.
На образовательной платформе edX появился бесплатный курс по контейнерам в AWS: https://www.edx.org/course/building-containerized-applications-on-aws
Если вы также как и я активно используете PyCharm для создания приложений на Python, то ребята из JetBrains совсем недавно проводили очень крутой вебинар по продвинутой отладке в PyCharm: смотреть
YouTube
Advanced Debugging in PyCharm
PyCharm's debugger is one of its most popular features. But many just stick to the basics and don't learn intermediate and advanced features.
In this webinar, two of PyCharm's core developers who work on the #debugger show its less-known but powerful features…
In this webinar, two of PyCharm's core developers who work on the #debugger show its less-known but powerful features…
Какой формат курсов вам нравится?
Anonymous Poll
24%
Текстовые курсы
22%
Видео курсы
57%
Микс (текст + видео)
6%
Не люблю курсы
Нашел сайт с коллекцией видео с различных конференций. По сути это большой тематический каталог с функцией подписки на интересующие вас темы и конференции.
Вот, например, список всех доступных видео с различных Python конф: https://tulu.la/events/?past=show&search=Python&videos=true
Вот, например, список всех доступных видео с различных Python конф: https://tulu.la/events/?past=show&search=Python&videos=true
tulu.la
Tulula
Run virtual events with your community.
Гвидо Ван Россум подготовил небольшую заметку для тех, кто хочет начать контрибьютить в CPython: https://paper.dropbox.com/doc/Contributing-to-CPython-JlgnduI6kw9MJIaGPpN9G
Dropbox Paper
Contributing to CPython
Let’s update this doc with new things we’ve learned, while focusing on keeping it easy to read for brand new contributors. Note that I made this doc non-editable because someone as a joke archived it.
У Vas3k вышла очередная крутая статья, на этот раз про Дополненную реальность: http://bit.ly/2HCHjP6
vas3k.blog
Дополненная Реальность
Большой пост об устройстве AR. Какие железки, камеры и алгоритмы мы используем для стабильного трекинга, как предсказываем освещение на сцене, как вырезаем людей, и куда это всё вообще катится.