Бесплатный вебинар «Как запустить проект в Kubernetes за 60 минут» от Mail․ru Cloud Solutions
Kubernetes — сложная для внедрения технология, если запускать ее самостоятельно, преодолевая все подводные камни и неочевидные препятствия. Специалисты MCS помогут вам подготовиться к возможным трудностям.
На вебинаре от Mail․ru Cloud Solutions 29 апреля вы узнаете, как быстро задеплоить проект в Kubernetes за 60 минут, как справиться со всеми сложностями и настроить автоматизированный конвейер разработки приложения.
По итогам вебинара вы получите готовый репозиторий в GitHub и сможете самостоятельно повторить все действия, которые будут продемонстрированы спикером в рамках вебинара.
Мероприятие пройдет в четверг, 29 апреля, онлайн.
Начало в 17:00 по Москве.
Регистрация обязательна: https://vk.cc/c1ejXC
Kubernetes — сложная для внедрения технология, если запускать ее самостоятельно, преодолевая все подводные камни и неочевидные препятствия. Специалисты MCS помогут вам подготовиться к возможным трудностям.
На вебинаре от Mail․ru Cloud Solutions 29 апреля вы узнаете, как быстро задеплоить проект в Kubernetes за 60 минут, как справиться со всеми сложностями и настроить автоматизированный конвейер разработки приложения.
По итогам вебинара вы получите готовый репозиторий в GitHub и сможете самостоятельно повторить все действия, которые будут продемонстрированы спикером в рамках вебинара.
Мероприятие пройдет в четверг, 29 апреля, онлайн.
Начало в 17:00 по Москве.
Регистрация обязательна: https://vk.cc/c1ejXC
Планировал написать про кастомный бэкенд для XCom в Airflow, а ребята из Astronomer уже это сделали: https://www.astronomer.io/guides/custom-xcom-backends
www.astronomer.io
Custom XCom Backends
Creating a custom XCom backend with Airflow 2.0.
Воу, в Amazon Redshift появилась поддержка JSON: https://aws.amazon.com/ru/about-aws/whats-new/2021/04/announcing-general-availability-of-amazon-redshift-native-json-and-semi-structured-data-support/
Amazon
Announcing general availability of Amazon Redshift native JSON and semi-structured data support
Forwarded from Data1984
New data engineering podcast episode about Superset with author of Superset and Airflow.
Data Engineering Podcast
Data Engineering Podcast: Self Service Data Exploration And Dashboarding With Superset
An interview with Maxime Beauchemin about how to use Apache Superset as a platform for self-service data exploration and analytics.
Если вдруг вы решили апгрейднуться до Airflow 2.0, то возможно вам будет полезен гайд от бывалых https://eatcodeplay.com/upgrading-to-airflow-2-0-massive-performance-wins-and-lessons-learned-8c6a15cec8e7
Medium
Upgrading to Airflow 2.0: Massive Performance Wins and Lessons Learned
At RealScout, we use Apache Airflow to orchestrate our crucial workflows such as data ingestions, health checks, and reconciliation…
Сегодня Настя вещает про Airflow & MLFlow у себя на канале: https://bit.ly/33faORO
YouTube
Airflow и MLFlow автоматизаций пайплайнов Machine Learning / MLOps
Разверните облачный сервер для Data Science в Selectel: https://slc.tl/JSss5, получите 1000 бонусных рублей по промокоду miracl6
Новая группа про Data Science ВКонтакте https://vk.com/pymagic
Курс Data Science для начинающих PyMagic
Подробная информация…
Новая группа про Data Science ВКонтакте https://vk.com/pymagic
Курс Data Science для начинающих PyMagic
Подробная информация…
Forwarded from PyMagic
В этот субботний выходной можно и подраслабиться от кодинга https://youtu.be/UJZSk-5ZE4o
YouTube
Основные ОТЛИЧИЯ DATA ENGINEER, DATA SCIENTIST и DATA ANALYST
Канал "Лучшая рабоота" https://youtu.be/I_NQPeMM9k0
Новая группа про Data Science ВКонтакте https://vk.com/pymagic
Курс Data Science для начинающих PyMagic
Подробная информация о курсе, программа обучения по ссылке - https://pymagic.ru
Instagram* h…
Новая группа про Data Science ВКонтакте https://vk.com/pymagic
Курс Data Science для начинающих PyMagic
Подробная информация о курсе, программа обучения по ссылке - https://pymagic.ru
Instagram* h…
SQL Dashboard на Django: https://simonwillison.net/2021/May/10/django-sql-dashboard/
simonwillison.net
Django SQL Dashboard
I’ve released the first non-alpha version of Django SQL Dashboard, which provides an interface for running arbitrary read-only SQL queries directly against a PostgreSQL database, protected by the Django authentication …
А что у нас тут в пятницу произошло?
Релиз Apache Airflow 2.1. Ребята подвезли вагон интересных фич
Пакет уже доступен для установки через PyPI: apache airflow 2.1.0
Релиз Apache Airflow 2.1. Ребята подвезли вагон интересных фич
Пакет уже доступен для установки через PyPI: apache airflow 2.1.0
PyPI
apache-airflow
Programmatically author, schedule and monitor data pipelines
Ещё не читал, но решил всё таки поделиться с вами интересной статьёй: https://a16z.com/2021/05/27/cost-of-cloud-paradox-market-cap-cloud-lifecycle-scale-growth-repatriation-optimization/
Andreessen Horowitz
The Cost of Cloud, a Trillion Dollar Paradox
There is no doubt that the cloud is one of the most significant platform shifts in the history of computing. Not only has cloud already impacted hundreds of billions of dollars of IT spend, it’s still in early innings and …
Forwarded from There will be no singularity
Алибаба заопенсорсила PolarDB для посгреса. PolarDB это распределенная реляционная система управления БД, совместимая с pg, mysql и oracle. Аналог AWS Aurora.
https://github.com/alibaba/PolarDB-for-PostgreSQL
ру версия - https://www.opennet.ru/opennews/art.shtml?num=55233
по наводке @oleg_log
https://github.com/alibaba/PolarDB-for-PostgreSQL
ру версия - https://www.opennet.ru/opennews/art.shtml?num=55233
по наводке @oleg_log
GitHub
GitHub - ApsaraDB/PolarDB-for-PostgreSQL: A cloud-native database based on PostgreSQL developed by Alibaba Cloud.
A cloud-native database based on PostgreSQL developed by Alibaba Cloud. - ApsaraDB/PolarDB-for-PostgreSQL
Приглашаем на бесплатный закрытый мастер-класс "Быстрый старт в SQL" 3 июня в 19:00 от Онлайн Школы IQBI.
Мастер-класс будет полезен тем, кто создает отчетность или работает с анализом данных и статистикой, но все еще не изучил SQL.
🎓 SQL - это мощный инструмент для анализа и преобразования данных, который позволяет аналитикам, финансистам, биайщикам и даже маркетологам обращаться к различным базам данных.
У всех крупных компаний есть собственные базы данных, и чтобы создавать отчеты, дашборды и графики вам нужно правильно формулировать запросы к этим БД на языке SQL.
Сертифицированный тренер Microsoft Дмитрий Пилюгин ответит на популярные вопросы, которые возникают в начале изучения SQL:
🔹 Что такое SQL и РСУБД?
🔹 Почему знание SQL нужно аналитикам, финансистам и др.?
🔹 Какой карьерный путь открывается перед SQL-разработчиком?
🔹 Какие скрытые плюсы в том, чтобы знать SQL?
🔹 Для каких задач компании применяют SQL?
🔹 Как быстро и эффективно обучиться языку SQL
Регистрация: https://vk.cc/c2ppFx
Мастер-класс будет полезен тем, кто создает отчетность или работает с анализом данных и статистикой, но все еще не изучил SQL.
🎓 SQL - это мощный инструмент для анализа и преобразования данных, который позволяет аналитикам, финансистам, биайщикам и даже маркетологам обращаться к различным базам данных.
У всех крупных компаний есть собственные базы данных, и чтобы создавать отчеты, дашборды и графики вам нужно правильно формулировать запросы к этим БД на языке SQL.
Сертифицированный тренер Microsoft Дмитрий Пилюгин ответит на популярные вопросы, которые возникают в начале изучения SQL:
🔹 Что такое SQL и РСУБД?
🔹 Почему знание SQL нужно аналитикам, финансистам и др.?
🔹 Какой карьерный путь открывается перед SQL-разработчиком?
🔹 Какие скрытые плюсы в том, чтобы знать SQL?
🔹 Для каких задач компании применяют SQL?
🔹 Как быстро и эффективно обучиться языку SQL
Регистрация: https://vk.cc/c2ppFx
Забавное видео "Welcome to the world of Data Engineers at Netflix"
https://youtu.be/N8SJPb5JpOA
https://youtu.be/N8SJPb5JpOA
YouTube
Welcome to the world of Data Engineers at Netflix
Data-driven decision-making plays a critical role in supporting Product Innovation at Netflix. Data is at the heart of our Product Development Strategy - be it a product launch decision via rigorous experimentation or personalized recommendations with algorithms…
Онлайн конференция по разработке параллельных и распределенных систем — Hydra 2021
Несколько десятков докладов о распределенных базах данных, распределенной обработке потоков, блокчейне, отказоустойчивости распределенных систем, моделях памяти и многом другом, что относится к работе с подобными технологиями.
Среди докладов:
✔️ Маркус Куппе, «Workshop: TLA+»
Огромный воркшоп по работе с языком для дизайна распределенных систем под руководством основного разработчика среды TLA+ toolbox.
✔️ Энди Павло, «The Official Ten-Year Retrospective of NewSQL Databases»
Обзор десятилетней истории NewSQL от зарождения до современного состояния и попробует предсказать, как NewSQL изменится в будущем.
✔️ Нейтан ВанБеншотен, «Fearless Global Transactions with CockroachDB»
Доклад о том, как CockroachDB помогает работать приложениям с распределенной архитектурой.
Смотрите всю программу и покупайте билеты на https://bit.ly/2T9rVCP
👉 Если решили сходить, то используйте промокод на Personal-Standard билет: DataEng2021JRGpc
Несколько десятков докладов о распределенных базах данных, распределенной обработке потоков, блокчейне, отказоустойчивости распределенных систем, моделях памяти и многом другом, что относится к работе с подобными технологиями.
Среди докладов:
✔️ Маркус Куппе, «Workshop: TLA+»
Огромный воркшоп по работе с языком для дизайна распределенных систем под руководством основного разработчика среды TLA+ toolbox.
✔️ Энди Павло, «The Official Ten-Year Retrospective of NewSQL Databases»
Обзор десятилетней истории NewSQL от зарождения до современного состояния и попробует предсказать, как NewSQL изменится в будущем.
✔️ Нейтан ВанБеншотен, «Fearless Global Transactions with CockroachDB»
Доклад о том, как CockroachDB помогает работать приложениям с распределенной архитектурой.
Смотрите всю программу и покупайте билеты на https://bit.ly/2T9rVCP
👉 Если решили сходить, то используйте промокод на Personal-Standard билет: DataEng2021JRGpc