Meltano: Your DataOps OS
Meltano is open source, self-hosted, CLI-first, debuggable, and extensible.
Pipelines are code, ready to be version controlled, containerized, and deployed continuously. Develop and test locally, then deploy in production along with the built-in Airflow integration, or inside your orchestrator of choice.
Meltano embraces the Singer standard and its community-maintained library of open source extractors and loaders, and leverages dbt for transformation.
https://gitlab.com/meltano/meltano
Meltano is open source, self-hosted, CLI-first, debuggable, and extensible.
Pipelines are code, ready to be version controlled, containerized, and deployed continuously. Develop and test locally, then deploy in production along with the built-in Airflow integration, or inside your orchestrator of choice.
Meltano embraces the Singer standard and its community-maintained library of open source extractors and loaders, and leverages dbt for transformation.
https://gitlab.com/meltano/meltano
GitLab
Meltano / Meltano · GitLab
This project was migrated to GitHub. Meltano: The DataOps OS — Open source, self-hosted, CLI-first, debuggable,...
❤1
Channel about Airbyte - ETL ELT Data Pipelines. Data Engineering practices.
https://news.1rj.ru/str/airbyte
https://news.1rj.ru/str/airbyte
Telegram
Airbyte - ETL ELT Data Pipelines
@data_engineer_path - Data Engineering
Airbyte - ETL ELT Data Pipelines. Data Engineering practices. Airbyte – простота и гибкость в интеграции данных
Airbyte - ETL ELT Data Pipelines. Data Engineering practices. Airbyte – простота и гибкость в интеграции данных
❤1
APACHE AIRFLOW: Sending email notifications - Knoldus Blogs
https://blog.knoldus.com/apache-airflow-sending-email-notifications/
https://blog.knoldus.com/apache-airflow-sending-email-notifications/
NashTech Blog
APACHE AIRFLOW: Sending email notifications - NashTech Blog
If you are reading this blog I assume you are already familiar with the DAG creation in Apache Airflow. If not, please visit “Dag in Apache Airflow”. This blog explains: – Sending email notifications using EmailOperator. – Sending email notification when…
Data Engineer is now the new star. Is that the death of Business Intelligence Engineer? | by Lan Chu | Apr, 2022 | Medium
https://medium.com/@huonglanchu0712/data-engineer-is-now-the-new-star-is-that-the-death-of-business-intelligence-engineer-39461225473a
https://medium.com/@huonglanchu0712/data-engineer-is-now-the-new-star-is-that-the-death-of-business-intelligence-engineer-39461225473a
Medium
Data Engineer is now the new star. Is that the death of Business Intelligence Engineer?
Suddenly there is this Big Data movement. Data Engineers are the new stars. This post explains the skills gap to transition from BI to DE.
Bas_P_Harenslak,_Julian_Rutger_de_Ruiter_Data_Pipelines_with_Apache.pdf
21.4 MB
Data Pipelines with Apache Airflow.pdf
2021 by Manning Publications
2021 by Manning Publications
🔥1
Отправка сообщений в Slack
Basic Usage — slackclient (Legacy Python Slack SDK)
https://slack.dev/python-slackclient/basic_usage.html
Basic Usage — slackclient (Legacy Python Slack SDK)
https://slack.dev/python-slackclient/basic_usage.html
Python_и_DevOps_Ключ_к_автоматизации_Linux_etc_z_lib_org.pdf
7.5 MB
Python и DevOps: Ключ к автоматизации Linux
Гифт Ной, Берман Кеннеди, Деза Альфредо, Георгиу Григ
За последнее десятилетие технологии сильно изменились. Данные стали хитом, облака — вездесущими, и всем организациям понадобилась автоматизация. В ходе таких преобразований Python оказался одним из самых популярных языков программирования. Это практическое руководство научит вас использовать Python для повседневных задач администрирования Linux с помощью наиболее удобных утилит DevOps, включая Docker, Kubernetes и Terraform.
Гифт Ной, Берман Кеннеди, Деза Альфредо, Георгиу Григ
За последнее десятилетие технологии сильно изменились. Данные стали хитом, облака — вездесущими, и всем организациям понадобилась автоматизация. В ходе таких преобразований Python оказался одним из самых популярных языков программирования. Это практическое руководство научит вас использовать Python для повседневных задач администрирования Linux с помощью наиболее удобных утилит DevOps, включая Docker, Kubernetes и Terraform.
DevOps_для_современного_предприятия_Мирко_Херинг_z_lib_org.pdf
3.2 MB
DevOps для современного предприятия (Мирко Херинг).pdf
DevOps – методика автоматизации рабочих процессов, существенно облегчающая задачи организации и способствующая действенным преобразованиям. Мирко Херинг, менеджер со стажем, рассказывает о том, как избежать распространенных ошибок на пути внедрения инноваций и добиться успеха в долгосрочной перспективе.
В первой части книги обсуждается экосистема предприятия, формирующая благоприятные условия для преобразований. Вторая часть посвящена работе с людьми, управлению ИТ-командой, внедряющей изменения, и выстраиванию рабочих процессов. В третьей части описываются технологические и архитектурные аспекты применения DevOps. В конце каждой главы приводятся практические упражнения.
Издание предназначено для менеджеров и ИТ-специалистов, занимающихся DevOps-проектами в организациях разного уровня.
DevOps – методика автоматизации рабочих процессов, существенно облегчающая задачи организации и способствующая действенным преобразованиям. Мирко Херинг, менеджер со стажем, рассказывает о том, как избежать распространенных ошибок на пути внедрения инноваций и добиться успеха в долгосрочной перспективе.
В первой части книги обсуждается экосистема предприятия, формирующая благоприятные условия для преобразований. Вторая часть посвящена работе с людьми, управлению ИТ-командой, внедряющей изменения, и выстраиванию рабочих процессов. В третьей части описываются технологические и архитектурные аспекты применения DevOps. В конце каждой главы приводятся практические упражнения.
Издание предназначено для менеджеров и ИТ-специалистов, занимающихся DevOps-проектами в организациях разного уровня.
Docker_на_практике_Иан_Милл,_Эйдан_Хобсон_Сейерс_z_lib_org.pdf
8.8 MB
Docker на практике (Иан Милл, Эйдан Хобсон Сейерс).pdf
Данная книга научит вас надежным, проверенным методам, используемым Docker, таким как замена виртуальных машин, использование архитектуры микросервисов, эффективное моделирование сети, произво дительность в автономном режиме и создание процесса непрерывной доставки на базе контейнеров. Следуя формату «проблема/решение» в стиле поваренной книги, вы изучите реальные варианты использования Docker и узнаете, как применить их к собственным проектам.
Издание предназначено разработчикам, использующим Docker в своем рабочем окружении.
Данная книга научит вас надежным, проверенным методам, используемым Docker, таким как замена виртуальных машин, использование архитектуры микросервисов, эффективное моделирование сети, произво дительность в автономном режиме и создание процесса непрерывной доставки на базе контейнеров. Следуя формату «проблема/решение» в стиле поваренной книги, вы изучите реальные варианты использования Docker и узнаете, как применить их к собственным проектам.
Издание предназначено разработчикам, использующим Docker в своем рабочем окружении.