🔥 Бесплатный курс по Luigi — Введение в Data Engineering: дата-пайплайны

Luigi это компактный инструмент для построения зависимых между собой задач на базе нескольких сущностей: Task, Target. Он идеально подойдёт там, где Airflow кажется избыточным инструментом. В далёком 2017 автор курса писал небольшой обзорный пост на Luigi в блоге: Строим Data Pipeline на Python и Luigi. С тех пор мало что изменилось в концепции инструмента, он по прежнему компактный и простой, именно в этом вся его прелесть.

🔥 Бесплатный курс про Apache Airflow

Apache Airflow 2.2: практический курс

За то время что существует курс, Apache Airflow успел обрасти множеством новых фич, которые автор планирует покрыть в будущем, возможно в виде отдельных роликов на Ютуб или в виде статей у себя в блоге.

В любом случае курс не потерял своей актуальности и может послужить неплохим введением для новичков и более опытных пользователей. Например, в курсе автор подробно разбирает как развернуть у себя на сервере production-ready Airflow, а также настроить автодеплой дагов через GitHub Actions.

#airflow

✏️ SQLMap Cheat Sheet - Commands & Examples Tutorial

🤓 🖥 GQL - Git Query Language

GQL — язык запросов с синтаксисом, который похож на SQL, с минималистичным движком для выполнения запросов к файлам .git вместо файлов базы данных.

Движок выполняет запрос на лету без необходимости создавать файлы базы данных или конвертировать файлы .git в любой другой формат.

👩‍💻 Генераторы данных

🔘Mimesis - надежный генератор данных для Python, который может создавать широкий спектр поддельных данных на различных языках.

🔘Spawner - инструмент для создания данных для разнообразных баз данных и искусственного интеллекта. Содержит широкий набор полей, включая возможность пользовательской настройки вручную.

🔘Benerator - генератор текстовых данных для оценки, тестирования и обучения ИИ-моделей.

🔘DataFactory - удобный способ создавать разнообразные наборы тестовых данных для наполнения баз данных и проверки ИИ-моделей.

🔘MockNeat - простой интерфейс для программной генерации данных в форматах json, xml, csv и sql.

🔘Faker - с помощью этого инструмента можно быстро создать фейковые данные для тестов.

Открыл для себя алмаз 💎 среди ресурсов для разработчиков - коллекция незаменимых шпаргалок! Настоящая находка для тех, кто стремится улучшить свою продуктивность и ускорить процесс написания качественного кода. ⭐️


🔜 DEV - шпаргалки для разрабов
🔜 SQL - шпаргалки для аналитиков


Эти шпаргалки - твой личный ментор, всегда под рукой. Используй их, чтобы с легкостью навигировать по сложным концепциям и кодам, сократив время на поиски ответов и повысив точность выполнения задач. 🎩


#разработчики #шпаргалки #GitHub #SQL #продуктивность

❤️ ingestr

Твой личный маг по переносу данных. Без кода, без сложностей - чистая магия! 🪄


✔️ Проще не бывает: копируй данные из своей базы в любое место всего одной командой.

🔄 Инкремент: append, merge or delete+insert без головной боли.

🐍 Установка одним тапом - и всё готово к работе!


#инструментыДляРазработчиков #безКодирования #простотаИУдобство #переносДанных #автоматизация #длинныеНеудобныеБесполезныеХэштегиКоторыеНикомуНафигНеНужны

🔥 Открываем двери для упрощённой обработки данных с dlt - data load tool

✨ Твой скрипт уже почти идеален? Сделай его волшебным с библиотекой data load tool! Без хлопот по подключениям, без лишних сервисов – просто чистая магия загрузки данных из любых источников прямо в твои руки. 🧙‍♀️

😎 Особенность? Никаких контейнеров, никаких сложностей. Импортируй dlt в свой код и вуаля - твои данные летят как по волшебству в структурированном виде! 🌪️

🎓 А ещё, dlt и dbt вместе - это как два могучих волшебника одного клана! Есть поддержка dbt из коробки

📌dlt используется под капотом у Ingestr, про который был предыдущий пост.

#Python #DataIngestion #Innovation