Postgres.app — это полнофункциональная установка PostgreSQL, упакованная как стандартное приложение для Mac. Оно включает в себя всë, что нужно для начала работы, и даже включено популярное расширение PostGIS для геоданных.
Postgres.app имеет красивый пользовательский интерфейс и удобное меню. Нет необходимости прикасаться к командной строке, чтобы использовать еë, но, конечно же, включены все необходимые инструменты командной строки и заголовочные файлы для опытных пользователей.
#macos #apple #postgres #database #db #psql #postgis
Postgres.app имеет красивый пользовательский интерфейс и удобное меню. Нет необходимости прикасаться к командной строке, чтобы использовать еë, но, конечно же, включены все необходимые инструменты командной строки и заголовочные файлы для опытных пользователей.
#macos #apple #postgres #database #db #psql #postgis
👍1
Возможности Heap Table в PostgreSQL
https://www.youtube.com/watch?v=s5f8U-fk-D8&list=PLp1ZRQgqjW_zWfGhZHpXsAEWp-zcpEO74&index=1
#postgres #database #db #psql
https://www.youtube.com/watch?v=s5f8U-fk-D8&list=PLp1ZRQgqjW_zWfGhZHpXsAEWp-zcpEO74&index=1
#postgres #database #db #psql
YouTube
Возможности Heap Table в PostgreSQL, Азат Якупов (Quadcode)
Вы узнаете:
- Как устроена Heap Table и какие метаданные ее определяют
- Что такое Table page, OIDS и CTID
- Какие задачи помогают решать TOAST таблицы и какие стратегии хранения данных в них используются
- Как устроена Heap Table и какие метаданные ее определяют
- Что такое Table page, OIDS и CTID
- Какие задачи помогают решать TOAST таблицы и какие стратегии хранения данных в них используются
Песочница для ClicHhouse: https://fiddle.clickhouse.com/
Документация к ней: https://clickhouse.com/blog/clickhouse-fiddle-sql-playground
#clickhouse #db #sql #database
Документация к ней: https://clickhouse.com/blog/clickhouse-fiddle-sql-playground
#clickhouse #db #sql #database
ClickHouse
ClickHouse Fiddle — A SQL Playground for ClickHouse
Read about how our community created a new SQL playground for ClickHouse, allowing you to run and test queries on any version!
Чужой код
Разработчика спросили, почему программисты ненавидят работать с чужим кодом. Он долго думал, как донести до обычного пользователя всю сутьпиздеца и решил привести небольшую аналогию:
Вот представь, что тебе доверили достроить за другим прорабом лабораторию на острове. Ты приходишь на объект, а там кроме недостроенного здания: огромный вентилятор (размером со здание), большой воздушный шар и комната набитая швабрами. Почесав голову, ты разбираешь этот хлам и доделываешь лабораторию. Сдаешь объект ученным, но через 5 минут они выбегают с криком: "УТЕЧКА ЯДОВИТОГО ГАЗА!!!".
- “Как так-то,блять ! Должно же работать!” - в отчаянии кричишь ты и звонишь прошлому прорабу:
- Вася, у нас ядовитый газ потёк! В чем проблема?
- Не знаю, должно было все работать. Что-то в проекте менял?
- Немного, швабры вынес...
- Швабры потолок держали!
- Что??? Что,блять , извините???
- Говорю, швабры потолок держали. Над ними цистерны с газом были. Очень тяжелые, пришлось в комнату снизу швабры напихать.
- Ты хотя бы записку на двери повесил бы, что швабры для держания потолка! У нас тут ядовитый газ течет! Что нам делать?
- Включай вентилятор. Он сдует газ с острова.
- Я его,блять , демонтировал сразу же!
- Зачем?
- Зачем ты построил 120 тонный вентилятор? Ты не мог положить ящикблядских ПРОТИВОГАЗОВ?
- Ящик противогазов искать нужно, а вентилятор у меня с прошлого заказа оставался.
- Вася, я убрал твой вентилятор! Мы тут задыхаемся!
-Херли вы тогда там делаете? Садитесь на воздушный шар и уебывайте !
Разработчика спросили, почему программисты ненавидят работать с чужим кодом. Он долго думал, как донести до обычного пользователя всю суть
Вот представь, что тебе доверили достроить за другим прорабом лабораторию на острове. Ты приходишь на объект, а там кроме недостроенного здания: огромный вентилятор (размером со здание), большой воздушный шар и комната набитая швабрами. Почесав голову, ты разбираешь этот хлам и доделываешь лабораторию. Сдаешь объект ученным, но через 5 минут они выбегают с криком: "УТЕЧКА ЯДОВИТОГО ГАЗА!!!".
- “Как так-то,
- Вася, у нас ядовитый газ потёк! В чем проблема?
- Не знаю, должно было все работать. Что-то в проекте менял?
- Немного, швабры вынес...
- Швабры потолок держали!
- Что??? Что,
- Говорю, швабры потолок держали. Над ними цистерны с газом были. Очень тяжелые, пришлось в комнату снизу швабры напихать.
- Ты хотя бы записку на двери повесил бы, что швабры для держания потолка! У нас тут ядовитый газ течет! Что нам делать?
- Включай вентилятор. Он сдует газ с острова.
- Я его,
- Зачем?
- Зачем ты построил 120 тонный вентилятор? Ты не мог положить ящик
- Ящик противогазов искать нужно, а вентилятор у меня с прошлого заказа оставался.
- Вася, я убрал твой вентилятор! Мы тут задыхаемся!
-
🤣3🥱1
Почему Data Engineering считается привлекательной профессией.
Инжиниринг данных является важной частью конвейера обработки данных, поскольку он включает в себя проектирование, создание и обслуживание инфраструктуры, которая позволяет организациям превращать данные в идеи и информировать их о принятии решений. Инженеры данных работают с большими объемами сложных данных, следя за тем, чтобы они были точными, непротиворечивыми и пригодными для использования в различных целях.
Инжиниринг данных — это высокотехнологичная и сложная область, требующая сочетания навыков программирования, проектирования систем и опыта управления данными. Способность обрабатывать огромные объемы данных и превращать их в полезные идеи — очень востребованный навык в современном мире, управляемом данными.
Спрос на квалифицированных инженеров данных продолжает расти, что делает эту карьеру прибыльной и увлекательной. Работа дата-инженеров является неотъемлемой частью многих отраслей, включая финансы, здравоохранение и технологии, предоставляя возможность работать над интересными и эффективными проектами.
Data Engineering, безусловно, является сложной и полезной областью, которая предлагает отличные перспективы трудоустройства и возможность реально изменить мир.
Инжиниринг данных является важной частью конвейера обработки данных, поскольку он включает в себя проектирование, создание и обслуживание инфраструктуры, которая позволяет организациям превращать данные в идеи и информировать их о принятии решений. Инженеры данных работают с большими объемами сложных данных, следя за тем, чтобы они были точными, непротиворечивыми и пригодными для использования в различных целях.
Инжиниринг данных — это высокотехнологичная и сложная область, требующая сочетания навыков программирования, проектирования систем и опыта управления данными. Способность обрабатывать огромные объемы данных и превращать их в полезные идеи — очень востребованный навык в современном мире, управляемом данными.
Спрос на квалифицированных инженеров данных продолжает расти, что делает эту карьеру прибыльной и увлекательной. Работа дата-инженеров является неотъемлемой частью многих отраслей, включая финансы, здравоохранение и технологии, предоставляя возможность работать над интересными и эффективными проектами.
Data Engineering, безусловно, является сложной и полезной областью, которая предлагает отличные перспективы трудоустройства и возможность реально изменить мир.
👍3
SQL и SCD: понимание медленно меняющихся измерений [Slowly Changing Dimensions]
В мире хранилищ данных обработка изменений данных измерений может быть сложной задачей. Именно здесь вступают в действие медленно меняющиеся измерения (SCD). Подход SCD позволяет вести историю изменений данных измерений с течением времени, что имеет решающее значение для многих целей анализа данных и создания отчетов.
Существует два основных типа SCD: SCD типа 1 и SCD типа 2.
SCD Тип 1: при этом подходе, когда в записи измерения происходит изменение, старая запись перезаписывается новой информацией. Этот метод прост и понятен, но он не поддерживает историю изменений данных.
SCD типа 2: в этом подходе создается новая запись для фиксации изменения, а старая запись сохраняется. Этот метод обеспечивает историческую запись изменений, что особенно полезно для отслеживания тенденций и изменений с течением времени.
Реализация подхода SCD типа 2 в SQL включает создание новой записи в таблице измерений с новым суррогатным ключом и использование исходного суррогатного ключа в качестве ссылки. Таким образом, все факты в таблице фактов могут быть связаны с правильной записью измерения, даже если со временем вносятся изменения.
В заключение, подход SCD является ценным инструментом для хранения и анализа данных. Независимо от того, выберете ли вы SCD типа 1 или SCD типа 2, важно тщательно рассмотреть требования ваших процессов анализа данных и отчетности, чтобы выбрать наилучший подход для ваших нужд. При правильной реализации SCD в SQL вы можете гарантировать, что ваши данные останутся точными, непротиворечивыми и актуальными с течением времени.
#sql #scd #dwh
В мире хранилищ данных обработка изменений данных измерений может быть сложной задачей. Именно здесь вступают в действие медленно меняющиеся измерения (SCD). Подход SCD позволяет вести историю изменений данных измерений с течением времени, что имеет решающее значение для многих целей анализа данных и создания отчетов.
Существует два основных типа SCD: SCD типа 1 и SCD типа 2.
SCD Тип 1: при этом подходе, когда в записи измерения происходит изменение, старая запись перезаписывается новой информацией. Этот метод прост и понятен, но он не поддерживает историю изменений данных.
SCD типа 2: в этом подходе создается новая запись для фиксации изменения, а старая запись сохраняется. Этот метод обеспечивает историческую запись изменений, что особенно полезно для отслеживания тенденций и изменений с течением времени.
Реализация подхода SCD типа 2 в SQL включает создание новой записи в таблице измерений с новым суррогатным ключом и использование исходного суррогатного ключа в качестве ссылки. Таким образом, все факты в таблице фактов могут быть связаны с правильной записью измерения, даже если со временем вносятся изменения.
В заключение, подход SCD является ценным инструментом для хранения и анализа данных. Независимо от того, выберете ли вы SCD типа 1 или SCD типа 2, важно тщательно рассмотреть требования ваших процессов анализа данных и отчетности, чтобы выбрать наилучший подход для ваших нужд. При правильной реализации SCD в SQL вы можете гарантировать, что ваши данные останутся точными, непротиворечивыми и актуальными с течением времени.
#sql #scd #dwh
👍3👎1
REST (Representational State Transfer) — популярный архитектурный стиль для создания веб-сервисов. Он основан на протоколе HTTP, который используется для отправки и получения запросов через Интернет. В этом сообщении блога мы рассмотрим основы запросов REST и их назначение.
Запрос REST состоит из нескольких компонентов:
Конечная точка (endpoint): конечная точка — это URL-адрес веб-службы, на которую вы отправляете запрос. Например, если вы хотите получить информацию о конкретном пользователе, конечной точкой может быть что-то вроде https://api.example.com/users/1.
Метод. Существует несколько различных методов, которые можно использовать в запросе REST, включая GET, POST, PUT и DELETE. Используемый метод зависит от того, что вы хотите делать с данными. Например, если вы хотите получить информацию, вы должны использовать запрос GET, но если вы хотите обновить информацию, вы должны использовать запрос PUT.
Заголовки. Заголовки содержат дополнительную информацию о запросе, такую как тип содержимого, данные аутентификации и т. д.
Тело. В тело вы можете включить данные, которые хотите отправить на сервер, например полезные данные JSON или XML. Это используется только с запросами POST и PUT.
Вот несколько распространенных вариантов использования каждого из методов REST:
GET: используется для получения информации с сервера.
POST: используется для отправки новых данных на сервер, например, для создания нового пользователя.
PUT: используется для обновления информации на сервере, например, для обновления имени пользователя.
УДАЛИТЬ: Используется для удаления информации с сервера, например, для удаления пользователя.
Таким образом, запросы REST являются важным инструментом для создания веб-сервисов и обмена данными через Интернет. Они позволяют отправлять данные на сервер и получать информацию взамен, используя стандартные методы HTTP и четко определенную структуру. Являетесь ли вы новичком или опытным разработчиком, понимание основ запросов REST — отличное место для начала обучения созданию веб-сервисов.
#rest #api
Запрос REST состоит из нескольких компонентов:
Конечная точка (endpoint): конечная точка — это URL-адрес веб-службы, на которую вы отправляете запрос. Например, если вы хотите получить информацию о конкретном пользователе, конечной точкой может быть что-то вроде https://api.example.com/users/1.
Метод. Существует несколько различных методов, которые можно использовать в запросе REST, включая GET, POST, PUT и DELETE. Используемый метод зависит от того, что вы хотите делать с данными. Например, если вы хотите получить информацию, вы должны использовать запрос GET, но если вы хотите обновить информацию, вы должны использовать запрос PUT.
Заголовки. Заголовки содержат дополнительную информацию о запросе, такую как тип содержимого, данные аутентификации и т. д.
Тело. В тело вы можете включить данные, которые хотите отправить на сервер, например полезные данные JSON или XML. Это используется только с запросами POST и PUT.
Вот несколько распространенных вариантов использования каждого из методов REST:
GET: используется для получения информации с сервера.
POST: используется для отправки новых данных на сервер, например, для создания нового пользователя.
PUT: используется для обновления информации на сервере, например, для обновления имени пользователя.
УДАЛИТЬ: Используется для удаления информации с сервера, например, для удаления пользователя.
Таким образом, запросы REST являются важным инструментом для создания веб-сервисов и обмена данными через Интернет. Они позволяют отправлять данные на сервер и получать информацию взамен, используя стандартные методы HTTP и четко определенную структуру. Являетесь ли вы новичком или опытным разработчиком, понимание основ запросов REST — отличное место для начала обучения созданию веб-сервисов.
#rest #api
Что такое Apache Airflow
Apache Airflow — это платформа с открытым исходным кодом для программного создания, планирования и мониторинга рабочих процессов. Он был разработан командой инженеров Airbnb и теперь поддерживается Apache Software Foundation.
🔑 Ключевые особенности
- Динамический: Airflow позволяет вам определять рабочие процессы как код, упрощая поддержку и повторное использование рабочих процессов.
- Расширяемый: Airflow имеет обширную коллекцию плагинов для расширения его функциональности, включая поддержку различных баз данных, систем обмена сообщениями и т. д.
- Масштабируемый: Airflow можно масштабировать от одного экземпляра до многоузлового кластера, что делает его подходящим для небольших и крупномасштабных вариантов использования.
- Мониторинг: Airflow предоставляет веб-интерфейс для мониторинга состояния рабочих процессов, включая прошлые и текущие экземпляры задач и журналы.
💻 Использование
Apache Airflow широко используется в различных отраслях, включая, помимо прочего:
- Инжиниринг данных: Airflow можно использовать для планирования конвейеров обработки данных и управления ими.
- Машинное обучение: Airflow можно использовать для автоматизации рабочих процессов машинного обучения, включая обучение и развертывание моделей.
- Автоматизация бизнес-процессов: Airflow можно использовать для автоматизации различных бизнес-процессов, таких как финансовая отчетность и процессы управления персоналом.
🚀 С чего начать?
Чтобы начать работу с Apache Airflow, выполните следующие действия:
1. Установите Apache Airflow
2. Определите свои рабочие процессы как код Python
3. Используйте веб-интерфейс Airflow или интерфейс командной строки для запуска, мониторинга и управления рабочими процессами.
Для получения дополнительной информации ознакомьтесь с официальной документацией Apache Airflow: https://airflow.apache.org/
#airflow #etl #elt
Apache Airflow — это платформа с открытым исходным кодом для программного создания, планирования и мониторинга рабочих процессов. Он был разработан командой инженеров Airbnb и теперь поддерживается Apache Software Foundation.
- Динамический: Airflow позволяет вам определять рабочие процессы как код, упрощая поддержку и повторное использование рабочих процессов.
- Расширяемый: Airflow имеет обширную коллекцию плагинов для расширения его функциональности, включая поддержку различных баз данных, систем обмена сообщениями и т. д.
- Масштабируемый: Airflow можно масштабировать от одного экземпляра до многоузлового кластера, что делает его подходящим для небольших и крупномасштабных вариантов использования.
- Мониторинг: Airflow предоставляет веб-интерфейс для мониторинга состояния рабочих процессов, включая прошлые и текущие экземпляры задач и журналы.
Apache Airflow широко используется в различных отраслях, включая, помимо прочего:
- Инжиниринг данных: Airflow можно использовать для планирования конвейеров обработки данных и управления ими.
- Машинное обучение: Airflow можно использовать для автоматизации рабочих процессов машинного обучения, включая обучение и развертывание моделей.
- Автоматизация бизнес-процессов: Airflow можно использовать для автоматизации различных бизнес-процессов, таких как финансовая отчетность и процессы управления персоналом.
Чтобы начать работу с Apache Airflow, выполните следующие действия:
1. Установите Apache Airflow
2. Определите свои рабочие процессы как код Python
3. Используйте веб-интерфейс Airflow или интерфейс командной строки для запуска, мониторинга и управления рабочими процессами.
Для получения дополнительной информации ознакомьтесь с официальной документацией Apache Airflow: https://airflow.apache.org/
#airflow #etl #elt
Please open Telegram to view this post
VIEW IN TELEGRAM
Apache Airflow
Home
Platform created by the community to programmatically author, schedule and monitor workflows.
DE
Олег Бартунов - Postgres 🔥 20 декабря 10:00 встреча с Олегом Бартуновым. Олег известный ведущий разработчик PostgreSQL, которым он занимается уже более 20 лет. Высококласный профи с уникальным подходом. Олег расскажет о том, как занялся разработкой postgresql…
YouTube
Олег Бартунов - Postgres, open source
#postgresql #database #opensource #programming
Благодаря нашему сообществу получаеться звать таких классных гостей 🔥 Postgres это прекрасная база данных, с хорошей лицензией и большим сообществом - поэтому postgres это прекрасный вариант как войти в мир…
Благодаря нашему сообществу получаеться звать таких классных гостей 🔥 Postgres это прекрасная база данных, с хорошей лицензией и большим сообществом - поэтому postgres это прекрасный вариант как войти в мир…