Airbyte - ETL ELT Data Pipelines – Telegram
Airbyte - ETL ELT Data Pipelines
284 subscribers
3 photos
47 links
@data_engineer_path - Data Engineering

Airbyte - ETL ELT Data Pipelines. Data Engineering practices. Airbyte – простота и гибкость в интеграции данных
Download Telegram
The Open Source Data Platform - Airbyte

In Part 2: We are going to build on top of the best orchestration tool on the market, in my opinion, Prefect; while using Airbyte to perform lifts and shifts of data around our databases to ensure data parity and consistency in our Data Platform.

https://kjhealey.medium.com/the-open-source-data-platform-33ff5da0b2db
https://movedata.airbyte.com/

Есть такие ребята Airbyte (https://airbyte.com), конкуренты Airflow, запускатор по расписанию, опенсорсный бесплатный и платный у них в облаке.
Так вот они решили организовать конференцию по Data Engineering.
Есть только даты (8-10 Ноября) и ссылка на Slack, программы пока нет.

Возможно, будет что-то интересное. А может и нет. Just FYI.

P.S. Аудитория подсказывает, что ближайшие конкуренты это Fivetran, Stitch или Hevo. Спасибо @nikbeesti


@ohmydataengineer
Catalog of Data Integration Connectors | Airbyte

With over 170+ connectors in our catalog Airbyte is addressing the long tail of connectors so your team doesn’t have to.

https://airbyte.com/connectors
1
Через 30 минут начнётся move data конференция (в 21 по мск)

https://movedata.airbyte.com/
Airbyte - move(data) '22

Видео с конференции

https://youtube.com/playlist?list=PLgyvStszwUHjko19Z3PxkBxApbxgVjWp8
How to create your own Airbyte connector and pull data from Discord API

In this tutorial, we are going to explain how to create an Airbyte source connector for 3 endpoints of the Discord API using Airbyte’s CDK framework.

Among the advantages provided by the cdk system we can mention:
▫️Abstract ourselves from the code handling the connection.
▫️A vast number of pre-designed connectors.
▫️A series of tools to create both a source and a destination with ease.

https://www.fortisoft.io/how-to-create-your-own-airbyte-connector-and-pull-data-from-discord-api/
1