Введение в ksqlDB: https://www.youtube.com/watch?v=7mGBxG2NhVQ
YouTube
An introduction to ksqlDB
You've got streams of data that you want to process and store? You've got events from which you'd like to derive state or build aggregates? And you want to do all of this in a scalable and fault-tolerant manner? It's just as well that Kafka and ksqlDB exist!…
В подкасте Software Engineering Daily вышел эпизод про исследования в области распределённых систем. Гостем выпуска стал Peter Alvaro: https://softwareengineeringdaily.com/2020/05/28/distributed-systems-research-with-peter-alvaro/
Uber зарелизил библиотеку для работы с Amazon Athena на языке Go: https://eng.uber.com/introducing-athenadriver/
Для тех, кто не знает что такое Amazon Athena, велком читать мой пост про построение озера данных в AWS: https://khashtamov.com/ru/aws-data-lake/
В Python для работы с Athena можно использовать boto3, пример кода https://github.com/adilkhash/aws-meetup-almaty-2019-data-lake/blob/master/athena_query.py
Для тех, кто не знает что такое Amazon Athena, велком читать мой пост про построение озера данных в AWS: https://khashtamov.com/ru/aws-data-lake/
В Python для работы с Athena можно использовать boto3, пример кода https://github.com/adilkhash/aws-meetup-almaty-2019-data-lake/blob/master/athena_query.py
Состоялся мажорный выпуск новой версии ETL инструмента Luigi - luigi 3.0. Из глобальных изменений там только отказ от поддержки Python2 по понятным причинам. Из новых фишечек добавили лишь более удобную визуализацию статуса работы воркера (при условии, что вы обновляете прогресс).
Для тех, кто не знаком с инструментом, велком почитать мой старый пост: Строим Data Pipeline на Python и Luigi.
Несколько месяцев назад я закончил создание курса про построение дата-пайплайнов на Luigi, он находится на платформе stepik: Введение в Data Engineering: дата-пайплайны. Его купили уже более 50 специалистов, отзывы о курсе можно почитать тут
Для тех, кто не знаком с инструментом, велком почитать мой старый пост: Строим Data Pipeline на Python и Luigi.
Несколько месяцев назад я закончил создание курса про построение дата-пайплайнов на Luigi, он находится на платформе stepik: Введение в Data Engineering: дата-пайплайны. Его купили уже более 50 специалистов, отзывы о курсе можно почитать тут
GitHub
Release 3.0.0 · spotify/luigi
3.0.0
This is a major release without many feature changes compared to 2.8.13. The reason we decided to give it a major bump is the drop of Python2 support. From this version on, Luigi stops suppor...
This is a major release without many feature changes compared to 2.8.13. The reason we decided to give it a major bump is the drop of Python2 support. From this version on, Luigi stops suppor...
Случайно в поиске нашел интересный блог про изучением data engineering. Автор в основном пишет про инструменты: dbt, Kafka, debezium, airflow и т.д. Но есть статьи про поиск работы и даже практические проекты на которых можно потренировать свой скилл.
Также он ведёт свой ютуб-канал StartDataEngineering, где в основном выкладывает туториалы по теме.
Огромное уважение автору за титанический труд!
Также он ведёт свой ютуб-канал StartDataEngineering, где в основном выкладывает туториалы по теме.
Огромное уважение автору за титанический труд!
Startdataengineering
Posts
А вот ещё набор из мини-курсов от Kaggle:
- Python
- Intro to Machine Learning
- Intermediate Machine Learning
- Data Visualization
- Pandas
- Feature Engineering
- Deep Learning
- Intro to SQL
- Advanced SQL
- Geospatial Analysis
- Microchallenges
- Machine Learning Explainability
- Natual Language Processing
- Into to Game AI and Reinforcement Learning
- Python
- Intro to Machine Learning
- Intermediate Machine Learning
- Data Visualization
- Pandas
- Feature Engineering
- Deep Learning
- Intro to SQL
- Advanced SQL
- Geospatial Analysis
- Microchallenges
- Machine Learning Explainability
- Natual Language Processing
- Into to Game AI and Reinforcement Learning
Kaggle
Learn Python, Data Viz, Pandas & More | Tutorials | Kaggle
Practical data skills you can apply immediately: that's what you'll learn in these no-cost courses. They're the fastest (and most fun) way to become a data scientist or improve your current skills.
Скрещивание OLAP БД ClickHouse и стриминговых инструментов Apache Kafka и ksqlDB: https://medium.com/streamthoughts/how-to-build-a-real-time-analytical-platform-using-kafka-ksqldb-and-clickhouse-bfabd65d05e4
Medium
How to build a real-time analytics platform using Kafka, ksqlDB and ClickHouse ?
Recently at StreamThoughts, we have looked at different open-source OLAP database solutions that we could quickly experiment in a…
https://www.youtube.com/watch?v=MxiKfMocXxM & Python 🐍
YouTube
Building a Telegram bot with Apache Kafka and ksqlDB
✍️Read more: https://rmoff.dev/5e9d4
👾Try it out: https://github.com/confluentinc/demo-scene/tree/master/ksqldb-twitter/telegram_ksqldb_bots
Imagine you’ve got a stream of data; it’s not “big data,” but it’s certainly a lot. Within the data, you’ve got…
👾Try it out: https://github.com/confluentinc/demo-scene/tree/master/ksqldb-twitter/telegram_ksqldb_bots
Imagine you’ve got a stream of data; it’s not “big data,” but it’s certainly a lot. Within the data, you’ve got…
В @dataeng_chat не так давно затрагивали тему про OLAP базы, упомянул Apache Pinot, тёмную лошадку среди распределенных аналитических БД. И вот на просторах сети вышла интересная статья про анализ текста средствами Apache Pinot: https://medium.com/apache-pinot-developer-blog/text-analytics-on-apache-pinot-cbf5c45d282c
Medium
Creating a full-text search engine in Apache Pinot
Apache Pinot is a real-time distributed OLAP datastore, built to deliver scalable real time analytics with low latency.
Вполне валидный пост про сравнение Apache Pulsar с Apache Kafka: https://www.kai-waehner.de/blog/2020/06/09/apache-kafka-versus-apache-pulsar-event-streaming-comparison-features-myths-explored/
Kai Waehner
Pulsar vs Kafka - Comparison and Myths Explored - Kai Waehner
Apache Kafka versus Apache Pulsar - which one to choose? Pros and cons, popular myths, and non-technical criteria explained to solve your business problem.
как распараллелить ваш python код на лямбды? очень просто — используйте http://pywren.io/
pywren
pywren -- run your python code on thousands of cores
Pywren uses AWS Lambda to effortlessly run your existing python code on thousands of machines in the cloud
Интересный обзор новых БД от автора книги Seven databases in seven weeks. Автор планирует написать 3 поста с небольшими обзорами главных фич.
Первая часть посвящена: TileDB, Materialize и Prisma. Во второй части будут разобраны EdgeDB, Tremor и Debezium (CDC). И в финальной части автор обещает сделать выводы.
Ссылка на статью: https://lucperkins.dev/blog/new-db-tech-1/
Первая часть посвящена: TileDB, Materialize и Prisma. Во второй части будут разобраны EdgeDB, Tremor и Debezium (CDC). И в финальной части автор обещает сделать выводы.
Ссылка на статью: https://lucperkins.dev/blog/new-db-tech-1/
A Brief History of Dask: https://coiled.io/blog/history-dask.html
Dask может быть лучшей альтернативой Apache Spark
Dask может быть лучшей альтернативой Apache Spark
Если вы сейчас рассматриваете предложения о работе и в частности в сфере data engineering, то на сайте remotelist.ru есть отдельная категория DataOps: https://remotelist.ru/category/dataops-jobs/
Если лень постоянно заходить на сайт, то можно подписаться на RSS этой категории: https://remotelist.ru/feed/category/dataops/
Также есть телеграм канал: @remotelist и бот @RemoteListBot
P.S. проект мой, пожелания и предложения можно оставлять в комментариях 😊
Если лень постоянно заходить на сайт, то можно подписаться на RSS этой категории: https://remotelist.ru/feed/category/dataops/
Также есть телеграм канал: @remotelist и бот @RemoteListBot
P.S. проект мой, пожелания и предложения можно оставлять в комментариях 😊
remotelist.ru
Вакансии DataOps на Remotelist.ru
Вакансии DataOps. Вакансии удалённой работы на remotelist.ru
Вышла новая версия Apache Spark 3: https://spark.apache.org/releases/spark-release-3-0-0.html