NEW BOT Телеграм, страница

Вакансии DataOps на Remotelist.ru

Если вы сейчас рассматриваете предложения о работе и в частности в сфере data engineering, то на сайте remotelist.ru есть отдельная категория DataOps: https://remotelist.ru/category/dataops-jobs/
Если лень постоянно заходить на сайт, то можно подписаться на RSS этой категории: https://remotelist.ru/feed/category/dataops/

Также есть телеграм канал: @remotelist и бот @RemoteListBot

P.S. проект мой, пожелания и предложения можно оставлять в комментариях 😊

remotelist.ru

Вакансии DataOps. Вакансии удалённой работы на remotelist.ru

734 viewsedited 06:19

Вышла новая версия Apache Spark 3: https://spark.apache.org/releases/spark-release-3-0-0.html

718 views21:16

https://chollinger.com/blog/2020/06/a-data-engineering-perspective-on-go-vs.-python-part-1/

A Data Engineering Perspective on Go vs. Python (Part 1)

Exploring golang - can we ditch Python for go? And have we finally found a use case for go? Part 1 explores high-level differences between Python and go and gives specific examples on the two languages, aiming to answer the question based on Apache Beam and…

683 views23:52

https://www.xenonstack.com/blog/apache-pulsar/

Xenonstack

Apache Pulsar Architecture and Benefits | Stream Processing Platform

Apache Pulsar is a powerful stream-processing platform. This is the Ultimate Guide to everything you need to know about Apache Pulser.

745 views12:33

Wanna dive into Data Engineering? Here is the list of subjects and corresponding resources you can follow. Thread 👇

Всем привет!
Нужна ваша помощь. Я решил в виде Twitter треда собрать список полезных материалов для изучения data engineering: https://twitter.com/adilkhash/status/1274757239488774144
Если вы пользуетесь Twitter, то просьба поставить лайк/сделать ретвит, это поможет распространить этот тред на большее количество людей.
Спасибо!

Twitter

Adil 🇰🇿

4.35K views18:00

https://www.youtube.com/watch?v=pqNCD_5r0IU

Forwarded from DevBrain

Scikit-Learn Course - Machine Learning in Python Tutorial

Scikit-learn is a free software machine learning library for the Python programming language. Learn about machine learning using scikit-learn in this full course.

💻 Code: https://github.com/DL-Academy/MachineLearningSKLearn
🔗 Scikit-learn website: https://scikit…

263 views05:30

DE or DIE #3 / События на TimePad.ru

Намечается очередной онлайн-митап про data engineering на русском: https://deordie.timepad.ru/event/1350632/

deordie.timepad.ru

DE or DIE – митап, сделанный дата инженерами для дата инженеров.

914 views07:52

https://blog.twitter.com/engineering/en_us/topics/infrastructure/2020/streaming-logging-pipeline-of-home-timeline-prediction-system.html

Streaming logging pipeline of Home timeline prediction system

Twitter has recently built a streaming logging pipeline that facilitates the Home Timeline ranking model training. The new pipeline not only shortens the latency but also improves the resiliency.

699 views10:09

Видео с митапа: https://youtu.be/dIDqSl7QwuM

706 views02:14

https://habr.com/ru/company/yamoney/blog/504930/

Хабр

Дата-инженеры в бизнесе: кто они и чем занимаются?

Данные — один из активов организации. Поэтому вполне вероятно, что перед вашей командой в какой-то момент могут возникнуть задачи, которые можно будет решить, ис...

735 views04:44

Forwarded from DevBrain

Годный доклад от Гриши Петрова про навыки написания читаемого кода: https://www.youtube.com/watch?v=Sge_hycXb6E

Как писать читаемый код / Григорий Петров (Evrone)

Приглашаем на TechLead Conf X 2025, которая пройдет 5 июня в Москве.
Программа, подробности и билеты по ссылке https://bit.ly/3PZN1hk
---------
Онлайн-конференция, полностью посвященная инженерным процессам и практикам TechLeadConf 2020

Тезисы и презентация:…

383 views15:54

https://www.infoq.com/presentations/distributed-systems-complexity-human-factor/

InfoQ

Why Distributed Systems Are Hard

Denise Yu covers a brief history of distributed computing, presents a survey of key academic contributions to distributed systems theory including the CAP theorem and the FLP correctness result, and digs into why network partitions are inevitable today. Yu…

1.05K views10:21

Подкаст с автором книги Database Internals Алексом Петровым: https://www.se-radio.net/2020/07/episode-417-alex-petrov-on-database-storage-engines/

884 views09:22

https://www.youtube.com/watch?v=JcBfnaojcsI

Observability for Data Pipelines: Monitoring, Alerting & Tracing Lineage • Jiaqi Liu • GOTO 2020

This presentation was recorded at GOTO Chicago 2020. #GOTOcon #GOTOchgo
http://gotochgo.com

Jiaqi Liu - Leader in Bridging the Gap between Data Science and Engineering

ABSTRACT
Data-intensive applications, with many layers of transformations and movement…

822 views05:42

Бесплатные лекции про распределённые системы от профессора Lindsey Kuper: https://www.youtube.com/playlist?list=PLNPUF5QyWU8O0Wd8QDh9KaM1ggsxspJ31

6.11K views04:07

В сети стали доступны доклады с прошедшего Airflow Summit 2020.
Безусловно все докладчики выступали удалённо (мы этот год запомним навсегда)
Из докладов, которые хотелось бы отметить:

- Advanced Apache Superset for Data Engineers
- Data engineering hierarchy of needs
- Airflow the perfect match in our analytics pipeline
- Data flow with Airflow @ PayPal

Смотреть весь плейлист

Advanced Apache Superset for Data Engineers

Maxime Beauchemin

Superset is the leading open source data exploration and visualization platform. In this talk, we’ll be presenting Superset with a focus on advanced topics that are most relevant to Data Engineers. The presentation will be largely a live…

2.49K views03:24

👍🏻 10 👎🏻

OReilly_Rebuilding_Reliable_Data_Pipelines_Through_Modern_Tools.pdf

5.6 MB

делюсь бесплатной книгой https://get.oreilly.com/ind_rebuilding-reliable-data-pipelines-through-modern-tools.html

1.32K views14:46