NEW BOT Телеграм, страница

https://www.youtube.com/watch?v=PS7e5qCEZ2c&feature=youtu.be

Deep Dive Into Creating a Real-Time Analytics Infrastructure for Games on AWS - AWS Online Tech Talk

Game developers need the most up-to-date information about player engagement. Speed is the key and success relies on staying in the know with real-time analytics, whether it's identifying which in-game items are most purchased, how advertising and IAP currency…

955 views11:16

Нашел прикольную базу TinyDB на Python, она документоориентированная (типа MongoDB). Написана без внешних зависимостей и интересна мне в первую очередь как предмет изучения основ проектирования БД: https://github.com/msiemens/tinydb

А вот дока к ней: https://tinydb.readthedocs.io/en/latest/

861 views05:02

https://www.infoq.com/articles/distributed-data-pipelines-apache-airflow/

InfoQ

Scalable Cloud Environment for Distributed Data Pipelines with Apache Airflow

In this article, author Lena Hall discusses how to use Apache Airflow to define and execute distributed data pipelines with an example of the workflow framework running on Kubernetes on Azure cloud platform.

783 views03:32

Pipeline Data Engineering Academy

Если вы вдруг планируете работать в Германии дата инженером, то вот наглядный гайд с ссылками на результаты опросов по средним зарплатам: https://www.dataengineering.academy/pipeline-data-engineering-academy-blog/data-engineer-salary-germany-2020

Кратко:
- Junior Data Engineer: ~€45k
- Mid-level Data Engineer: ~€65k — €70k
- Senior Data Engineer: ~€90k

Data engineer salaries in Germany 2020 - Pipeline Academy - Data Engineering Coding Bootcamp in Berlin — Pipeline Data Engineering…

TL;DR: the expected annual gross salary for a junior or mid-level data engineer in Germany is between €45.000-75.000.

Below a rundown done in August 2020 based on secondary sources from across the internet. This has been verified by our primary research…

914 views04:38

How Stream Processing Works with ksqlDB

Анимация stream processing для более наглядного понимания: https://www.confluent.io/blog/how-real-time-stream-processing-works-with-ksqldb/

Confluent

Learn how ksqlDB works, the basics of real-time stream processing, and how it works with Apache Kafka, along with introductory concepts, visuals, and code examples.

833 views11:34

Amazon Web Services, Inc.

В AWS появилась в общем доступе Time series база данных Amazon Timestream: https://aws.amazon.com/ru/about-aws/whats-new/2020/09/amazon-timestream-now-generally-available/

Amazon Timestream is now Generally Available

799 views06:15

Forwarded from Artem Pichugin

Всем привет! Уже меньше, чем через час начнется наш 4-й митап. Ссылку на трансляцию мы отправили на почту зарегистрировавшимся на Timepad, но на всякий случай дублируем и здесь: https://youtu.be/0IC9vHNZTNk

Напомню, что план мероприятия следующий:
18:00-19:00. Своя песочница – как сделать кластер для инженера данных
Артем Селезнев, Senior Data Engineer, Сбербанк

19:00-19:15. Перерыв

19:15-20:15. Data governance – что это, зачем, и с чего начать
Андрей Вихров, Главный системный аналитик, Связной

Вопросы можно будет задавать на трансляции в YouTube, либо здесь в чате. До встречи!

1.05K views14:38

Митап о Clickhouse: https://www.youtube.com/watch?v=1LVJ_WcLgF8

ClickHouse: онлайн-встреча, 1 октября 2020

997 views02:58

Смотрите "B-tree indexes - learn more about the heart of PostgreSQL" на YouTube
https://youtu.be/n5-xEEQFqPY

B-tree indexes - learn more about the heart of PostgreSQL

Talk by Anastasia Lubennikova

https://www.socallinuxexpo.org/scale/18x/presentations/b-tree-indexes-learn-more-about-heart-postgresql

This talk will offer a deep dive into the B-tree indexes architecture. It covers the newest major features of PostgreSQL…

841 views12:10

Доклады с последнего DE or DIE митапа:

- Своя песочница – как сделать кластер для инженера данных
- Data governance – что это, зачем, и с чего начать

DE or DIE #4. Артем Селезнев – Своя песочница – как сделать кластер для инженера данных

Материалы всех наших митапов: https://deordie.com
Наш чат в Telegram: https://news.1rj.ru/str/deordie_chat
Новые события сообщества DE or DIE: https://deordie.timepad.ru/events/

Автор доклада: Артем Селезнев, Senior Data Engineer, Сбербанк.

Отличные коробочные решения…

905 views10:37

Хороший доклад про базы данных от сотрудницы Яндекса: https://www.youtube.com/watch?v=YjSIdz8DnAo

04. Базы Данных – Татьяна Денисова

Во время лекции мы поговорим о том, что такое данные, какие базы данных бывают и чем они отличаются. Вы узнаете, какие особенности работы с базами данных нужно иметь в виду разработчику.Обсудим, как характеризовать, структурировать и хранить данные — с расчетом…

1.49K views06:12

Data Engineering Project: Stream Edition – Start Data Engineering

Ищите проект в области data engineering на котором можно потренироваться и чтобы не было стыдно показать при устройстве на работу?

Тогда эта статья для вас: https://www.startdataengineering.com/post/data-engineering-project-for-beginners-stream-edition/

Start Data Engineering

Stream processing differs from batch; one needs to be mindful of the system’s memory, event order, and system recovery in case of failures. However, understanding the fundamental concepts of time attributes, cluster memory, time-bounded joins, and system…

1.21K views14:58

1 comment

Гайд про XComs в Apache Airflow: https://www.youtube.com/watch?v=zw9Vy42IwG0

Getting started with XComs in Apache Airflow

Welcome in Getting started with XComs in Apache Airflow

My name is Marc Lamberti and I'm super excited to see you there.
Indeed, you are going to discover how to get started with XComs in Apache Airflow.
As you can see from the curriculum below, you are…

933 views04:28