SberProfi DWH/BigData – Telegram
SberProfi DWH/BigData
1.06K subscribers
320 photos
9 videos
361 links
Telegram-канал SberProfi DWH/BigData 💚
Наш чат: https://news.1rj.ru/str/+6Vc_rNMJl8MzYzcy
Наша миссия: развивать компетенции по технологиям работы с данными, например, такими, как экосистема Hadoop, Teradata, Oracle DB, GreenPlum и др.
Download Telegram
Дорогие коллеги! ☔️

Приглашаем вас посетить митап SberProfi DWH/BigData, который состоится 3 августа 2023 года.
Начало в 15:00.

👉 Подключиться 👈

Повестка: 
1. Коньков Иван (SberData): BI в Банке после 2024 г. С чем и как мы будем работать?
2. Белов Алексей (SberData): Пилот ScyllaDB в Stork и Data Shaper для ускорения партицирования реплик
3. Юзеев Кирилл (SberData): Data Lineage: концепт программы для поиска источников данных в запросах к PostgreSQL


Вопросы докладчикам можно задать в онлайн-режиме в чате СберМитапа.

Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.

До встречи!

С уважением,
команда DWH/BigData 💚
👍51
Коллеги, и снова привет!

Эксперт нашего комьюнити Жемжицкий Сергей подготовил очередной выпуск полезного материала 📝:
 
Недавно прошел ежегодный Data + AI Summit 2023, посвященный данным, AI, современному стеку обработки данных и тому, как это все уживается вместе.
 
Треки конференции выложены в открытый доступ, а ссылки на playlist-ы по категориям вы можете найти ниже (всего около 300 видео):
 
🔸 [Live from the Lakehouse](https://www.youtube.com/playlist?list=PLTPXxbhUt-YXtjeARMzHPHNUINAoImMAO)
🔹 [Industry Forums](https://www.youtube.com/playlist?list=PLTPXxbhUt-YXsp4HiuoVY5cY2VOv46qtb)
🔸 [Data Sharing](https://www.youtube.com/playlist?list=PLTPXxbhUt-YUXE8Rs3LrM9qgTxVfhv2__)
🔹 [Data Governance](https://www.youtube.com/playlist?list=PLTPXxbhUt-YWga8INuoVjY-eC8jGNNhmi)
🔸 [Research](https://www.youtube.com/playlist?list=PLTPXxbhUt-YUfl8Q0o2Rhxu1gYiVMuO-h)
🔹 [DSML: Production ML / MLOps](https://www.youtube.com/playlist?list=PLTPXxbhUt-YUiD0_imErNjdh7a2gL3p-7)
🔸 [DSML: ML Use Cases / Technologies](https://www.youtube.com/playlist?list=PLTPXxbhUt-YWgWCqMYGVgNeP9bEagPc9c)
[Databricks Experience (DBX)](https://www.youtube.com/playlist?list=PLTPXxbhUt-YW6v14Vs3sTx6cyK5URKKgO)
🔹 [Data Warehousing, Analytics, and BI](https://www.youtube.com/playlist?list=PLTPXxbhUt-YVVB6Oj7dSt1Eufw-arv4u7)
🔸 [Data Streaming](https://www.youtube.com/playlist?list=PLTPXxbhUt-YWwO3LO8pMPJq4TJsDWIvYR)
🔹 [Data Strategy](https://www.youtube.com/playlist?list=PLTPXxbhUt-YUBeXp1snByZdjuh7KZOKBN)
🔸 [Data Lakehouse Architecture](https://www.youtube.com/playlist?list=PLTPXxbhUt-YWrDIMM0L62ynAT-7hUoZCZ)
🔹 [Data Engineering](https://www.youtube.com/playlist?list=PLTPXxbhUt-YUgAQxeXhvLS3lJ0D8IomCH)

Желаем вам классных выходных 🏖!
(будьте осторожны и не перегревайтесь)


С уважением,
команда DWH/BigData 💚
👍5
Дорогие коллеги, доброе летнее понедельничное утро! ☀️

Приглашаем вас посетить митап SberProfi DWH/BigData, который состоится 15 августа 2023 года.
Начало в 16:00.

👉 Подключиться 👈

Тема митапа: Входящий траффик. Механизмы ограничения, проблемы и решения
Спикер: Васильев Павел (SberData)

Вопросы докладчику можно задать в онлайн-режиме в чате СберМитапа.

Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.

До встречи!

С уважением,
команда DWH/BigData 💚
Друзья, привет! ☀️

Иногда мы пишем посты в поддержку участников сообщества и делаем анонсы дружественных нашему комьюнити ивентов (тех, что имеют отклик в сердечках нашей команды). Сейчас именно такой случай – данный пост ориентирован на сотрудников Департамента управления данными (SberData), откуда родом SberProfi DWH/BigData.

Коллеги, как вы знаете, 22 августа состоится Общее собрание сотрудников Департамента, и организаторы по-прежнему очень ждут от нас интересных видео-вопросов (в этот раз квартальная встреча полностью пройдет в онлайне).

🙋‍♀️🙋🙋‍♂️ Давайте поможем всем причастным к подготовке встречи и запишем на телефон свой вопрос, который нужно будет направить Юрию Валикову в СберЧат или другой ТГ (@EndUraNt007).

Требований немного: горизонтальный формат и отсутствие шумов в помещении :).
Если хотите задать вопрос анонимно, – переходите по этой ссылке

С уважением,
команда DWH/BigData 💚
Друзья, привет!

30 августа состоится дискуссионный Demo Day, посвященный целевым сервисам поставки не промышленных данных в ПРОМ АС. 
Начало в 11:00.

👉 ПОДКЛЮЧИТЬСЯ 👈


Повестка встречи:

• Обсудим последние тенденции в этой области, поделимся опытом работы с различными сервисами и инструментами и представим два основных банковских продукта
• Расскажем, как использовать, какие проблемы закрываем, какие планы по развитию и расширению функционала
• Подискутируем в прямом эфире и ответим на вопросы
 
Продукты:
Сервис ввода и корректировки данных КАП
DreamEA - Общебанковский сервис пилотирования AI решений

Вопросы, комментарии и пожелания пишите в группу в СберЧат.

С уважением,
команда DWH/BigData 💚
👍2
Вроде бы, уже не очень актуально, но все еще смешно 😂

#пятничный_мем_dwhbigdata
😁5👍2
Друзья, привет! 🍁🍂☀️

6-7, 13-14 сентября пройдет Конференция по инженерии данных SmartData 2023.

Организаторы мероприятия любезно объявили, что второй день мероприятия, 7 сентября, - Community Day с бесплатным доступом.
Спешите зарегистрироваться: 👉 ссылка 👈.

Программа второго дня конференции доступна тут.

Среди докладов:
- Платформа как продукт: разработать и внедрить сложное технологическое решение внутри компании
- Глубокое погружение в производительность запросов
- dbt — ядро современной платформы данных
- Тренды Data Engineering от DEorDIE
- Обеспечение качественных ETL на Vertica
- ML System Design Interview
- От сырого кликстрима к чистым датасетам, или История развития Feature Storage в Lamoda
- Как строилась экосистема ML в Банке
- Что делать, если DWH растет слишком быстро
- Моделирование потоков событий в эволюционирующем окружении


С уважением,
команда DWH/BigData 💚
👍5😢1
Коллеги, привет!☀️

Поделитесь, пожалуйста, обратной связью о сервисах и продуктах SberData!🔥
Просим вас уделить 2 минуты и пройти опрос по ссылке ниже:

https://public.oprosso.sberbank.ru/p/9cwpqr1n

Напоминаем, что положительная оценка начинается с 7 баллов .

Спасибо!

Заранее спасибо!

С уважением,
команда DWH/BigData 💚
Друзья, привет! 🍁🍂

Не так давно прошел Beam Summit 2023, чьи записи уже есть в открытом доступе.

Apache Beam is an open-source, unified programming model for batch and streaming data processing pipelines that simplifies large-scale data processing dynamics.

Apache Beam - фасад над Flink, Spark Streaming, Samza, Google DataFlow и др., унифицирующий чаще потоковую, нежели пакетную обработку данных.

Среди 58 докладов

- Simplifying Speech-to-Text Processing with Beam
- Using Large Language Models in Data Engineering Tasks
- Optimizing Machine Learning Workloads on Dataflow
- Deduplicating and analysing time-series data with Beam and QuestDB
- Unbreakable & Supercharged Beam Apps with Scala + ZIO
- Hot Key Detection and Handling in Beam Pipelines
- Power Realtime Machine Learning Feature Engineering with Managed Beam at LinkedIn
- Use Apache Beam to build Machine Learning Feature System at Affirm
- Dealing with order in streams using Apache Beam
- Running Beam Multi Language Pipeline on Flink Cluster on Kubernetes
- Machine Learning Platform Tooling with Apache Beam on Kubernetes
- Building Fully Managed Service for Beam Jobs with Flink on Kubernetes
- Per Entity Training Pipelines in Apache Beam
- Multi-language pipelines
- How to Fail with Real-time Analytics
- Scaling Public Internet Data Collection With Apache Beam
- Managed Stream Processing through Apache Beam at LinkedIn
- Streamlining Data Engineering and Visualization with Apache Beam and Power BI
- Design considerations to operate a stateful streaming pipeline as a service
- Too big to fail - a Beam Pattern for enriching a Stream using State and Timers
- Large scale data processing Using Apache Beam and TFX libraries-Olusayo Olumayode



С уважением,
команда DWH/BigData 💚
👍51
Друзья, привет!

Совместно со СберУниверситетом команда SberProfi исследует особенности работы и лучшие практики внутрикорпоративных профессиональных сообществ в разных компаниях 🧑‍🔬.

Целевая аудитория исследования:
кураторы, лидеры, комьюнити-менеджеры, деврелы, участники профсообществ.

В рамках исследования коллеги приглашают вас пройти опрос .

Опрос займет ~ 20 минут.
Пожалуйста, пройдите его до 30 сентября включительно.

Результаты исследования планируеся учесть в стратегии развития профсообществ Сбера. Итоговый отчет будет представлен на конференции СберУниверситета "Больше чем обучение".

А в качестве благодарности прошедшим опрос будут разыграны 15 доступов к библиотеке Сбера Lib: более 100 томов бизнес-литературы ведущих мировых авторов. Книги можно читать в удобном приложении в офлайне или подарить этот доступ вашим близким!

Пройти опрос


С уважением,
команда DWH/BigData 💚
👌3👍1