Друзья, привет! 🍁🍂☀️

6-7, 13-14 сентября пройдет Конференция по инженерии данных SmartData 2023.

Организаторы мероприятия любезно объявили, что второй день мероприятия, 7 сентября, - Community Day с бесплатным доступом.
Спешите зарегистрироваться: 👉 ссылка 👈.

Программа второго дня конференции доступна тут.

Среди докладов:
- Платформа как продукт: разработать и внедрить сложное технологическое решение внутри компании
- Глубокое погружение в производительность запросов
- dbt — ядро современной платформы данных
- Тренды Data Engineering от DEorDIE
- Обеспечение качественных ETL на Vertica
- ML System Design Interview
- От сырого кликстрима к чистым датасетам, или История развития Feature Storage в Lamoda
- Как строилась экосистема ML в Банке
- Что делать, если DWH растет слишком быстро
- Моделирование потоков событий в эволюционирующем окружении


С уважением,
команда DWH/BigData 💚

Коллеги, привет!☀️

Поделитесь, пожалуйста, обратной связью о сервисах и продуктах SberData!🔥
Просим вас уделить 2 минуты и пройти опрос по ссылке ниже:

https://public.oprosso.sberbank.ru/p/9cwpqr1n

Напоминаем, что положительная оценка начинается с 7 баллов ✅.

Спасибо!

Заранее спасибо!

С уважением,
команда DWH/BigData 💚

Друзья, привет! 🍁🍂

Не так давно прошел Beam Summit 2023, чьи записи уже есть в открытом доступе.

Apache Beam is an open-source, unified programming model for batch and streaming data processing pipelines that simplifies large-scale data processing dynamics.

Apache Beam - фасад над Flink, Spark Streaming, Samza, Google DataFlow и др., унифицирующий чаще потоковую, нежели пакетную обработку данных.

Среди 58 докладов

- Simplifying Speech-to-Text Processing with Beam
- Using Large Language Models in Data Engineering Tasks
- Optimizing Machine Learning Workloads on Dataflow
- Deduplicating and analysing time-series data with Beam and QuestDB
- Unbreakable & Supercharged Beam Apps with Scala + ZIO
- Hot Key Detection and Handling in Beam Pipelines
- Power Realtime Machine Learning Feature Engineering with Managed Beam at LinkedIn
- Use Apache Beam to build Machine Learning Feature System at Affirm
- Dealing with order in streams using Apache Beam
- Running Beam Multi Language Pipeline on Flink Cluster on Kubernetes
- Machine Learning Platform Tooling with Apache Beam on Kubernetes
- Building Fully Managed Service for Beam Jobs with Flink on Kubernetes
- Per Entity Training Pipelines in Apache Beam
- Multi-language pipelines
- How to Fail with Real-time Analytics
- Scaling Public Internet Data Collection With Apache Beam
- Managed Stream Processing through Apache Beam at LinkedIn
- Streamlining Data Engineering and Visualization with Apache Beam and Power BI
- Design considerations to operate a stateful streaming pipeline as a service
- Too big to fail - a Beam Pattern for enriching a Stream using State and Timers
- Large scale data processing Using Apache Beam and TFX libraries-Olusayo Olumayode



С уважением,
команда DWH/BigData 💚

Друзья, привет!

Совместно со СберУниверситетом команда SberProfi исследует особенности работы и лучшие практики внутрикорпоративных профессиональных сообществ в разных компаниях 🧑‍🔬.

Целевая аудитория исследования:
кураторы, лидеры, комьюнити-менеджеры, деврелы, участники профсообществ.

В рамках исследования коллеги приглашают вас пройти опрос .

Опрос займет ~ 20 минут.
Пожалуйста, пройдите его до 30 сентября включительно.

Результаты исследования планируеся учесть в стратегии развития профсообществ Сбера. Итоговый отчет будет представлен на конференции СберУниверситета "Больше чем обучение".

А в качестве благодарности прошедшим опрос будут разыграны 15 доступов к библиотеке Сбера Lib: более 100 томов бизнес-литературы ведущих мировых авторов. Книги можно читать в удобном приложении в офлайне или подарить этот доступ вашим близким!

✨Пройти опрос


С уважением,
команда DWH/BigData 💚

Друзья, привет!
Будем рады видеть вас на очередном митапе нашего комьюнити!

🗣️ Повестка:

1. Давыдов Б.: Использование больших языковых моделей на этапе подготовки описания дата-продуктов
2. Пантюшин А., Белкин М., Ермилов И.: Hot stories ПИМ
3. Захарин И, Цыпин К.: Kerberos в Openshift

🗓️ 5 октября
⏰ 14:00-15:30
💌 СберМитап, приглашение в почте

🤔 Коллеги, если по каким-то причинам вы еще не получаете новостную рассылку SberProfi DWH/BigData, пожалуйста, пишите нашему КМ Габискирия Бэлле bvgabiskiriya@sberbank.ru.


С уважением,
команда DWH/BigData 💚

Друзья, привет! 🍁

Мы без ложной скромности утверждаем, что SberProfi DWH/BigData - космос 🪐!
Согласитесь, заявка серьезная?

И, чтобы не быть голословными, представляем вашему вниманию серию стикеров от команды комьнити, скачать которую можно по ссылке: https://news.1rj.ru/str/addstickers/dwhbigdata_work 🚀!
Пользуйтесь с удовольствием!


С уважением,
команда DWH/BigData 💚

Друзья, привет! 🍂

Спешим сообщить вам, что на следующей неделе состоится целых два online-мероприятия, посвященных данным и производительным решениям, зарегистрироваться на которые можно совершенно бесплатно.

🔸 16-19 октября пройдет Coalesce 2023 - The Data Analytics Engineering Conference от создателей DBT (Data Build Tool - acts as an orchestration layer on top of your data warehouse to improve and accelerate your data transformation and integration process).

Зарегистрироваться можно 👉 по ссылке 👈.

Среди докладов:

- An introduction to the dbt Semantic Layer
- Analyze petabytes of real-time data with Amazon Redshift and dbt Cloud
- Banking on the future: Fifth Third’s real-world data modernization journey
- Using data pipeline contract to prevent breakage in analytics reporting
- Data is life: How TOCA football keeps their eye on the ball with dbt and data observability
- The new-look dbt Semantic Layer, powered by MetricFlow
- Warehouse-first data strategy at ClickUp
- 10 steps to successfully sell the vision of Data Mesh
- Getting the data model right the FIRST time
- No compromises: Analytics engineering on the Lakehouse
- Need for speed (and less spending): The story of finance data at Snowflake
- dbt turbocharge: Boosting performance of your data models
- Learnings and practices for dbt at scale
- New Girl, but Jess is a chatbot: AI joins the data team's loft
- Scaling dbt models for CDC on large databases
- Advanced testing practices in dbt
- The need for an open standard for semantic layer
- AI dashboard karaoke
- From data to insights: A crash course on data transformations using Snowflake and dbt Cloud
- The more, the merrier: Managing a dynamic, expanding, self-service dbt project
- Activate the full potential of your dbt projects: A deep dive with Avenue One and Atlan
- Overhauling tech debt: A modern data stack migration journey

🔹 18-19 октября состоится P99 Conf - конференция по построению производительных решений.

Зарегистрироваться можно
👉 по ссылке 👈.

Среди докладов:

- Distributed System Performance Troubleshooting Like You’ve Been Doing It for 20 Years
- Writing Low Latency Database Applications Even if Your Code Sucks
- Cost-Effective Burst Scaling For Distributed Query Execution
- From 1M to 1B Features Per Second: Scaling ShareChat's ML Feature Store
- MySQL Performance on Modern CPUs: Intel vs AMD vs ARM
- Mitigating the Impact of State Management in Cloud Stream Processing Systems
- Adventures in Thread-per-Core Async with Redpanda and Seastar
- Square's Lessons Learned from Implementing a Key-Value Store with Raft
- Improving ScyllaDB Elasticity with Tablets
- Demanding the Impossible: Rigorous Database Benchmarking
- 5 Hours to 7.7 Seconds: How Database Tricks Sped up Rust Linting Over 2000X
- Architecting a High-Performance (Open Source) Distributed Message Queuing System in C++
- P99 Publish Performance in a Multi-Cloud NATS.io System
- Automatically Sharding and Scaling-out Databases on Kubernetes
- Building Low Latency ML Systems for Real-Time Model Predictions at Xandr
- Low-Latency Data Access: The Required Synergy Between Memory & Disk
- Segment-Based Storage vs. Partition-Based Storage: Which is Better for Real-Time Data Streaming?
- Taming P99 Latencies at Lyft: Tuning Low-Latency Online Feature Stores
- Unconventional Methods to Identify Bottlenecks in Low-Latency and High-Throughput Data Pipelines



С уважением,
команда DWH/BigData 💚

Что будет, если SberProfi DWH/BigData перестанет быть местом обсуждения строго рабочих задач?

Мы приглашаем вас на первый выпуск нашего нового шоу-интервью SberData Friday! Приготовьтесь к интересным гостям, резонансным темам и бурному обсуждению.

26 октября на платформе СберМитап у нас в гостях - фитнес-тренер World Class категории "Мастер" Жигалова София.

Тема: "Как ЗОЖ мешает сотрудникам SberData идти к счастливой жизни?"

🗓 26 октября
⏰ 14:00 - 15:00
🌐 СберМитап
💌 Приглашение ищите в почте



С уважением,
команда DWH/BigData 💚

ПЕРВЫЙ TOWNHALL SBERDATA 🌐

27 октября в 12:00 впервые пройдет Town Hall SberData - открытый диалог о больших данных!

🎤 Обсудим тренды в BigData, стратегию Сбера в этом направлении, расскажем про продукты SberData и проведём интересную дискуссию!

📅 Дата: 27 октября
⏰ Время: 12:00
📍 Место: Конференц-зал (БКЗ) (2.A.12) на Кутузовском, 32 (корпус Е, 2-й этаж)
⏳ Длительность: 2,5 ч.
💌 Если нужна ссылка на подключение, пишите в комментариях (оставляйте почту :))

Повестка мероприятия:

1. Датаномика: Форсайт технологий работы с данными до 2035 года (Б. Рабинович, SberData)
2. Успехи вендорозамещения в КАП (Ю. Селиванов, SberData)
3. Шок-контент: Супермаркет данных стал настолько прозрачным, что сквозь него видны отчеты о потреблении данных (С. Солдовская, SberData)
4. Образ базы данных нового поколения (А. Баллес, SberData)
5. Клиентские пути D-People (Е. Минаева, И. Фастов, SberWorks)
6. Панельная дискуссия: Управление данными - выход на качественно новый уровень
7. Сессия Q&A

Задать любой вопрос для дискуссии на TownHall можно уже сейчас здесь - https://sberdata.dialog.sberbank.ru/questions (Сигма). Ни один вопрос не оставим без ответа :)

До встречи уже в следующую пятницу!

А все новости и обновления по мероприятию ищите в наших каналах и по хэштегу #townhallsberdata

*возможны дополнения и корректировки в повестке

Друзья, ждем вас!
Приятно и полезно проведем час нерабочего времени … в рабочее время 🤭🤫🍿🎬