Ссылка на запись встречи.

Дорогие друзья! 🌦

Приглашаем вас на онлайн-митап SberProfi DWH/BigData, который состоится 6 сентября 2022 года.
Начало в 14:30.

👉 Подключиться 👈


Повестка:

1. Матыцин С.: «Фреймворк AT SDP Hadoop: пример использования при тестировании прикладных приложений» (подробнее – в Confluence)
2. Бирзнек М., Савин О.: «Cервис автоматизации XOps: полезный инструментарий для витрин и ML-моделей» (подробнее – в Confluence)
3. Радионов М.: «Тестирования HDFS на нескольких ДЦ» (подробнее – в Confluence)



Вопросы можно будет задать в чате во время выступления докладчиков.

До встречи на митапе!


С уважением,
DWH/BigData 💚

#втренде #Выпуск7

Apache TVM ⎋ повышает эффективность работы ML засчет компилирования под CPU, GPU, FPGA и другие ML-акселераторы, в т.ч. внутри баузеров (edge computing!). Поддерживает random forests/classical ML, memory planning, MISRA-C, Python, ... напоминает TensorFlowXLA ⎋

Apache StreamPark ⎋ - новый фреймворк, позволяющий отделить бизнес-логику от конфигурации Spark и Flink и таким образом увеличить скорость разработки и вывода в ПРОМ.

Visual Data Preparation ⎋ - ETL для неструктурированных данных (картинки, видео), позволяет привести их в анализируемые AI/ML-данные. Под капотом - микросервисная архитектура, Triton Inference Server, Temporal (workflow engine) и Airbyte (коннекторы).

SurrealDB ⎋ - опенсорс-бессерверная база под OLTP-нагрузки с поддержкой аналитических нагрузок. Интересно, как работает их движок.

Data Mesh в Netflix ⎋ в своем тех.блоге описывают  платформу данных и то, как подход дата-меш помог прийти к лучшему качеству, создать каталог данных и трэчить линедж.

PS: 3-6 октября проходит ApacheCon ⎋. Доклады - топ!

Коллеги, добрый день! 🐝

В продолжение рубрики #втренде просим вас пройти краткий опрос ⬆️⬆️⬆️.

Спасибо!

Коллеги!
Ровно через 10 минут встречаемся на нашем 29-м митапе ⌛️🏃🏻‍♂️🏃🏻‍♀️.

Очень ждем! 🙌🏻

Ссылка на новость на Confluence (материалы + запись встречи).

Дорогие коллеги! 🍁🍂

Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на SDP Hadoop.
Для формирования повестки просим оставлять свои вопросы здесь.

Мероприятие состоится 9 сентября 2022 г. Начало в 15:00.

Повестка:

• Орлов С. (SberData): “Дополнительная коммуникация по смещениям для дат до 1900 года при работе с Hive и Spark”



👉 Ссылка для подключения 👈

Во время выступления спикеров вопросы можно будет задавать в чате.


Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.

Спасибо и до встречи!


С уважением,
команда DWH/BigData 💚

Дорогие друзья!

Спешим представить вам подкаст, который команда нашего сообщества выпустила в последний день лета.
Это уже 3-й выпуск комьюнити; его посвятили теме Графовой платформы Сбера.

👉 СЛУШАТЬ ПОДКАСТ 👈

В записи приняли участие: Поздняков Илья (руководитель управления по AI-технологиям, одной из которых является графовая платформа, лидер SberProfi DWH/BigData), Булавин Алексей (владелец продукта), Абрашкина Анна и Козлова Мария (клиенты со стороны УВА и БР, соответственно).

Во время встречи коллеги поговорили об истории создания сервиса, первых клиентах и основной бизнес-задаче.
Сложности и правильные решения в начале пути, высокий CSI сегодня, планы развития, патенты – все это и многое другое спикеры обсудили во время почти часовой беседы.
По традиции модератором подкаста выступил Коньков Иван.

Коллеги, просим оставлять заявки на интересные для вас темы будущих подкастов в комментариях под новостью.

like, share, repost 🙏


С уважением,
команда DWH/BigData 💚

7 сентября самые активные по итогам первого полугодия 2022-го участники комьюнити DWH/BigData получили почетные грамоты от Вице-президента по технологическому развитию Банка Алексея Поддубного 🔥.

Награда нашла своих героев на 10-м этаже 2-го корпуса Даниловского Форта - заветные благодарности "За профессионализм и личный вклад в развитие сообщества DWH/BigData" коллеги получили из рук CDO Банка Бориса Рабиновича 🚀.

За первое полугодие были отмечены следующие коллеги: лидер комьюнити Поздняков Илья, эксперты: Гричик Михаил, Коньков Иван, Орлов Семен и участник сообщества Радионов Максим.

Коллеги, благодарим вас за труды, неравнодушие и желание приносить пользу нашему любимому SberProfi DWH/BigData на протяжении целых 3-х лет!


С надеждой на продолжение доброй традиции,
ваша команда DWH/BigData 💚

Команда, привет! ☀️

Приходите 16 сентября на Demo-Day SberData «Супермаркет данных»!

Это будет не совсем обычная встреча, а настоящий Demo-Birth-Day, ведь 17.09.2019 вышел первый релиз Супермаркета, и Demo-Day будет посвящён дню рождения продукта! 🥳🎈

Вас ждут:
• «инсайды» о создании портала
• краткий экскурс о пройденном пути и что из себя представляет продукт сейчас
• живое Демо
• опыт наших заказчиков о решениях, работающих на Супермаркете
• анонс ближайших важных изменений

Ну и, конечно, в честь дня рождения всех пришедших очно ожидают угощения, сюрпризы и живое общение с нашей командой 🎂.

Приходите поздравить команду продукта и дать ей обратную связь, коллеги будут очень рады вас видеть!

Когда: 16 сентября, 10:00 – 13:00
Очно: Кутузовский проспект 32к1, 6 этаж, переговорная 6.А.13 (корпус Е).

В домене Sigma и сети Интернет: https://meetup.sberbank.ru/event/r/rs3201851d-eff7-4f0b-bf6a-50019c633e40

Зарегистрируйтесь прямо сейчас https://public.oprosso.sberbank.ru/p/fniaucvv

До встречи!

Ссылка на запись

#втренде #Выпуск8

FineBI ⎋ - Альтернатива Tableau, сделано в Китае. В российском сообществе уже более 700 участников.

Apache Airavata ⎋ - фреймворк, созданный в результате десятка диссертаций коллег американских университетов. Позволяет создавать и управлять дата сайенс-приложениями на разных распределенных платформах вычислений - локальных кластерах, суперкомпьютерах, облаках.

Pipebird ⎋ - SaaS-платформа для обмена данными между компаниями. Может быть интересно для экосистемы и SDX.

Parseable ⎋ - платформа для хранения логов и "observability" для Cloud Native-приложений. Возможно, это решение поможет при миграции наших сервисов в k8s/OS.

subZero ⎋ - написанный на Rust фреймворк, который превратит любую SQL-базу в REST/GraphQL API.

Коллеги, приглашаем вас на масштабное онлайн-мероприятие DIS Group Forum, которое состоится 22 сентября!

Узнайте подробности и зарегистрируйтесь на сайте DIS Group Forum.
Участие бесплатное.


https://www.youtube.com/watch?v=oQFhze1-v_4

8 сентября в нашем SberProfi DWH/BigData произошло маленькое радостное событие - к нам присоединился 1000-й участник, а точнее – участница! 🎉

Тысячную отметку перешагнула Фролкина Дарья из Блока Т (ДИТ «Управление благосостоянием»):

"Я присоединилась к вашему замечательному сообществу, чтобы поскорее наращивать компетенции и не отставать от своих крутых коллег в УДиАК :). А также, чтобы присылать только самые актуальные мемы в наш уютный чатик команды" 🐱.

Страна должна знать своих героев в лицо, поэтому фото Дарьи в DWH-шной футболке прилагается :) 📸.

Всем привет! ☀️

Коллеги, если у вас есть знакомые студенты или преподаватели технических специальностей вузов, просьба поделиться с ними информацией о мероприятии 👇👇👇

Кейс-клуб МИФИ запускает чемпионат МИФИ Opportunity Cup.
Партнёром ИТ-трека выступил Сбер ✅.

Собирай свою команду, решай задачу по анализу и обработке данных и прокачивай полезные навыки!

Регистрация уже началась!

Общий анонс чемпионата: https://vk.com/cmephi?w=wall-128166631_1368

Анонс вебинара:
https://vk.com/cmephi?w=wall-128166631_1389

Канал чемпионата в телеграме:
https://news.1rj.ru/str/OpportunityCup2022

Дорогие друзья! 🍂🍁☔

Приглашаем вас на онлайн-митап SberProfi DWH/BigData (30-й по счету 😊), который состоится 26 сентября 2022 года.
Начало в 14:30.

👉 Подключиться 👈


Повестка:
Васильев П. (SberData): Безопасное хранение и использование секретного слова при кодировании и декодировании зашифрованных параметров


Вопросы можно будет задать в чате во время выступления докладчиков.

До встречи на митапе!


С уважением,
DWH/BigData 💚

#втренде #Выпуск9

Hadoop Vectored IO 🔥 будет в Hadoop 3.4 и может ускорить Hive в 2 раза. "Vectored read" - новая фича HDFS, расширяющая класс FSDataInputStream.

Apache Sedona добавляет поддержку геоданных в Spark и Flink. Работает в 10 раз быстрее других фреймворков, использует меньше памяти. Проект на рубеже перехода из инкубатора в Top Level Project.

Borch - поверх PyTorch сделан новый язык разработки класса вероятностного программирования для решения продвинутых задач машинного обучения. Статья на arXiv.

Apache Science Data Analytics Platform (SDAP) - по сути это платформа и архитектурная концепция для Лаборатории данных, интегрирующая разрозненные компоненты для поиска, визуализации и ML-подсказок, а также - эмоциональный клей в превосходный UX по анализу данных. Ее особенность в том, что она заточена под юз кейсы науки о земле. Может вдохновить нюансы развития наших проудуктов.

Apache Atlas расширение и альтернативный UI - известны ограничения Atlas, появляются попытки их обойти для использования в крупных компаниях. Установить можно из github. 

Дорогие коллеги!

Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на SDP Hadoop.
Для формирования повестки просим оставлять свои вопросы здесь.

Мероприятие состоится 29 сентября 2022 г. Начало в 15:00.

Повестка:
• Матыцин С. (SberData): «Деградация hdfs на mv-операции: мифы, расследование и решение»
• Ермекбаев З. (SberData): «Планы развития Ozone и SDP Compute в 2023»
• Пронин Д. (SberData): «Процессы сопровождения SDP Hadoop: что делать, чтобы проблемы решались быстро»
Платформа проведения встречи – СберМитап

👉 Ссылка для подключения 👈

Вопросы спикерам можно будет задать устно 🎤.


Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.

Спасибо и до встречи!


С уважением,
команда DWH/BigData 💚