Друзья!
10 минут остается до начала нашей регулярной площадки по миграции на Hadoop 3 ⏳.
Присоединяйтесь!

Ссылка на запись встречи.

Дорогие друзья! 🌦

Приглашаем вас на онлайн-митап SberProfi DWH/BigData, который состоится 6 сентября 2022 года.
Начало в 14:30.

👉 Подключиться 👈


Повестка:

1. Матыцин С.: «Фреймворк AT SDP Hadoop: пример использования при тестировании прикладных приложений» (подробнее – в Confluence)
2. Бирзнек М., Савин О.: «Cервис автоматизации XOps: полезный инструментарий для витрин и ML-моделей» (подробнее – в Confluence)
3. Радионов М.: «Тестирования HDFS на нескольких ДЦ» (подробнее – в Confluence)



Вопросы можно будет задать в чате во время выступления докладчиков.

До встречи на митапе!


С уважением,
DWH/BigData 💚

#втренде #Выпуск7

Apache TVM ⎋ повышает эффективность работы ML засчет компилирования под CPU, GPU, FPGA и другие ML-акселераторы, в т.ч. внутри баузеров (edge computing!). Поддерживает random forests/classical ML, memory planning, MISRA-C, Python, ... напоминает TensorFlowXLA ⎋

Apache StreamPark ⎋ - новый фреймворк, позволяющий отделить бизнес-логику от конфигурации Spark и Flink и таким образом увеличить скорость разработки и вывода в ПРОМ.

Visual Data Preparation ⎋ - ETL для неструктурированных данных (картинки, видео), позволяет привести их в анализируемые AI/ML-данные. Под капотом - микросервисная архитектура, Triton Inference Server, Temporal (workflow engine) и Airbyte (коннекторы).

SurrealDB ⎋ - опенсорс-бессерверная база под OLTP-нагрузки с поддержкой аналитических нагрузок. Интересно, как работает их движок.

Data Mesh в Netflix ⎋ в своем тех.блоге описывают  платформу данных и то, как подход дата-меш помог прийти к лучшему качеству, создать каталог данных и трэчить линедж.

PS: 3-6 октября проходит ApacheCon ⎋. Доклады - топ!

Коллеги, добрый день! 🐝

В продолжение рубрики #втренде просим вас пройти краткий опрос ⬆️⬆️⬆️.

Спасибо!

Коллеги!
Ровно через 10 минут встречаемся на нашем 29-м митапе ⌛️🏃🏻‍♂️🏃🏻‍♀️.

Очень ждем! 🙌🏻

Ссылка на новость на Confluence (материалы + запись встречи).

Дорогие коллеги! 🍁🍂

Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на SDP Hadoop.
Для формирования повестки просим оставлять свои вопросы здесь.

Мероприятие состоится 9 сентября 2022 г. Начало в 15:00.

Повестка:

• Орлов С. (SberData): “Дополнительная коммуникация по смещениям для дат до 1900 года при работе с Hive и Spark”



👉 Ссылка для подключения 👈

Во время выступления спикеров вопросы можно будет задавать в чате.


Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.

Спасибо и до встречи!


С уважением,
команда DWH/BigData 💚

Дорогие друзья!

Спешим представить вам подкаст, который команда нашего сообщества выпустила в последний день лета.
Это уже 3-й выпуск комьюнити; его посвятили теме Графовой платформы Сбера.

👉 СЛУШАТЬ ПОДКАСТ 👈

В записи приняли участие: Поздняков Илья (руководитель управления по AI-технологиям, одной из которых является графовая платформа, лидер SberProfi DWH/BigData), Булавин Алексей (владелец продукта), Абрашкина Анна и Козлова Мария (клиенты со стороны УВА и БР, соответственно).

Во время встречи коллеги поговорили об истории создания сервиса, первых клиентах и основной бизнес-задаче.
Сложности и правильные решения в начале пути, высокий CSI сегодня, планы развития, патенты – все это и многое другое спикеры обсудили во время почти часовой беседы.
По традиции модератором подкаста выступил Коньков Иван.

Коллеги, просим оставлять заявки на интересные для вас темы будущих подкастов в комментариях под новостью.

like, share, repost 🙏


С уважением,
команда DWH/BigData 💚

7 сентября самые активные по итогам первого полугодия 2022-го участники комьюнити DWH/BigData получили почетные грамоты от Вице-президента по технологическому развитию Банка Алексея Поддубного 🔥.

Награда нашла своих героев на 10-м этаже 2-го корпуса Даниловского Форта - заветные благодарности "За профессионализм и личный вклад в развитие сообщества DWH/BigData" коллеги получили из рук CDO Банка Бориса Рабиновича 🚀.

За первое полугодие были отмечены следующие коллеги: лидер комьюнити Поздняков Илья, эксперты: Гричик Михаил, Коньков Иван, Орлов Семен и участник сообщества Радионов Максим.

Коллеги, благодарим вас за труды, неравнодушие и желание приносить пользу нашему любимому SberProfi DWH/BigData на протяжении целых 3-х лет!


С надеждой на продолжение доброй традиции,
ваша команда DWH/BigData 💚

Команда, привет! ☀️

Приходите 16 сентября на Demo-Day SberData «Супермаркет данных»!

Это будет не совсем обычная встреча, а настоящий Demo-Birth-Day, ведь 17.09.2019 вышел первый релиз Супермаркета, и Demo-Day будет посвящён дню рождения продукта! 🥳🎈

Вас ждут:
• «инсайды» о создании портала
• краткий экскурс о пройденном пути и что из себя представляет продукт сейчас
• живое Демо
• опыт наших заказчиков о решениях, работающих на Супермаркете
• анонс ближайших важных изменений

Ну и, конечно, в честь дня рождения всех пришедших очно ожидают угощения, сюрпризы и живое общение с нашей командой 🎂.

Приходите поздравить команду продукта и дать ей обратную связь, коллеги будут очень рады вас видеть!

Когда: 16 сентября, 10:00 – 13:00
Очно: Кутузовский проспект 32к1, 6 этаж, переговорная 6.А.13 (корпус Е).

В домене Sigma и сети Интернет: https://meetup.sberbank.ru/event/r/rs3201851d-eff7-4f0b-bf6a-50019c633e40

Зарегистрируйтесь прямо сейчас https://public.oprosso.sberbank.ru/p/fniaucvv

До встречи!

Ссылка на запись

#втренде #Выпуск8

FineBI ⎋ - Альтернатива Tableau, сделано в Китае. В российском сообществе уже более 700 участников.

Apache Airavata ⎋ - фреймворк, созданный в результате десятка диссертаций коллег американских университетов. Позволяет создавать и управлять дата сайенс-приложениями на разных распределенных платформах вычислений - локальных кластерах, суперкомпьютерах, облаках.

Pipebird ⎋ - SaaS-платформа для обмена данными между компаниями. Может быть интересно для экосистемы и SDX.

Parseable ⎋ - платформа для хранения логов и "observability" для Cloud Native-приложений. Возможно, это решение поможет при миграции наших сервисов в k8s/OS.

subZero ⎋ - написанный на Rust фреймворк, который превратит любую SQL-базу в REST/GraphQL API.

Коллеги, приглашаем вас на масштабное онлайн-мероприятие DIS Group Forum, которое состоится 22 сентября!

Узнайте подробности и зарегистрируйтесь на сайте DIS Group Forum.
Участие бесплатное.


https://www.youtube.com/watch?v=oQFhze1-v_4

8 сентября в нашем SberProfi DWH/BigData произошло маленькое радостное событие - к нам присоединился 1000-й участник, а точнее – участница! 🎉

Тысячную отметку перешагнула Фролкина Дарья из Блока Т (ДИТ «Управление благосостоянием»):

"Я присоединилась к вашему замечательному сообществу, чтобы поскорее наращивать компетенции и не отставать от своих крутых коллег в УДиАК :). А также, чтобы присылать только самые актуальные мемы в наш уютный чатик команды" 🐱.

Страна должна знать своих героев в лицо, поэтому фото Дарьи в DWH-шной футболке прилагается :) 📸.

Всем привет! ☀️

Коллеги, если у вас есть знакомые студенты или преподаватели технических специальностей вузов, просьба поделиться с ними информацией о мероприятии 👇👇👇

Кейс-клуб МИФИ запускает чемпионат МИФИ Opportunity Cup.
Партнёром ИТ-трека выступил Сбер ✅.

Собирай свою команду, решай задачу по анализу и обработке данных и прокачивай полезные навыки!

Регистрация уже началась!

Общий анонс чемпионата: https://vk.com/cmephi?w=wall-128166631_1368

Анонс вебинара:
https://vk.com/cmephi?w=wall-128166631_1389

Канал чемпионата в телеграме:
https://news.1rj.ru/str/OpportunityCup2022

Дорогие друзья! 🍂🍁☔

Приглашаем вас на онлайн-митап SberProfi DWH/BigData (30-й по счету 😊), который состоится 26 сентября 2022 года.
Начало в 14:30.

👉 Подключиться 👈


Повестка:
Васильев П. (SberData): Безопасное хранение и использование секретного слова при кодировании и декодировании зашифрованных параметров


Вопросы можно будет задать в чате во время выступления докладчиков.

До встречи на митапе!


С уважением,
DWH/BigData 💚

#втренде #Выпуск9

Hadoop Vectored IO 🔥 будет в Hadoop 3.4 и может ускорить Hive в 2 раза. "Vectored read" - новая фича HDFS, расширяющая класс FSDataInputStream.

Apache Sedona добавляет поддержку геоданных в Spark и Flink. Работает в 10 раз быстрее других фреймворков, использует меньше памяти. Проект на рубеже перехода из инкубатора в Top Level Project.

Borch - поверх PyTorch сделан новый язык разработки класса вероятностного программирования для решения продвинутых задач машинного обучения. Статья на arXiv.

Apache Science Data Analytics Platform (SDAP) - по сути это платформа и архитектурная концепция для Лаборатории данных, интегрирующая разрозненные компоненты для поиска, визуализации и ML-подсказок, а также - эмоциональный клей в превосходный UX по анализу данных. Ее особенность в том, что она заточена под юз кейсы науки о земле. Может вдохновить нюансы развития наших проудуктов.

Apache Atlas расширение и альтернативный UI - известны ограничения Atlas, появляются попытки их обойти для использования в крупных компаниях. Установить можно из github.