#втренде #Выпуск12
🔻 WunderBase [⎋](https://github.com/wundergraph/wunderbase) - бессерверная опенсорс-база выставляет GraphQL API поверх SQLite. Экономит ресурсы во время бездействия, поднимается менее чем за секунду при необходимости.
🔻 ClickHouse as a service [⎋](https://clickhouse.com/cloud) демонстрирует полностью бессерверный продукт, которым легко и дешево пользоваться. Просмотр роликов вдохновляет сделать похожее и у нас.
🔻 Apache DevLake [⎋](https://devlake.apache.org/) дебажим devops: Собирает, аггрегирует и визуализирует данные из devops-инструментария. Многое есть out of the box. С помощью этих инсайтов можно повысить продуктивность разработки и вывода ПО.
🔻 Apache Livy [⎋](https://livy.apache.org/) - многими любимый тул, ипользуемый для отладки Spark. Наблюдаются турбуленции в комьюнити - обсуждают остановку проекта из-за отсутствия активности. С другой стороны, это шанс взять под наше крыло 🫶
🔻 Apache StreamPipes [⎋](https://streampipes.apache.org/) - юзерфрендли инструмент для подключения к потокам данных и их аналитике в режиме self-service. Очень наглядный UI и много интеграций.
🔻 WunderBase [⎋](https://github.com/wundergraph/wunderbase) - бессерверная опенсорс-база выставляет GraphQL API поверх SQLite. Экономит ресурсы во время бездействия, поднимается менее чем за секунду при необходимости.
🔻 ClickHouse as a service [⎋](https://clickhouse.com/cloud) демонстрирует полностью бессерверный продукт, которым легко и дешево пользоваться. Просмотр роликов вдохновляет сделать похожее и у нас.
🔻 Apache DevLake [⎋](https://devlake.apache.org/) дебажим devops: Собирает, аггрегирует и визуализирует данные из devops-инструментария. Многое есть out of the box. С помощью этих инсайтов можно повысить продуктивность разработки и вывода ПО.
🔻 Apache Livy [⎋](https://livy.apache.org/) - многими любимый тул, ипользуемый для отладки Spark. Наблюдаются турбуленции в комьюнити - обсуждают остановку проекта из-за отсутствия активности. С другой стороны, это шанс взять под наше крыло 🫶
🔻 Apache StreamPipes [⎋](https://streampipes.apache.org/) - юзерфрендли инструмент для подключения к потокам данных и их аналитике в режиме self-service. Очень наглядный UI и много интеграций.
GitHub
GitHub - wundergraph/wunderbase: Serverless GraphQL Database built on top of Firecracker, SQLite and Prisma
Serverless GraphQL Database built on top of Firecracker, SQLite and Prisma - wundergraph/wunderbase
Что вам может пригодиться в работе, о чем хотелось бы узнать в деталях?
Anonymous Poll
6%
WunderBase
71%
ClickHouse as a service
8%
Apache Devlake
17%
Apache Livy (retirement)
29%
Apache StreamPipes
SberProfi DWH/BigData
Друзья! ☔️ Приглашаем вас на экспертную площадку SberProfi DWH/BigData, которая состоится 12 октября 2022 года. Начало в 14:00. 👉 Подключиться 👈 Тема: Общая база знаний по SPARK Спикеры: Сурпин Вадим, Белов Алексей (SberData) Вопросы спикерам можно будет…
Коллеги!
🔥 10 минут остается до нашей экспертной площадки по теме базовых знаний по Spark!
Обязательно подключайтесь и задавайте свои вопросы спикерам!
🔥 10 минут остается до нашей экспертной площадки по теме базовых знаний по Spark!
Обязательно подключайтесь и задавайте свои вопросы спикерам!
Дорогие коллеги!
Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на SDP Hadoop.
Для формирования повестки просим оставлять свои вопросы здесь.
Мероприятие состоится 21 октября 2022 г. Начало в 14:00.
Повестка:
• Мартынов А. (SberData): «Релиз SDP Hadoop 3.5.4: планы, фичи, багфиксы»
• Ермекбаев З. (SberData): «Как понять, что для хранения данных Вы можете использовать Ozone»
• Пронин Д. (SberData): «Процессы сопровождения SDP Hadoop: что делать, чтобы проблемы решались быстро»
Платформа проведения встречи – СберМитап
👉 Ссылка для подключения 👈
Вопросы спикерам можно будет задать устно 😊.
До встречи!
С уважением,
команда DWH/BigData 💚
Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на SDP Hadoop.
Для формирования повестки просим оставлять свои вопросы здесь.
Мероприятие состоится 21 октября 2022 г. Начало в 14:00.
Повестка:
• Мартынов А. (SberData): «Релиз SDP Hadoop 3.5.4: планы, фичи, багфиксы»
• Ермекбаев З. (SberData): «Как понять, что для хранения данных Вы можете использовать Ozone»
• Пронин Д. (SberData): «Процессы сопровождения SDP Hadoop: что делать, чтобы проблемы решались быстро»
Платформа проведения встречи – СберМитап
👉 Ссылка для подключения 👈
Вопросы спикерам можно будет задать устно 😊.
До встречи!
С уважением,
команда DWH/BigData 💚
Друзья!
🚀⚡️ Предлагаем вашему вниманию внешний подкаст, героем которого стала участница нашего комьюнити Мария Юшанова, управляющий директор-начальник управления Управления распространения данных (SberData).
О big data простыми словами
🎧 🎙
https://sber-koroche.mave.digital
🚀⚡️ Предлагаем вашему вниманию внешний подкаст, героем которого стала участница нашего комьюнити Мария Юшанова, управляющий директор-начальник управления Управления распространения данных (SberData).
О big data простыми словами
🎧 🎙
https://sber-koroche.mave.digital
mave · КОРОЧЕ
Подкаст «КОРОЧЕ»
"Короче" — это попытка разобраться в бесконечном потоке новостей, поговорить с героями нового времени, которые лучше других разбираются в происходящем. "Короче" — это подкаст без воды, где собраны важные и полезные советы от топовых экспертов. Финанс
Дорогие друзья!
Совсем скоро, в ноябре, наш банк перешагнет рубеж в 1️⃣8️⃣1️⃣ год!
Мы начинаем подготовку ко дню рождения, и здесь нам опять не обойтись без вас! 🥳
Если вы, как участники комьюнити DWH/BigData, подходите к одному из пунктов ниже, скорее отзывайтесь*!
Итак, мы разыскиваем 🔎:
🔹 Изобретателей Сбера
(в нашей команде есть люди, которые получили патенты за свои изобретения, причём в абсолютно любой области, не обязательно банковской)
🔹 Сотрудников нестандартных профессий
(например, женщину-инкассатора или водителя, очень возрастного сотрудника-айтишника или юного руководителя, мужчину-кассира и тд.)
🔹 Сотрудников с единичными/ уникальными профессиями
🔹 Просто интересных коллег, о которых должны узнать все 😊
💌 Собранный материал будет направлен в ДМиК для подготовки серии внутренних коммуникаций (ДУСи, Мой Сбер).
Очень ждем классные истории, которыми будем гордиться!
*информацию о себе (ФИО и обоснование) направляйте нам в почту: SberProfi_DWH_BigData@sberbank.ru в срок до 21 октября
С уважением,
команда DWH/BigData 💚
Совсем скоро, в ноябре, наш банк перешагнет рубеж в 1️⃣8️⃣1️⃣ год!
Мы начинаем подготовку ко дню рождения, и здесь нам опять не обойтись без вас! 🥳
Если вы, как участники комьюнити DWH/BigData, подходите к одному из пунктов ниже, скорее отзывайтесь*!
Итак, мы разыскиваем 🔎:
🔹 Изобретателей Сбера
(в нашей команде есть люди, которые получили патенты за свои изобретения, причём в абсолютно любой области, не обязательно банковской)
🔹 Сотрудников нестандартных профессий
(например, женщину-инкассатора или водителя, очень возрастного сотрудника-айтишника или юного руководителя, мужчину-кассира и тд.)
🔹 Сотрудников с единичными/ уникальными профессиями
🔹 Просто интересных коллег, о которых должны узнать все 😊
💌 Собранный материал будет направлен в ДМиК для подготовки серии внутренних коммуникаций (ДУСи, Мой Сбер).
Очень ждем классные истории, которыми будем гордиться!
*информацию о себе (ФИО и обоснование) направляйте нам в почту: SberProfi_DWH_BigData@sberbank.ru в срок до 21 октября
С уважением,
команда DWH/BigData 💚
#втренде #Выпуск13
▪️ USB (by Microsoft) ⎋ - Pytorch-пакет для разработки и тестирования/сравнения алгоритмов полуавтоматического обучения (semi-supervised learning).
▫️ Data Detective ⎋ - Тинькофф заопенсорсили свой каталог данных, с помощью которого аналитики могут быстро найти нужные данные. Существующие решения дата-катлогов от LinkedIn, Netflix, WeWork, Lyft, им не подошли, можно почитать тут.
▪️ StarRocksDB ⎋ - sub-second MPP database для всех сценариев аналитики, в т.ч. NRT и ad hoc. Но нам вообщем нет до нее дела, так как уходим от МРР-шной shared nothing в сторону shared everything архитектуры.
▫️ PostgreSQL WASM ⎋ - на базе технологии WASM, которая позволяет выполнять приложения в браузере, появилась и база PostgreSQL. В этой технологии есть большие перспективы, и то, что целую базу в нее упаковали, - сигнал для нас (новые возможности в аналитике).
▪️ Oracle MySQL HeatWave ⎋ расширяет возможности MySQL, по сути позиционирует ее как единая база для всех нагрузок, которые при этом друг другу не мешают. Т.е. операционная база для приложений с мощными аналитическими способностями.
✔️ Были конференции Semantic Layer Summit, Microsoft Ignite, ApacheCon, Featurestore Summit - тонна материала.
👁🗨 Помогите найти изюминки - обсудим в чате сообщества.
▪️ USB (by Microsoft) ⎋ - Pytorch-пакет для разработки и тестирования/сравнения алгоритмов полуавтоматического обучения (semi-supervised learning).
▫️ Data Detective ⎋ - Тинькофф заопенсорсили свой каталог данных, с помощью которого аналитики могут быстро найти нужные данные. Существующие решения дата-катлогов от LinkedIn, Netflix, WeWork, Lyft, им не подошли, можно почитать тут.
▪️ StarRocksDB ⎋ - sub-second MPP database для всех сценариев аналитики, в т.ч. NRT и ad hoc. Но нам вообщем нет до нее дела, так как уходим от МРР-шной shared nothing в сторону shared everything архитектуры.
▫️ PostgreSQL WASM ⎋ - на базе технологии WASM, которая позволяет выполнять приложения в браузере, появилась и база PostgreSQL. В этой технологии есть большие перспективы, и то, что целую базу в нее упаковали, - сигнал для нас (новые возможности в аналитике).
▪️ Oracle MySQL HeatWave ⎋ расширяет возможности MySQL, по сути позиционирует ее как единая база для всех нагрузок, которые при этом друг другу не мешают. Т.е. операционная база для приложений с мощными аналитическими способностями.
✔️ Были конференции Semantic Layer Summit, Microsoft Ignite, ApacheCon, Featurestore Summit - тонна материала.
👁🗨 Помогите найти изюминки - обсудим в чате сообщества.
GitHub
GitHub - microsoft/Semi-supervised-learning: A Unified Semi-Supervised Learning Codebase (NeurIPS'22)
A Unified Semi-Supervised Learning Codebase (NeurIPS'22) - microsoft/Semi-supervised-learning
Что вам может пригодиться в работе, о чем хотелось бы узнать в деталях?
Anonymous Poll
14%
USB
35%
Data Detective
10%
StarRocksDB
55%
PostgreSQL WASM
14%
Oracle MySQL HeatWave
SberProfi DWH/BigData
Дорогие коллеги! Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на SDP Hadoop. Для формирования повестки просим оставлять свои вопросы здесь. Мероприятие состоится 21 октября 2022 г. Начало в 14:00. Повестка: • Мартынов А.…
Коллеги, напоминаем, что через 10 минут мы встречаемся на регулярной экспертной площадке по миграции на SDP Hadoop! 👆
SberProfi DWH/BigData
Дорогие коллеги! ☀️ Приглашаем вас на экспертную площадку SberProfi DWH/BigData, которая состоится 27 октября 2022 года. Начало в 15:30. 👉 Подключиться 👈 Тема: Проксированные подписки для Лаборатории данных SDP Hadoop Спикеры: Светлана Светоч, Антон Шкляр…
Коллеги, привет!
К сожалению, по техническим причинам мы переносим нашу экспертную площадку, которая была запланирована на сегодня.
Инфо о новой дате будет направлена следующим сообщением в канале.
Приносим свои извинения 🥺.
С уважением,
DWH/BigData 💚
К сожалению, по техническим причинам мы переносим нашу экспертную площадку, которая была запланирована на сегодня.
Инфо о новой дате будет направлена следующим сообщением в канале.
Приносим свои извинения 🥺.
С уважением,
DWH/BigData 💚
Дорогие коллеги! ☀️
Приглашаем вас на экспертную площадку SberProfi DWH/BigData, которая состоится 3 ноября 2022 года.
Начало в 15:30.
👉 Подключиться 👈
Тема: Проксированные подписки для Лаборатории данных SDP Hadoop
Спикеры: Светлана Светоч, Антон Шкляр, Дана Захарова, Никита Негго, Артем Горюнов (SberData)
Вопросы спикерам можно будет задать в чате во время дискуссии.
До встречи!
С уважением,
DWH/BigData 💚
Приглашаем вас на экспертную площадку SberProfi DWH/BigData, которая состоится 3 ноября 2022 года.
Начало в 15:30.
👉 Подключиться 👈
Тема: Проксированные подписки для Лаборатории данных SDP Hadoop
Спикеры: Светлана Светоч, Антон Шкляр, Дана Захарова, Никита Негго, Артем Горюнов (SberData)
Вопросы спикерам можно будет задать в чате во время дискуссии.
До встречи!
С уважением,
DWH/BigData 💚
Дорогие коллеги! 🍁🍂
Приглашаем вас на экспертную площадку SberProfi DWH/BigData, которая состоится 3 ноября 2022 года.
Начало в 15:30.
👉 Подключиться 👈
Тема: Проксированные подписки для Лаборатории данных SDP Hadoop
Спикеры: Светлана Светоч, Антон Шкляр, Дана Захарова, Никита Негго, Артем Горюнов (SberData)
Вопросы спикерам можно будет задать в чате во время дискуссии.
До встречи!
С уважением,
DWH/BigData 💚
Приглашаем вас на экспертную площадку SberProfi DWH/BigData, которая состоится 3 ноября 2022 года.
Начало в 15:30.
👉 Подключиться 👈
Тема: Проксированные подписки для Лаборатории данных SDP Hadoop
Спикеры: Светлана Светоч, Антон Шкляр, Дана Захарова, Никита Негго, Артем Горюнов (SberData)
Вопросы спикерам можно будет задать в чате во время дискуссии.
До встречи!
С уважением,
DWH/BigData 💚
Друзья! ☔️
Приглашаем вас на очередной онлайн-митап SberProfi DWH/BigData, который состоится 9 ноября 2022 года.
Начало в 14:00.
👉 Подключиться 👈
Повестка:
FaaS/Serverless на основе Сервисных Сообщений Корпоративной аналитической платформы
Спикер:
Васильев Павел (SberData)
Вопросы можно будет задать в чате во время выступления докладчика.
До встречи на митапе!
С уважением,
DWH/BigData 💚
Приглашаем вас на очередной онлайн-митап SberProfi DWH/BigData, который состоится 9 ноября 2022 года.
Начало в 14:00.
👉 Подключиться 👈
Повестка:
FaaS/Serverless на основе Сервисных Сообщений Корпоративной аналитической платформы
Спикер:
Васильев Павел (SberData)
Вопросы можно будет задать в чате во время выступления докладчика.
До встречи на митапе!
С уважением,
DWH/BigData 💚
SberProfi DWH/BigData
Дорогие коллеги! 🍁🍂 Приглашаем вас на экспертную площадку SberProfi DWH/BigData, которая состоится 3 ноября 2022 года. Начало в 15:30. 👉 Подключиться 👈 Тема: Проксированные подписки для Лаборатории данных SDP Hadoop Спикеры: Светлана Светоч, Антон Шкляр…
Друзья, через 10 минут ждем вас на экспертной площадке!
P.S. По возможности подключайтесь вовремя :) Времени мало, а поделиться хочется многим 📑
P.S. По возможности подключайтесь вовремя :) Времени мало, а поделиться хочется многим 📑
А на чьей стороне ты?!
Anonymous Poll
73%
Эс-кью-эль
19%
Сиквел
2%
Эс-Ка-Эл
6%
Свой вариант (пиши в комментариях)
SberProfi DWH/BigData
Друзья, через 10 минут ждем вас на экспертной площадке! P.S. По возможности подключайтесь вовремя :) Времени мало, а поделиться хочется многим 📑
Коллеги, новость о встрече читайте здесь (+ запись/ полезные ссылки).
Дорогие коллеги! ☀️
Приглашаем вас на очередной онлайн-митап SberProfi DWH/BigData, который состоится 16 ноября 2022 года.
Начало в 14:00.
👉 Подключиться 👈
Повестка:
• Ермекбаев З., Орлов С.: «SDP Ozone – новое хранилище данных в экосистеме Hadoop»
• Загребельный А.: «Об опыте миграции кластеров на Лабораторию Данных 3.0 SDP Hadoop»
• Носенко Н.: «Как искать сотрудников через data-хакатоны. Опыт МИФИ Opportunity Cup»
Вопросы можно будет задать в чате во время выступления докладчиков.
До встречи на митапе!
С уважением,
DWH/BigData 💚
Приглашаем вас на очередной онлайн-митап SberProfi DWH/BigData, который состоится 16 ноября 2022 года.
Начало в 14:00.
👉 Подключиться 👈
Повестка:
• Ермекбаев З., Орлов С.: «SDP Ozone – новое хранилище данных в экосистеме Hadoop»
• Загребельный А.: «Об опыте миграции кластеров на Лабораторию Данных 3.0 SDP Hadoop»
• Носенко Н.: «Как искать сотрудников через data-хакатоны. Опыт МИФИ Opportunity Cup»
Вопросы можно будет задать в чате во время выступления докладчиков.
До встречи на митапе!
С уважением,
DWH/BigData 💚
SberProfi DWH/BigData
Друзья! ☔️ Приглашаем вас на очередной онлайн-митап SberProfi DWH/BigData, который состоится 9 ноября 2022 года. Начало в 14:00. 👉 Подключиться 👈 Повестка: FaaS/Serverless на основе Сервисных Сообщений Корпоративной аналитической платформы Спикер: Васильев…
Коллеги, привет!
Через 10 минут ждем вас на нашем митапе (очень ждем)!
Через 10 минут ждем вас на нашем митапе (очень ждем)!
SberProfi DWH/BigData
Коллеги, привет! Через 10 минут ждем вас на нашем митапе (очень ждем)!
Коллеги, ловите ссылку на новость о встрече 🗞📰.