SberProfi DWH/BigData – Telegram
SberProfi DWH/BigData
1.06K subscribers
320 photos
9 videos
361 links
Telegram-канал SberProfi DWH/BigData 💚
Наш чат: https://news.1rj.ru/str/+6Vc_rNMJl8MzYzcy
Наша миссия: развивать компетенции по технологиям работы с данными, например, такими, как экосистема Hadoop, Teradata, Oracle DB, GreenPlum и др.
Download Telegram
Друзья, привет!

Начинаем неделю с нового тренда - быстрый поиск данных в Дататеке🤩

Чем Дататека отличается от других инструментов?

 Поиск по всем данным КАП, включая неопубликованные объекты.
 AI описания данных и подробные характеристики.
 Высокая скорость.
 Расширенный набор фильтров, в том числе новых.
 Обновление информации о новых данных в КАП в течение часа.

Да, здесь пока нет всех этапов клиентского пути, но вы уже сейчас можете получить все преимущества абсолютно нового поиска данных 😎

👉Подробности в Друге.

С уважением,
команда DWH/BigData💚
👍3
Друзья, привет!

Нет времени объяснять, приглашаем на очный митап:) Расскажем о новом инструменте вендорозамещения, покажем use cases и проведем демо! А еще здесь классное сообщество таких же ярких и амбициозных людей, как вы. Ждем всех очно!

Повестка:

· OLAP Analytics как инструмент для решения аналитических задач;
· Platform V Analytics;
· Live demo OLAP Analytics;
· Архитектурные возможности и способы использования OLAP Analytics.

Спикеры: Иван Коньков (SberData, УРКАП), Виктор Калачанов (АО «СберТех», Департамент управления производством), Александра Ульянова (SberData, УРКАП), Антон Головин (SberData, УРКАП).

🗓 23 июня в 15:30-17:30
📍 наб. Новоданиловская, 10к1, 2-ой этаж, ГрейтХолл / Онлайн
💬 Задать вопрос
👉 Заказать пропуск

С уважением,
команда DWH/BigData💚
👍4
Друзья, привет!
 
Приглашаем на курс по «Потоковая обработка данных»! Вас ждет 10 занятий за 5 недель, где вы освоите Apache Flink - один из ключевых инструментов для работы с потоковыми данными
.
 
Наш эксперт и автор курса Сергей Смирнов объяснит тонкости настройки механизмов извлечения времени, работы с состоянием и локальным кластером Apache Flink. А главное - по окончании курса вы сможете самостоятельно разрабатывать собственные решения для потоковой обработки данных.
 
Программа курса:
✔️ Основы потоковой обработки (Stream intro, Flink intro);
✔️ Batch API и Stream operators API;
✔️ Работа с состояниями, таймерами, водяными знаками;
✔️Join, Union, Windows, Triggers и др.;
✔️ Table API, SQL API и продвинутые темы: CEP, CDC, ML, Graph с Gelly;
✔️ Лучшие (и худшие) практики.
 
Курс подойдет как начинающим, так и оптным разработчикам.
 
👉 ЗАПИСАТЬСЯ НА КУРС 👈
 
А если вы хотите расширить свои навыки в части обработки потоковых данных, рекомендуем пройти курс Flink SQL.
 
С уважением,
команда DWH/BigData💚
👍3
Друзья, привет!
 
На прошедшем митапе наши участники представили новый продукт - OLAP Analytics. Это программное решение для работы с OLAP кубами.
 
OLAP Analytics помогает глубже понимать бизнес-процессы, выявлять тренды и принимать обоснованные решения за счет гибкой аналитики, формирования аналитической отчетности и сценарного планирования. 
 
Ключевые возможности:

Быстрая аналитика;
  No-code/Low-code конструктор моделей;
  Excel-like интерфейс;
  Централизованная логика расчетов.
 
Подробнее о продукте рассказали команды SberData и СберТеха. Какие темы обсудили:

🔸OLAP Analytics как инструмент для решения аналитических задач;
🔸Platform V Analytics;
🔸Архитектурные возможности и способы использования OLAP Analytics;
🔸SDP Hadoop;
🔸OLAP-система;
🔸Live demo OLAP Analytics.
 
Встреча получилась душевной и теплой. Если вдруг вы не смогли присутствовать, мы сделали запись.
 
Смотрите запись, изучайте демо и не забывайте ставить лайки:) Подробнее о продукте читайте здесь.
 
С уважением,
команда DWH/BigData💚
👍5👏3
Друзья, привет👋

Приглашаем на митап DWH/BigData - узнать больше про Crystal View и SaluteEye!

ПОВЕСТКА:

🔸Crystal View: визуальный анализ больших графов как инструмент бизнеса - Даниил Булах, БТ, SberData;
🔸История одного импортозамещения аналитики и как мы выросли до 5 млрд событий в день - Андрей Березин, БТР, Департамент ИИ-платформы и моделей.

🗓 1 июля
15:00-17:00
💻 Онлайн в SberJazz
(ссылка в почте и СберЧате DWH/BigData)

Перешли приглашалку коллегам
и получи плюсик в карму!

С уважением,
команда DWH/BigData💚
3👌1
Друзья, привет!

17-18 июня в Москве прошел форум ITSEC, посвященный вопросам безопасной разработки, архитектуры приложений и защиты данных.

🚀 Участник комьюнити Игорь Захарин, более 12 лет в ИТ, более 7 лет в ИБ, принял участие в дискуссии «Защита СУБД и данных: от SQL-инъекций до Kubernetes».

Что было?
🔹 5 уроков, полученных при маскировании баз данных;
🔹 Проактивная vs реактивная защита данных;
🔹 Kubernetes и безопасность облачной СУБД;
🔹 Данные vs пользователи: отдать нельзя закрыть;
🔹 ТОП-10 методов обеспечения защиты СУБД.

👉 Смотрите видеозапись (внешняя ссылка) и делитесь своими впечатлениями в комментариях😉

С уважением,
команда DWH/BigData💚
🔥7
Друзья, привет!

Делимся записью 69-го митапа комьюнити.

Что было?

Даниил Булах и Владимир Черепанов рассказали о визуальном анализе больших графов, а также провели демо Crystal View.

Андрей Березин поделился историей одного импортозамещения аналитики, или как они выросли до 5 млрд событий в день.

👉 Смотрите видеозапись, будет познавательно!

С уважением,
команда DWH/BigData💚
👍51
Друзья, привет!

23-24 июня в Санкт-Петербурге прошла профессиональная конференция разработчиков высоконагруженных систем Saint HighLoad++.

👉 Ирина Шахтарина выступила с докладом «Кто написал код? Об авторских правах на код, написанный с помощью AI».

Ирина разобрала лицензионные соглашения популярных AI-помощников – и российских, и зарубежных – и объяснила, почему вопрос «чей код?» может стать головной болью для разработчиков.

💥 «Очень понравилось внимание к теме, отклик слушателей и вопросы - есть над чем подумать и как дополнить. Дискуссия продолжилась и после завершения доклада», – поделилась Ирина.


🚀 Тоже хочешь выступить на внешней конференции?

Подавай заявку (список конференций в Confluence);
Расскажи нам, и мы поможем на каждом этапе:)

С уважением,
команда DWH/BigData 💚
4👍2👏1
Друзья, привет!

Приглашаем на митап, посвященный SDP Ozone! Поговорим о миграции Hive-таблиц с Hadoop на SDP Ozone, покажем примеры сжатия при работе с SDP Ozone, обсудим возможности использования кластера SDP Ozone при обучении LLM.

🎤 Спикер: Андрей Запольский, Руководитель службы поддержки SDP Ozone (SberData).

📅 15 июля в 15:00-16:00
🔗 Онлайн в SberJazz (ссылка в почте или СберЧате DWH/BigData)


Запись прошлого демо доступна по ссылке.

Перешли приглашалку коллегами получи плюсик в карму!

С уважением, команда DWH/BigData 💚
Друзья, привет!

Комьюнити нужен новый герой! Мы ищем эксперта, который поможет дообучить LLM для автоматического исправления «токсичных» SQL-запросов в корректные.

☀️ Проект реализуется студентами под чутким руководством экспертной команды Сбера в рамках летней практики.

Что предстоит:
🔹 Дообучение LLM для задачи исправления SQL-запросов;
🔹 Подготовка и валидация датасетов с разными типами ошибок;
🔹 Оценка качества модели и интеграция с БД.

Кого мы ищем:
🔹 Понимание технологий дообучения LLM, включая современные фреймворки и best practices;
🔹 Опыт в fine-tuning и оценке LLM;
🔹 Знание метрик оценки генерации и исправления запросов;
🔹 Опыт работы с SQL и понимание специфики различных СУБД;
🔹 Понимание Trino и опыт интеграции LLM с БД будут большим плюсом.

Не упусти свой шанс присоединиться! По вопросам проекта пиши в комментариях к посту.

С уважением,
команда DWH/BigData💚
😁2🤪21
🚀 Земля в иллюминаторе... А космическая викторина – перед вами! 

Что такое МКС? Сколько планет в Солнечной системе? Как зовут первого человека в космосе? 

Ответили на все вопросы? Поздравляем, разминка успешно пройдена! 

🔥🔥 Переходим к главному: приглашаем на шоу SberData Friday в необычном научно-популярном формате. В гостях – Артём Шавшин, генеральный директор компании-разработчика системы уклонения от космических угроз с помощью ИИ «Чистый космос».

Поговорим о космическом мусоре, узнаем, как ИИ меняет космическую отрасль и можно ли ему доверять планетарную безопасность.

🗓 18 июля
11:00 
💻 Онлайн в SberJazz 

👉ЗАРЕГИСТРИРОВАТЬСЯ👈

Перешли приглашалку коллегам
и получи плюсик в карму!

С уважением,
команда DWH/BigData 💚
1
Как работать с графами: стартовал практический курс
 

Друзья, привет!

 
🔔Рады сообщить о запуске нового электронного курса — «FastGraph: быстрый старт для работы с графами».
 
 В программе курса:
 
 ✔️Обзор БД: что такое FastGraph и зачем он нужен;
✔️Возможности и варианты использования FastGraph;
✔️FastGraph - Fast&Easy UI;
✔️Режим быстрого чтения данных;
✔️Режим быстрой записи данных.

▶️ Начните курс и прокачайте навыки работы с графовой базой данных, начиная с изучения архитектуры и заканчивая решением практических задач.
 
С уважением,
команда DWH/BigData💚
🔥21
Это ваш билет в SDP Ozone:)
 
Друзья, привет!
 
На прошедшем митапе разобрали SDP Ozone - мощное продолжение HDFS (Hadoop) с опциональной поддержкой S3:

✔️80%+ утилизации HDD – больше данных, меньше затрат;
✔️2х скорость по сравнению с HDFS;
✔️Работает с S3 HDFS API – гибкость без переписывания кода.
 
Что обсудили?
🔹Миграцию Hive-таблиц на SDP Ozone;
🔹Эффективное сжатие данных;
🔹Использование для обучения LLM.
 
👉 ВИДЕОЗАПИСЬ👈

Если Вы хотите протестировать SDP Ozone, напишите Ильину Андрею или Андрею Запольскому.

С уважением,
команда DWH/BigData💚
3