SberProfi DWH/BigData – Telegram
SberProfi DWH/BigData
1.06K subscribers
320 photos
9 videos
361 links
Telegram-канал SberProfi DWH/BigData 💚
Наш чат: https://news.1rj.ru/str/+6Vc_rNMJl8MzYzcy
Наша миссия: развивать компетенции по технологиям работы с данными, например, такими, как экосистема Hadoop, Teradata, Oracle DB, GreenPlum и др.
Download Telegram
Друзья, привет!

17-18 июня в Москве прошел форум ITSEC, посвященный вопросам безопасной разработки, архитектуры приложений и защиты данных.

🚀 Участник комьюнити Игорь Захарин, более 12 лет в ИТ, более 7 лет в ИБ, принял участие в дискуссии «Защита СУБД и данных: от SQL-инъекций до Kubernetes».

Что было?
🔹 5 уроков, полученных при маскировании баз данных;
🔹 Проактивная vs реактивная защита данных;
🔹 Kubernetes и безопасность облачной СУБД;
🔹 Данные vs пользователи: отдать нельзя закрыть;
🔹 ТОП-10 методов обеспечения защиты СУБД.

👉 Смотрите видеозапись (внешняя ссылка) и делитесь своими впечатлениями в комментариях😉

С уважением,
команда DWH/BigData💚
🔥7
Друзья, привет!

Делимся записью 69-го митапа комьюнити.

Что было?

Даниил Булах и Владимир Черепанов рассказали о визуальном анализе больших графов, а также провели демо Crystal View.

Андрей Березин поделился историей одного импортозамещения аналитики, или как они выросли до 5 млрд событий в день.

👉 Смотрите видеозапись, будет познавательно!

С уважением,
команда DWH/BigData💚
👍51
Друзья, привет!

23-24 июня в Санкт-Петербурге прошла профессиональная конференция разработчиков высоконагруженных систем Saint HighLoad++.

👉 Ирина Шахтарина выступила с докладом «Кто написал код? Об авторских правах на код, написанный с помощью AI».

Ирина разобрала лицензионные соглашения популярных AI-помощников – и российских, и зарубежных – и объяснила, почему вопрос «чей код?» может стать головной болью для разработчиков.

💥 «Очень понравилось внимание к теме, отклик слушателей и вопросы - есть над чем подумать и как дополнить. Дискуссия продолжилась и после завершения доклада», – поделилась Ирина.


🚀 Тоже хочешь выступить на внешней конференции?

Подавай заявку (список конференций в Confluence);
Расскажи нам, и мы поможем на каждом этапе:)

С уважением,
команда DWH/BigData 💚
4👍2👏1
Друзья, привет!

Приглашаем на митап, посвященный SDP Ozone! Поговорим о миграции Hive-таблиц с Hadoop на SDP Ozone, покажем примеры сжатия при работе с SDP Ozone, обсудим возможности использования кластера SDP Ozone при обучении LLM.

🎤 Спикер: Андрей Запольский, Руководитель службы поддержки SDP Ozone (SberData).

📅 15 июля в 15:00-16:00
🔗 Онлайн в SberJazz (ссылка в почте или СберЧате DWH/BigData)


Запись прошлого демо доступна по ссылке.

Перешли приглашалку коллегами получи плюсик в карму!

С уважением, команда DWH/BigData 💚
Друзья, привет!

Комьюнити нужен новый герой! Мы ищем эксперта, который поможет дообучить LLM для автоматического исправления «токсичных» SQL-запросов в корректные.

☀️ Проект реализуется студентами под чутким руководством экспертной команды Сбера в рамках летней практики.

Что предстоит:
🔹 Дообучение LLM для задачи исправления SQL-запросов;
🔹 Подготовка и валидация датасетов с разными типами ошибок;
🔹 Оценка качества модели и интеграция с БД.

Кого мы ищем:
🔹 Понимание технологий дообучения LLM, включая современные фреймворки и best practices;
🔹 Опыт в fine-tuning и оценке LLM;
🔹 Знание метрик оценки генерации и исправления запросов;
🔹 Опыт работы с SQL и понимание специфики различных СУБД;
🔹 Понимание Trino и опыт интеграции LLM с БД будут большим плюсом.

Не упусти свой шанс присоединиться! По вопросам проекта пиши в комментариях к посту.

С уважением,
команда DWH/BigData💚
😁2🤪21
🚀 Земля в иллюминаторе... А космическая викторина – перед вами! 

Что такое МКС? Сколько планет в Солнечной системе? Как зовут первого человека в космосе? 

Ответили на все вопросы? Поздравляем, разминка успешно пройдена! 

🔥🔥 Переходим к главному: приглашаем на шоу SberData Friday в необычном научно-популярном формате. В гостях – Артём Шавшин, генеральный директор компании-разработчика системы уклонения от космических угроз с помощью ИИ «Чистый космос».

Поговорим о космическом мусоре, узнаем, как ИИ меняет космическую отрасль и можно ли ему доверять планетарную безопасность.

🗓 18 июля
11:00 
💻 Онлайн в SberJazz 

👉ЗАРЕГИСТРИРОВАТЬСЯ👈

Перешли приглашалку коллегам
и получи плюсик в карму!

С уважением,
команда DWH/BigData 💚
1
Как работать с графами: стартовал практический курс
 

Друзья, привет!

 
🔔Рады сообщить о запуске нового электронного курса — «FastGraph: быстрый старт для работы с графами».
 
 В программе курса:
 
 ✔️Обзор БД: что такое FastGraph и зачем он нужен;
✔️Возможности и варианты использования FastGraph;
✔️FastGraph - Fast&Easy UI;
✔️Режим быстрого чтения данных;
✔️Режим быстрой записи данных.

▶️ Начните курс и прокачайте навыки работы с графовой базой данных, начиная с изучения архитектуры и заканчивая решением практических задач.
 
С уважением,
команда DWH/BigData💚
🔥21
Это ваш билет в SDP Ozone:)
 
Друзья, привет!
 
На прошедшем митапе разобрали SDP Ozone - мощное продолжение HDFS (Hadoop) с опциональной поддержкой S3:

✔️80%+ утилизации HDD – больше данных, меньше затрат;
✔️2х скорость по сравнению с HDFS;
✔️Работает с S3 HDFS API – гибкость без переписывания кода.
 
Что обсудили?
🔹Миграцию Hive-таблиц на SDP Ozone;
🔹Эффективное сжатие данных;
🔹Использование для обучения LLM.
 
👉 ВИДЕОЗАПИСЬ👈

Если Вы хотите протестировать SDP Ozone, напишите Ильину Андрею или Андрею Запольскому.

С уважением,
команда DWH/BigData💚
3
Друзья, начнём через 10 минут, не расходитесь🙏
Друзья, выпуск Sberdata Friday начался.
🚀 Космический мусор, ИИ и будущее орбиты: взгляд изнутри

Друзья, привет!

Околоземное пространство все меньше напоминает «чистый космос»: тысячи обломков старых спутников, ступеней ракет и даже потерянных инструментов несутся со скоростью 8 км/с💥

Что будет, если мусора станет слишком много? Как ИИ может спасти ситуацию? Почему GigaChat летит в космос и какие задачи он решит?

Обсудили на шоу SberData Friday с Артëмом Шавшиным, генеральным директором компании-разработчика системы уклонения от космических угроз с помощью ИИ «Чистый космос».

👉СМОТРЕТЬ ЗАПИСЬ👈

Следите за интервью – раскроем детали, о которых молчат агентства! 🌌

С уважением,
команда DWH/BigData 💚
🔥61👍1
Друзья, привет!
 
Если вы всё ещё ищете путь к развитию, вы открыли тот самый пост 🎯  
 
Запущен новый практический курс Spark Advance для тех, кто:  

Работает с Apache Spark и хочет углубить знания;
Стремится к мастерству в оптимизации, распределении ресурсов и обработке потоковых данных;  
Сталкивается со сложными форматами, вложенными структурами, массивами и мапами.  
 
Что внутри?

📌 Интенсивная практика – задачи и проекты, приближенные к боевым;
📌 Разбор реальных кейсов: устранение перекосов данных, настройка параметров для предотвращения spill;
📌 Готовые решения, которые можно внедрять уже сегодня.  
 
Регистрируйтесь, и стартуем!
 
С уважением,
команда DWH/BigData💚
Друзья, привет!

Приглашаем на митап DWH/BigData! Расскажем, как найти лучшие решения, опираясь на опыт участников комьюнити.

ПОВЕСТКА:

🔹 Светлана Светоч (SberData, УРД) - Кнопка «Сделать хорошо» и прочие иллюзии: честный отчёт о наших продуктовых практиках;

🔹 Вадим Сурпин (SberData, УРКАП) - Производительность Apache Paimon: как получить максимум и избежать узких мест; практический кейс;

🔹 Иван Кочкожаров (SberData, УРКАП) - Внедрение технологии RDMA в Apache Flink с помощью hadroNIO.

🗓 7 августа
15:00
💻 Онлайн в SberJazz, ссылка в почте и Сберчате DWH/BigData

Ждём всех, кто хочет глубже разобраться в технологиях и перенять лучшие практики!

С уважением,
команда DWH/BigData 💚
👍2