Коллеги, привет! ☀️
Сегодня у нас изменения в повестке - будет только второй доклад (+ замена спикера на Мыскова Максима).

Ждем всех через 10 минут!

Друзья!
Через 10 минут начинаем заключительный в уходящем году митап 🚀.
Это наш юбилейный митап ⭐️35⭐️!

Ссылка на запись.

Ссылка на новость по встрече.

#втренде #Выпуск16

🔸 🔥 Weaviate ⎋ - представитель нового типа баз данных т.н. Vector search database (видео) с GraphQL интерфейсом. Восхитительно: в отличии от классики, база будто понимает суть данных и может, например, по запросу “цены недвижимости” вернуть статьи по этой теме, но без этих слов. Более того: автоматически классифицировать данные по заданным категориям, отвечать на вопросы по содержанию. Из коробки реализована функция поиска в картинках или похожих картинок.

🔹 ESQL Elastic Query Language ⎋ - новый язык запросов к ElasticSearch, сильно расширяющий возможности по анализу внутри стека. Интересно, что весь ES движется в новую stateless архитектуру - подробнее - что ему позволяет увеличить скорость и надежность.

🔸 Apache StreamPipes ⎋ - ранее представляли этот юзерфрендли-инструмент для подключения к потокам данных и их аналитике в режиме self-service. Очень наглядный UI и много интеграций. Покинул инкубатор и стал полноценным проектом Apache.

🔹 Databend ⎋ - разработчики, воодушевлённые Snowflake и ClickHouse, создали опенсорс-платформу для бессерверного хранилища данных. Есть и коммерческое решение Databend Cloud, см. скриншоты CJM.

🔸 Substra ⎋ - недавно заопенсорсили продукт класса federated learning. Подробнее в видео-мультике. Позволяет обучать и валидировать модели на распределенных дата-сетах, хорошо масштабируется. Имеется история успеха в biotech и медицине.

Коллеги, привет!

Поделитесь, пожалуйста, обратной связью о сервисах и продуктах SberData!🔥
Просим вас уделить всего лишь 2 минуты и пройти опрос по ссылке ниже!

https://public.oprosso.sberbank.ru/p/nxiteies

Заранее спасибо!

Напоминаем, что положительная оценка начинается с 7 баллов ✅

💔💚🎬Смотрите клип о трогательных взаимоотношениях между нашими продуктовыми командами и клиентами по ссылке:

https://sberfriend.sbrf.ru/sberfriend/#/media/post/24574299

#втренде #Выпуск17

Общий лозунг Low-code и No-code: "Снижаем порог входа, что упрощает скилсет разработчиков, который можно и быстрее освоить, делает их дешевле, и сокращает время от идеи до внедрения". Наш обзор в частоности про решения для AI и ML.
Пожалуйста, напишите в комментариях, есть ли в Сбере похожие решения или инициативы.

🔸 PyCaret ⎋ - библиотка для Питона, которая упрощает и ускоряет использование таких библиотек, как scikit-learn, XGBoost, LightGBM,… Буквально low-code, потому что нужно “меньше кода” писать, что делает разработку доступной для менее провиднутых пользователей.

🔹 DataRobot ⎋ - SaaS с единым удобным UI, охватывающий весь процесс: подключение и подготовка данных, создание моделей, их деплой и эксплуатация. Многие шаги с AI-помощниками и подсказками, ускоряющими работу. Ориентирован на Enterprise.

🔸 Amazon SageMaker, Google AutoML, Azure AI - попытка бандлинга множества ML-продуктов своих экосистем с целью выстроить более целостный клиенский путь, который все же остается разорван по разным продуктам. Однако это сильно снижает порог входа и кол-во написания кода для сложных бизнес и научных задач.

🔹 ObviouslyAI ⎋ и Akkio ⎋ - SaaS ориентирован на малый и срений бизнес. Поэтому проуесс сильно упрощен: выбираем источник (есть готовые интеграции с облачными сервисами), применяем простые фильтры или джойны. Далее - тренинг модели по шаблону (AutoML, Predict, Forecast, Detect Anomalies). Каждый из них - wizard, который задает пользователю четкие указания, что нужно сделать. По результатам предлагается детальный отчет о модели, выбранном алгоритме и статистике по датасету. Последний шаг деплой-модели и регулярный экспорт данных в целевые системы (API, маркетинг, CRM, …)

🔸 Nanonets ⎋ - SaaS. Экстракция данных из неструктурированных документов. Автоматически применяет OCR, распознает ключевую информацию и экспортирует ее в виде структурированных данных.

🔹Microsoft Lobe ⎋, Google Teachable Machine ⎋ - 0 порог входа, решают простейшие задания и предназначены скорее для обучения, нежели решения промышленных задач. Дают возможность интерактивной разметки данных, тренинг и корректировку модели, импорт фото или потока видео с камеры, также работу с текстовыми файлами. Экспорт модели в CoreML, TensofFlow и тд.

🔸 Apple CreateML ⎋ - позволяет делать и более продвинутые приложения, например, для устройств Apple - пользуются камерой, микрофоном и т.д. с готовыми моделями без написания кода и быстрым обучением на Apple GPU.

Друзья, совсем скоро наступит Новый год! 🎄 🌟

В преддверии праздника мы хотим порадовать вас приятными и добрыми пожеланиями на будущее ✨.

Сегодня мы запускаем наш небольшой advent-календарь поздравлений, чтобы вместе тепло проводить старый год и настроиться на грядущие достижения и свершения в новом, 2023! 🚀


Ваша команда DWH/BigData 💚

Дорогие коллеги, сегодня мы завершаем наш 5-дневный адвент-марафон, надеемся, он пришелся вам по душе✨🎄

С наступающим, дорогие коллеги! 🎄🌟✨

Дорогие коллеги!

Надеемся, вы классно отдохнули за новогодние праздники и успели соскучиться по жизни нашего комьюнити 🏋🏻🪂🏇🏻!

В прошлом году мы с вами были очень активны: провели 16 экспертных площадок, 15 митапов и 2 круглых стола; 13 раз выступили вне контура Банка, опубликовали 4 подкаста и 2 статьи на Habr.

Не собираемся останавливаться на достигнутом и хотим напомнить, что в любой из активностей выше готовы оказать поддержку участникам сообщества 💪🏻.
Есть актуальные темы для внутренних и внешних выступлений? А вопросы/ проблемные рабочие кейсы? Хотите опубликоваться на Habr? Мечтаете принять участие в нашем подкасте? Может быть, к вам пришло вдохновение и новые идеи, которые хочется воплотить в жизнь с нашей помощью? ✨

Отлично! 🚀

Ждем ваши отклики вот тут 👉 SberProfi_DWH_BigData@sberbank.ru

С уважением,
команда DWH/BigData 💚

#пятничный_мем_dwhbigdata

Коллеги, а как вы наряжаете елку?))

Дорогие коллеги!

Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на SDP Hadoop. Для формирования повестки просим оставлять свои вопросы здесь.

Мероприятие состоится  25 января 2023 г. Начало в 14:00.

Повестка:
• Дудник А. (SberData): SDP Compute: как будет выглядеть перенос приложения из Hadoop
• Матыцин С. (SberData): Обратная совместимость релизов SDP Hadoop: расширение регрессионного тестирования

👉 Подключиться 👈

Вопросы спикерам можно будет задать устно 😊.

Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.

Спасибо и до встречи!


С уважением,
команда DWH/BigData 💚