Друзья!
Через 10 минут встречаемся на митапе 🏃🏻‍♀️ 🏃🏻‍♂️!

#пятничный_мем_dwhbigdata
в опросе 👇

(расшифровка правильного ответа - уже в понедельник 😉)

Дорогие коллеги!

Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на SDP Hadoop.
Для формирования повестки просим оставлять свои вопросы здесь.

Мероприятие состоится 30 ноября 2022 г. Начало в 14:00.

Повестка:
• Орлов С. (SberData): «Доработки Vanilla Hadoop для собственной сборки Сбера»
• Ермекбаев З. (SberData): «Как понять, что для хранения данных Вы можете использовать Ozone. Демо»

Платформа проведения встречи – СберМитап

👉 Ссылка для подключения 👈

Вопросы спикерам можно будет задать устно 😊.


Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.

Спасибо и до встречи!


С уважением,
команда DWH/BigData 💚

Коллеги!
Благодарим за участие в пятничном опросе :).

А вот и правильный ответ:
✅ Галактика

Галактика - это один из вариантов схемы организации DWH, так же как снежинка ❄️ и звезда 🌟.

(Но мы можем справедливо считать победителями и тех, кто выбрал вариант с Новым годом 🎄!).
Вас было целых 60% 😁.

Желаем всем сил и продуктивной рабочей недели 💪🏻.

Коллеги, ловите ссылку на новость о митапе.

Коллеги, привет! ☀️
Сегодня у нас изменения в повестке - будет только второй доклад (+ замена спикера на Мыскова Максима).

Ждем всех через 10 минут!

Друзья!
Через 10 минут начинаем заключительный в уходящем году митап 🚀.
Это наш юбилейный митап ⭐️35⭐️!

Ссылка на запись.

Ссылка на новость по встрече.

#втренде #Выпуск16

🔸 🔥 Weaviate ⎋ - представитель нового типа баз данных т.н. Vector search database (видео) с GraphQL интерфейсом. Восхитительно: в отличии от классики, база будто понимает суть данных и может, например, по запросу “цены недвижимости” вернуть статьи по этой теме, но без этих слов. Более того: автоматически классифицировать данные по заданным категориям, отвечать на вопросы по содержанию. Из коробки реализована функция поиска в картинках или похожих картинок.

🔹 ESQL Elastic Query Language ⎋ - новый язык запросов к ElasticSearch, сильно расширяющий возможности по анализу внутри стека. Интересно, что весь ES движется в новую stateless архитектуру - подробнее - что ему позволяет увеличить скорость и надежность.

🔸 Apache StreamPipes ⎋ - ранее представляли этот юзерфрендли-инструмент для подключения к потокам данных и их аналитике в режиме self-service. Очень наглядный UI и много интеграций. Покинул инкубатор и стал полноценным проектом Apache.

🔹 Databend ⎋ - разработчики, воодушевлённые Snowflake и ClickHouse, создали опенсорс-платформу для бессерверного хранилища данных. Есть и коммерческое решение Databend Cloud, см. скриншоты CJM.

🔸 Substra ⎋ - недавно заопенсорсили продукт класса federated learning. Подробнее в видео-мультике. Позволяет обучать и валидировать модели на распределенных дата-сетах, хорошо масштабируется. Имеется история успеха в biotech и медицине.

Коллеги, привет!

Поделитесь, пожалуйста, обратной связью о сервисах и продуктах SberData!🔥
Просим вас уделить всего лишь 2 минуты и пройти опрос по ссылке ниже!

https://public.oprosso.sberbank.ru/p/nxiteies

Заранее спасибо!

Напоминаем, что положительная оценка начинается с 7 баллов ✅

💔💚🎬Смотрите клип о трогательных взаимоотношениях между нашими продуктовыми командами и клиентами по ссылке:

https://sberfriend.sbrf.ru/sberfriend/#/media/post/24574299

#втренде #Выпуск17

Общий лозунг Low-code и No-code: "Снижаем порог входа, что упрощает скилсет разработчиков, который можно и быстрее освоить, делает их дешевле, и сокращает время от идеи до внедрения". Наш обзор в частоности про решения для AI и ML.
Пожалуйста, напишите в комментариях, есть ли в Сбере похожие решения или инициативы.

🔸 PyCaret ⎋ - библиотка для Питона, которая упрощает и ускоряет использование таких библиотек, как scikit-learn, XGBoost, LightGBM,… Буквально low-code, потому что нужно “меньше кода” писать, что делает разработку доступной для менее провиднутых пользователей.

🔹 DataRobot ⎋ - SaaS с единым удобным UI, охватывающий весь процесс: подключение и подготовка данных, создание моделей, их деплой и эксплуатация. Многие шаги с AI-помощниками и подсказками, ускоряющими работу. Ориентирован на Enterprise.

🔸 Amazon SageMaker, Google AutoML, Azure AI - попытка бандлинга множества ML-продуктов своих экосистем с целью выстроить более целостный клиенский путь, который все же остается разорван по разным продуктам. Однако это сильно снижает порог входа и кол-во написания кода для сложных бизнес и научных задач.

🔹 ObviouslyAI ⎋ и Akkio ⎋ - SaaS ориентирован на малый и срений бизнес. Поэтому проуесс сильно упрощен: выбираем источник (есть готовые интеграции с облачными сервисами), применяем простые фильтры или джойны. Далее - тренинг модели по шаблону (AutoML, Predict, Forecast, Detect Anomalies). Каждый из них - wizard, который задает пользователю четкие указания, что нужно сделать. По результатам предлагается детальный отчет о модели, выбранном алгоритме и статистике по датасету. Последний шаг деплой-модели и регулярный экспорт данных в целевые системы (API, маркетинг, CRM, …)

🔸 Nanonets ⎋ - SaaS. Экстракция данных из неструктурированных документов. Автоматически применяет OCR, распознает ключевую информацию и экспортирует ее в виде структурированных данных.

🔹Microsoft Lobe ⎋, Google Teachable Machine ⎋ - 0 порог входа, решают простейшие задания и предназначены скорее для обучения, нежели решения промышленных задач. Дают возможность интерактивной разметки данных, тренинг и корректировку модели, импорт фото или потока видео с камеры, также работу с текстовыми файлами. Экспорт модели в CoreML, TensofFlow и тд.

🔸 Apple CreateML ⎋ - позволяет делать и более продвинутые приложения, например, для устройств Apple - пользуются камерой, микрофоном и т.д. с готовыми моделями без написания кода и быстрым обучением на Apple GPU.

Друзья, совсем скоро наступит Новый год! 🎄 🌟

В преддверии праздника мы хотим порадовать вас приятными и добрыми пожеланиями на будущее ✨.

Сегодня мы запускаем наш небольшой advent-календарь поздравлений, чтобы вместе тепло проводить старый год и настроиться на грядущие достижения и свершения в новом, 2023! 🚀


Ваша команда DWH/BigData 💚