#втренде #Выпуск16
🔸 🔥 Weaviate ⎋ - представитель нового типа баз данных т.н. Vector search database (видео) с GraphQL интерфейсом. Восхитительно: в отличии от классики, база будто понимает суть данных и может, например, по запросу “цены недвижимости” вернуть статьи по этой теме, но без этих слов. Более того: автоматически классифицировать данные по заданным категориям, отвечать на вопросы по содержанию. Из коробки реализована функция поиска в картинках или похожих картинок.
🔹 ESQL Elastic Query Language ⎋ - новый язык запросов к ElasticSearch, сильно расширяющий возможности по анализу внутри стека. Интересно, что весь ES движется в новую stateless архитектуру - подробнее - что ему позволяет увеличить скорость и надежность.
🔸 Apache StreamPipes ⎋ - ранее представляли этот юзерфрендли-инструмент для подключения к потокам данных и их аналитике в режиме self-service. Очень наглядный UI и много интеграций. Покинул инкубатор и стал полноценным проектом Apache.
🔹 Databend ⎋ - разработчики, воодушевлённые Snowflake и ClickHouse, создали опенсорс-платформу для бессерверного хранилища данных. Есть и коммерческое решение Databend Cloud, см. скриншоты CJM.
🔸 Substra ⎋ - недавно заопенсорсили продукт класса federated learning. Подробнее в видео-мультике. Позволяет обучать и валидировать модели на распределенных дата-сетах, хорошо масштабируется. Имеется история успеха в biotech и медицине.
🔸 🔥 Weaviate ⎋ - представитель нового типа баз данных т.н. Vector search database (видео) с GraphQL интерфейсом. Восхитительно: в отличии от классики, база будто понимает суть данных и может, например, по запросу “цены недвижимости” вернуть статьи по этой теме, но без этих слов. Более того: автоматически классифицировать данные по заданным категориям, отвечать на вопросы по содержанию. Из коробки реализована функция поиска в картинках или похожих картинок.
🔹 ESQL Elastic Query Language ⎋ - новый язык запросов к ElasticSearch, сильно расширяющий возможности по анализу внутри стека. Интересно, что весь ES движется в новую stateless архитектуру - подробнее - что ему позволяет увеличить скорость и надежность.
🔸 Apache StreamPipes ⎋ - ранее представляли этот юзерфрендли-инструмент для подключения к потокам данных и их аналитике в режиме self-service. Очень наглядный UI и много интеграций. Покинул инкубатор и стал полноценным проектом Apache.
🔹 Databend ⎋ - разработчики, воодушевлённые Snowflake и ClickHouse, создали опенсорс-платформу для бессерверного хранилища данных. Есть и коммерческое решение Databend Cloud, см. скриншоты CJM.
🔸 Substra ⎋ - недавно заопенсорсили продукт класса federated learning. Подробнее в видео-мультике. Позволяет обучать и валидировать модели на распределенных дата-сетах, хорошо масштабируется. Имеется история успеха в biotech и медицине.
GitHub
GitHub - weaviate/weaviate: Weaviate is an open-source vector database that stores both objects and vectors, allowing for the combination…
Weaviate is an open-source vector database that stores both objects and vectors, allowing for the combination of vector search with structured filtering with the fault tolerance and scalability of ...
Что Вам может пригодиться в работе, о чем хотелось бы узнать в деталях?
Anonymous Poll
14%
Weaviate
56%
ElasticSearch
36%
Apache StreamPipes
20%
Databend
9%
Substra
Коллеги, привет!
Поделитесь, пожалуйста, обратной связью о сервисах и продуктах SberData!🔥
Просим вас уделить всего лишь 2 минуты и пройти опрос по ссылке ниже!
https://public.oprosso.sberbank.ru/p/nxiteies
Заранее спасибо!
Напоминаем, что положительная оценка начинается с 7 баллов ✅
💔💚🎬Смотрите клип о трогательных взаимоотношениях между нашими продуктовыми командами и клиентами по ссылке:
https://sberfriend.sbrf.ru/sberfriend/#/media/post/24574299
Поделитесь, пожалуйста, обратной связью о сервисах и продуктах SberData!🔥
Просим вас уделить всего лишь 2 минуты и пройти опрос по ссылке ниже!
https://public.oprosso.sberbank.ru/p/nxiteies
Заранее спасибо!
Напоминаем, что положительная оценка начинается с 7 баллов ✅
💔💚🎬Смотрите клип о трогательных взаимоотношениях между нашими продуктовыми командами и клиентами по ссылке:
https://sberfriend.sbrf.ru/sberfriend/#/media/post/24574299
🔥1
#втренде #Выпуск17
Общий лозунг Low-code и No-code: "Снижаем порог входа, что упрощает скилсет разработчиков, который можно и быстрее освоить, делает их дешевле, и сокращает время от идеи до внедрения". Наш обзор в частоности про решения для AI и ML.
Пожалуйста, напишите в комментариях, есть ли в Сбере похожие решения или инициативы.
🔸 PyCaret ⎋ - библиотка для Питона, которая упрощает и ускоряет использование таких библиотек, как scikit-learn, XGBoost, LightGBM,… Буквально low-code, потому что нужно “меньше кода” писать, что делает разработку доступной для менее провиднутых пользователей.
🔹 DataRobot ⎋ - SaaS с единым удобным UI, охватывающий весь процесс: подключение и подготовка данных, создание моделей, их деплой и эксплуатация. Многие шаги с AI-помощниками и подсказками, ускоряющими работу. Ориентирован на Enterprise.
🔸 Amazon SageMaker, Google AutoML, Azure AI - попытка бандлинга множества ML-продуктов своих экосистем с целью выстроить более целостный клиенский путь, который все же остается разорван по разным продуктам. Однако это сильно снижает порог входа и кол-во написания кода для сложных бизнес и научных задач.
🔹 ObviouslyAI ⎋ и Akkio ⎋ - SaaS ориентирован на малый и срений бизнес. Поэтому проуесс сильно упрощен: выбираем источник (есть готовые интеграции с облачными сервисами), применяем простые фильтры или джойны. Далее - тренинг модели по шаблону (AutoML, Predict, Forecast, Detect Anomalies). Каждый из них - wizard, который задает пользователю четкие указания, что нужно сделать. По результатам предлагается детальный отчет о модели, выбранном алгоритме и статистике по датасету. Последний шаг деплой-модели и регулярный экспорт данных в целевые системы (API, маркетинг, CRM, …)
🔸 Nanonets ⎋ - SaaS. Экстракция данных из неструктурированных документов. Автоматически применяет OCR, распознает ключевую информацию и экспортирует ее в виде структурированных данных.
🔹Microsoft Lobe ⎋, Google Teachable Machine ⎋ - 0 порог входа, решают простейшие задания и предназначены скорее для обучения, нежели решения промышленных задач. Дают возможность интерактивной разметки данных, тренинг и корректировку модели, импорт фото или потока видео с камеры, также работу с текстовыми файлами. Экспорт модели в CoreML, TensofFlow и тд.
🔸 Apple CreateML ⎋ - позволяет делать и более продвинутые приложения, например, для устройств Apple - пользуются камерой, микрофоном и т.д. с готовыми моделями без написания кода и быстрым обучением на Apple GPU.
Общий лозунг Low-code и No-code: "Снижаем порог входа, что упрощает скилсет разработчиков, который можно и быстрее освоить, делает их дешевле, и сокращает время от идеи до внедрения". Наш обзор в частоности про решения для AI и ML.
Пожалуйста, напишите в комментариях, есть ли в Сбере похожие решения или инициативы.
🔸 PyCaret ⎋ - библиотка для Питона, которая упрощает и ускоряет использование таких библиотек, как scikit-learn, XGBoost, LightGBM,… Буквально low-code, потому что нужно “меньше кода” писать, что делает разработку доступной для менее провиднутых пользователей.
🔹 DataRobot ⎋ - SaaS с единым удобным UI, охватывающий весь процесс: подключение и подготовка данных, создание моделей, их деплой и эксплуатация. Многие шаги с AI-помощниками и подсказками, ускоряющими работу. Ориентирован на Enterprise.
🔸 Amazon SageMaker, Google AutoML, Azure AI - попытка бандлинга множества ML-продуктов своих экосистем с целью выстроить более целостный клиенский путь, который все же остается разорван по разным продуктам. Однако это сильно снижает порог входа и кол-во написания кода для сложных бизнес и научных задач.
🔹 ObviouslyAI ⎋ и Akkio ⎋ - SaaS ориентирован на малый и срений бизнес. Поэтому проуесс сильно упрощен: выбираем источник (есть готовые интеграции с облачными сервисами), применяем простые фильтры или джойны. Далее - тренинг модели по шаблону (AutoML, Predict, Forecast, Detect Anomalies). Каждый из них - wizard, который задает пользователю четкие указания, что нужно сделать. По результатам предлагается детальный отчет о модели, выбранном алгоритме и статистике по датасету. Последний шаг деплой-модели и регулярный экспорт данных в целевые системы (API, маркетинг, CRM, …)
🔸 Nanonets ⎋ - SaaS. Экстракция данных из неструктурированных документов. Автоматически применяет OCR, распознает ключевую информацию и экспортирует ее в виде структурированных данных.
🔹Microsoft Lobe ⎋, Google Teachable Machine ⎋ - 0 порог входа, решают простейшие задания и предназначены скорее для обучения, нежели решения промышленных задач. Дают возможность интерактивной разметки данных, тренинг и корректировку модели, импорт фото или потока видео с камеры, также работу с текстовыми файлами. Экспорт модели в CoreML, TensofFlow и тд.
🔸 Apple CreateML ⎋ - позволяет делать и более продвинутые приложения, например, для устройств Apple - пользуются камерой, микрофоном и т.д. с готовыми моделями без написания кода и быстрым обучением на Apple GPU.
👍5🔥2
Друзья, совсем скоро наступит Новый год! 🎄 🌟
В преддверии праздника мы хотим порадовать вас приятными и добрыми пожеланиями на будущее ✨.
Сегодня мы запускаем наш небольшой advent-календарь поздравлений, чтобы вместе тепло проводить старый год и настроиться на грядущие достижения и свершения в новом, 2023! 🚀
Ваша команда DWH/BigData 💚
В преддверии праздника мы хотим порадовать вас приятными и добрыми пожеланиями на будущее ✨.
Сегодня мы запускаем наш небольшой advent-календарь поздравлений, чтобы вместе тепло проводить старый год и настроиться на грядущие достижения и свершения в новом, 2023! 🚀
Ваша команда DWH/BigData 💚
❤7👍6
This media is not supported in your browser
VIEW IN TELEGRAM
С наступающим, дорогие коллеги! 🎄🌟✨
🍾16👍9🎄3🔥1👏1
Дорогие коллеги!
Надеемся, вы классно отдохнули за новогодние праздники и успели соскучиться по жизни нашего комьюнити 🏋🏻🪂🏇🏻!
В прошлом году мы с вами были очень активны: провели 16 экспертных площадок, 15 митапов и 2 круглых стола; 13 раз выступили вне контура Банка, опубликовали 4 подкаста и 2 статьи на Habr.
Не собираемся останавливаться на достигнутом и хотим напомнить, что в любой из активностей выше готовы оказать поддержку участникам сообщества 💪🏻.
Есть актуальные темы для внутренних и внешних выступлений? А вопросы/ проблемные рабочие кейсы? Хотите опубликоваться на Habr? Мечтаете принять участие в нашем подкасте? Может быть, к вам пришло вдохновение и новые идеи, которые хочется воплотить в жизнь с нашей помощью? ✨
Отлично! 🚀
Ждем ваши отклики вот тут 👉 SberProfi_DWH_BigData@sberbank.ru
С уважением,
команда DWH/BigData 💚
Надеемся, вы классно отдохнули за новогодние праздники и успели соскучиться по жизни нашего комьюнити 🏋🏻🪂🏇🏻!
В прошлом году мы с вами были очень активны: провели 16 экспертных площадок, 15 митапов и 2 круглых стола; 13 раз выступили вне контура Банка, опубликовали 4 подкаста и 2 статьи на Habr.
Не собираемся останавливаться на достигнутом и хотим напомнить, что в любой из активностей выше готовы оказать поддержку участникам сообщества 💪🏻.
Есть актуальные темы для внутренних и внешних выступлений? А вопросы/ проблемные рабочие кейсы? Хотите опубликоваться на Habr? Мечтаете принять участие в нашем подкасте? Может быть, к вам пришло вдохновение и новые идеи, которые хочется воплотить в жизнь с нашей помощью? ✨
Отлично! 🚀
Ждем ваши отклики вот тут 👉 SberProfi_DWH_BigData@sberbank.ru
С уважением,
команда DWH/BigData 💚
👍7🔥6❤2
Дорогие коллеги!
Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на SDP Hadoop. Для формирования повестки просим оставлять свои вопросы здесь.
Мероприятие состоится 25 января 2023 г. Начало в 14:00.
Повестка:
• Дудник А. (SberData): SDP Compute: как будет выглядеть перенос приложения из Hadoop
• Матыцин С. (SberData): Обратная совместимость релизов SDP Hadoop: расширение регрессионного тестирования
👉 Подключиться 👈
Вопросы спикерам можно будет задать устно 😊.
Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.
Спасибо и до встречи!
С уважением,
команда DWH/BigData 💚
Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на SDP Hadoop. Для формирования повестки просим оставлять свои вопросы здесь.
Мероприятие состоится 25 января 2023 г. Начало в 14:00.
Повестка:
• Дудник А. (SberData): SDP Compute: как будет выглядеть перенос приложения из Hadoop
• Матыцин С. (SberData): Обратная совместимость релизов SDP Hadoop: расширение регрессионного тестирования
👉 Подключиться 👈
Вопросы спикерам можно будет задать устно 😊.
Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.
Спасибо и до встречи!
С уважением,
команда DWH/BigData 💚
❤1
Дорогие коллеги!
Приглашаем вас посетить митап SberProfi DWH/BigData, который состоится 31 января 2023 года.
Начало в 14:30.
👉 Подключиться 👈
Повестка:
• Руженцев М., Горюнов А. (SberData): Процесс организации Python-окружения на кластерах SDP Hadoop. Механизм Mpack SDP Hadoop как замена Parcel от Cloudera
• Тураев А., Юсупов А. (SberData): Сервис управления потоками данных – новые фичи с версии 1.2.48
• Носенко Н. (SberData): Оценка зрелости управления данными. Чему нас учит DAMA DMBOK?
Вопросы докладчикам можно задать в онлайн-режиме в чате СберМитапа.
Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.
До встречи!
С уважением,
команда DWH/BigData 💚
Приглашаем вас посетить митап SberProfi DWH/BigData, который состоится 31 января 2023 года.
Начало в 14:30.
👉 Подключиться 👈
Повестка:
• Руженцев М., Горюнов А. (SberData): Процесс организации Python-окружения на кластерах SDP Hadoop. Механизм Mpack SDP Hadoop как замена Parcel от Cloudera
• Тураев А., Юсупов А. (SberData): Сервис управления потоками данных – новые фичи с версии 1.2.48
• Носенко Н. (SberData): Оценка зрелости управления данными. Чему нас учит DAMA DMBOK?
Вопросы докладчикам можно задать в онлайн-режиме в чате СберМитапа.
Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.
До встречи!
С уважением,
команда DWH/BigData 💚
👍5
SberProfi DWH/BigData
Дорогие коллеги! Приглашаем вас посетить митап SberProfi DWH/BigData, который состоится 31 января 2023 года. Начало в 14:30. 👉 Подключиться 👈 Повестка: • Руженцев М., Горюнов А. (SberData): Процесс организации Python-окружения на кластерах SDP Hadoop.…
Друзья, ждем всех на митапе!
Уже начинаем ⛷️
Уже начинаем ⛷️
❤2