​​🚀Optuna. Подбор гиперпараметров для вашей модели

В этой статье автор расскажет, почему гиперпараметры, задаются разработчиком модели перед ее обучением, и почему фреймворк Optuna обычно используют как оптимизатор гиперпараметров, а также вы узнаете как разработчик может самостоятельно задать пространство для поиска гиперпараметров, используя базовый синтаксис Python.

Читать...

​​🤫Вся правда о кубах данных OLAP: развенчиваем мифы

В этой статье автор расскажет, почему кубы данных — не самая простая тема в дата-инжиниринге, и как кубы данных могут помогать бизнес-аналитикам предварительно упаковывать и агрегировать важные для стейкхолдеров показатели, а также вы узнаете почему кубы это важная характеристика ядра традиционных OLAP-систем.

Читать...

​​🚀Как ускорить вывод ML-моделей в 4 раза, или Как может выглядеть экосистема МLOps в банке

В этой статье автор расскажет, как может выглядеть полноценный конвейер MLOps, и что может уметь, а также вы узнаете как прийти к максимальной автоматизации процесса вывода моделей в промышленную эксплуатацию.

Читать...

​​🤨Cache warming в Qlik Sense из подручных материалов

В этой статье автор расскажет, как сделать приложения Qlik Sense быстрее, и почему Qlik не оптимизирован под постоянную работу с внешними источниками, а также вы узнаете какие бывают инструменты для Cache warming.

Читать...

​​😎Применение регулярных выражений для обработки данных

В этой статье автор расскажет, почему сейчас регулярные выражения применяются в разнообразных задачах, и как регулярные выражения могут применяться для решения задач SQL, а также вы узнаете почему на практике не все специалисты применяют регулярные выражения для решения поставленных задач в SQL.

Читать...

​​✉️Как Почта моделирует риски потери отправлений

В этой статье автор расскажет, почему антифрод в логистике — нетривиальная задача, и какие данные легли в основу модели, а также вы узнаете как создать модель, которая предсказывает до 97% возможных пропаж международных отправлений.

Читать...

​​👤Дообучение модели машинного перевода

В этой статье автор расскажет, почему разработчики машинного перевода часто рассказывают об использовании предварительно обученных моделей, и как можно дообучить такую модель самому, а также вы узнаете почему после дообучения, при помощи кода m2m_multiling_tune_epochs. py, перевод стал гораздо приятнее.

Читать...

​​🧑🏼‍💻«Инженеров данных заменит автоматика» и другие мифы о DE

В этой статье автор расскажет, почему инженеры данных готовят данные для анализа, машинного обучения и других целей, и почему мифы про бесконечный кодинг или однообразие задач могут показаться глупыми и смешными, а также вы узнаете как No-code-инструменты позволяют управлять данными и упрощают создание их базовых структур.

Читать...

​​🚀Оптимизация выборок в больших коллекциях MongoDB

В этой статье автор расскажет, почему при работе с большими коллекциями в MongoDB, размер которых превышал десятки миллионов записей, возникает необходимость формировать случайные выборки уникальных значений полей, принадлежащих документам этой коллекции, а ещё вы узнаете почему для такой операции, в MongoDB штатно предусмотрена функция $sample, которую можно использовать в составе pipeline при проведении агрегации данных.

Читать...

​​👤Без лишних слов или очищаем речь с помощью текст майнинга

В этой статье автор расскажет, почему поиск качественного инструмента для анализа аудио свелся к выбору между облачными сервисами, и как данное исследование поможет разобраться с нашими вербальными привычками, а также вы узнаете как после нетривиальных настроек облака стал доступен API асинхронного распознавания.

Читать...

​​🧑🏼‍💻Как внедрить Data Driven подход в систему управления поставками

В этой статье автор расскажет, почему каждое предприятие при организации складских запасов ориентируется на производственные планы, и почему после внедрения системы менеджер будет заниматься только интеллектуальной работой, а также вы узнаете о проблемах управления цепями поставок и способы их решений.

Читать...

​​📊Генерация конвейеров обработки данных в Dataflow

В этой статье автор расскажет, почему в Dataflow есть несколько вариантов образцов рабочих потоков, но бизнес-логика используется в них одна, и почему файл определения main содержит логику только одного выполнения, а также вы узнаете почему поток daily выполняет main на ежедневной основе в течение установленного количества прошедших дней.

Читать...

​​😬Как развернуть Apache Superset в облаке: Docker, ВМ, Kubernetes

В этой статье автор расскажет, какие есть способы развёртывания Apache Superset на разных платформах, и почему вариант с развёртыванием Apache Superset в Docker больше подходит для быстрых тестов, а также вы узнаете какие есть вариант с развёртыванием Apache Superset на виртуальных машинах.

Читать...

​​🤔PySpark для аналитика. Как выгружать данные с помощью toPandas и его альтернатив

В этой статье автор расскажет, как правильно использовать функцию toPandas вместе с библиотекой pyArrow, и когда использовать toPandas не стоит.

Читать...

​​😵Локализация и рывок вперед: как мы разработали новый подход к облачному хранению данных для Hoff

В этой статье автор расскажет, как сделали облачное хранилище понятным и структурированным источником информации для Hoff, и почему надежность хранилища определяется качеством системы оповещений, то есть алертингом.

Читать...

​​🧑🏼‍💻Реализация мультиоблачной стратегии для Cloud Storage в Битрикс24

В этой статье автор расскажет, зачем понадобилось S3-хранилище, и как его внедряли и интегрировали в архитектуру облачного сервиса Битрикс24.

Читать...

​​👾Особенности автоматического дифференцирования в PyTorch. Часть 1

В этой статье автор расскажет, почему PyTorch активно развивается более пяти лет и представляет собой целую экосистему для создания моделей машинного обучения на основе глубоких нейронных сетей, и как они помогают научному и бизнес-сообществу проводить исследования, вести разведку данных и проверять гипотезы.

Читать...

​​🤔Почему для MLOps лучше выбирать Open Source, а не проприетарное ПО

В этой статье автор расскажет, как команды по машинному обучению могут использовать проприетарные платформы или создавать собственные решения с помощью Open-Source-инструментов, и почему компании часто представляют проприетарные платформы как более мощные, эффективные и простые в использовании.

Читать...

​​👤BI система на прокачку: как мы используем плагины Fine BI

В этой статье автор расскажет, как устанавливаются плагины без смс, регистрации и одноразовых SIM карт, и почему изначально плагины использовались, чтобы фиксить баги в версиях или расширять возможности пользователей и администраторов.

Читать...

​​Лаборатория Apache Spark Advanced – хардкор-программа для middle и senior дата-инженеров от Newprolab

➞ летний поток c 3 по 31 июля онлайн
➞ 8 занятий по 3 часа с преподавателем в зуме
➞ 4 лабы, объединенные в один проект
➞ облачный кластер для выполнения лаб
➞ автоматическая проверка лаб чекерами
➞ малая группа и помощь эксперта
➞ преподаватель: Сергей Гришаев, Architect, Сбермаркет

Вы разработаете коннектор к гибридному хранилищу и разберетесь раз и навсегда, что скрыто в Spark "под капотом" и как ускорить обработку данных в своих проектах 

До конца июня действует специальный промокод friends10, который дает еще 10% скидки от цены, указанной на сайте

Узнать подробности и стать участником ➞

​​😮Её величество Иерархия. Классификация и способы хранение в MS Excel

В этой статье автор расскажет, почему в некоторых случаях можно ввести ограничения на иерархию, и почему Excel основан на плоских принципах, а также вы узнаете как это практически можно применять.

Читать...