На канале general в нашем Slack уже опубликованы решения участников из ТОП5 конкурса в Kaggle. Тема конкурса - "Прогнозирование продаж с помощью машинного обучения".

Представлены решения участников из русскоязычных стран и из Польши.

Здесь ссылка для присоединения к Slack, если вы еще не там 😎

3 дня интенсива от DataWorkshop:

✅ 100% практика
✅ реальные данные
✅ попрактикуетесь в Python
✅ создадите и обучите модели машинного обучения
✅ получите навык по применению библиотек Pandas, Scikit-learn, XGBoost и др.
✅ научитесь анализировать данные и делать на их основе правильные прогнозы
✅ поучаствуете в конкурсе в Kaggle
✅ получите доступ к материалам в готовой среде (нужен только интернет)
✅ получите именной электронный сертификат

Бесплатно только для первой 1000 записавшихся. Запись по этой ссылке.

4 апреля стартует 2-й выпуск курса по Data Science на русском языке.
Длительность - 4 недели 🚀.

Данный курс поможет получить фундаментальные знания в машинном обучении.
Полученные знания можно сразу применять в своих рабочих проектах 🤖.
А можно полностью уйти в сферу Data Science 🦾.

👉 Подробности о курсе

👉 Сегодня и завтра можно приобрести курс со скидкой 20%

Scikit-learn - это не просто одна из самых популярных и практически применимых библиотек для Python.

Она предоставляет огромный набор инструментов для Data Science:
🤖 самые различные виды алгоритмов классификации, регрессии и кластеризации
🤖 валидация и сохранение моделей, работа с метриками успеха моделей, настройка гиперпараметров
🤖 различные преобразования данных, заполнение отсутствующих значений и векторизация и др.

Основные преимущества Scikit-learn:
⭐ возможность интеграции с другими библиотеками для Python
⭐ множество современных алгоритмов
⭐ удобный интерфейс и подробную документацию

Завтра, 6 апреля, в рамках DWClub стартует 3-дневный практикум по работе с библиотекой Scikit-learn 🦾

В клубе больше 10 практических материалов по проведенным интенсивам на реальных данных, шпаргалки, пошаговые видео для новичков и просто куски готового кода, которые сразу можно использовать в рабочих проектах 😉

Стать участником клуба 🤝

Угарный газ (CO) – это один из самых распространенных и опасных токсинов. Он образуется при горении любых материалов🔥 , в состав которых входит углерод – это бензин, природный газ, дрова и др. органические материалы.

Один из основных производителей угарного газа — энергетическая отрасль и автотранспорт.🚘

В ТОП-10 самых опасных для окружающей среды ☠️ попали электростанции, которые расположены в США, Европе (Польша, Германия), Восточной Азии (Китай, Южная Корея, Япония, Тайвань) и Индии.

Машинное обучение уже сейчас используется для прогнозирования выбросов CO в промышленности.

Участники нашего клуба смогут поучаствовать в конкурсе в Kaggle и сделать прогнозы (на основании реальных данных) по выбросу CO на электростанции.

Для этого будут использоваться такие признаки, как:
✅ влажность и температура окружающей среды
✅ перепад давления на воздушном фильтре
✅ давление газовой турбины и мн. др.
Участие в таком конкурсе - это отличная возможность пополнить свое портфолио нетиповым, но важным решением 🤓

Machine Learning - это эксперименты. Много экспериментов.

А когда у Тебя десятки или даже сотни экспериментов, то рано или поздно столкнешься с такими проблемами🤯 :
​​🙅‍♂️ Не сможешь вспомнить - какие именно параметры использовались при обучении ML моделей и какого качества были модели

🙅‍♂️ Не сможешь воспроизвести свой же лучший результат, т.к. "потеряешься" среди огромного количества экспериментов

🙅‍♂️ Фильтровать и находить эксперименты по различным параметрам становится практически невозможно и др.

Для решения таких проблем есть отличный инструмент - MLflow!

Преимущества MLflow:
📌 Возможность сохранять (логировать) любые форматы файлов (картинки, csv, html, графики).

📌 Масштабируемость – вся информация сохраняется (записывается), независимо от количества моделей.

📌 Централизованное и безопасное хранилище.

📌 Вся информация о метриках модели структурирована.

📌 Простая и понятная документация и API и др.

6 мая запускаем 2-х дневный интенсив по MLflow 👉 https://bit.ly/3sd5r2E

Сегодня, 13 мая в 19:00 по Минску, Москве, Киеву пройдет вебинар "Практическое применение MLflow Tracking".

Почему стоит посетить вебинар (и лучше быть с нами онлайн 😉 ):
✅ На вебинаре будут пояснения по практическим материалам 2-х дневного интенсива по MLflow Tracking
✅ Владимир ответит на все ваши вопросы
✅ Поймете как и для чего используется MLflow Tracking

Принять участие в вебинаре можно по 👉 ЭТОЙ ссылке

26 мая запускаем 4-дневный интенсив по прогнозированию цен на недвижимость в Варшаве 🥳

✅ Мы даем возможность поработать над проектом с реальными данными.
✅ Пошагово расскажем, что нужно делать, чтобы научиться создавать решения для прогнозирования цен на недвижимость (на самом деле в дальнейшем можно прогнозировать все что угодно).
✅ Настраивать и устанавливать ничего не нужно - обучение на наших серверах.
✅ Для новичков дополнительные пошаговые видео.
✅ Сертификат о прохождении интенсива.

Для первых 500 записавшихся участие бесплатное.

Запись по ссылке 👉 https://bit.ly/38EAg9Z

Недавно завершился хакатон, который мы проводили в Польше для телекоммуникационной компании - Orange 🥳.

Вызов приняли около 200 сотрудников компании, образовали 37 команд и в течение 2-х недель создавали модели ML для решения конкретных бизнес задач своей компании.

Обычно такие крупные компании, как Orange, сотрудничают только с крупными игроками (нп. McKinsey 😎), но DataWorkshop на своем примере показывает - если ты создаешь ценность, твои услуги всегда будут востребованы.

Впереди у нас с Orange новые проекты, но и вам скучать мы не дадим 🙂.

Уже завтра начинается наш 4-х дневный интенсив по прогнозированию цен на недвижимость в Варшаве🦾

Бесплатных мест уже не осталось. Но цена для участия все еще остается символической, которая покроет (даже не покроет 😬) затраты на серверы.

На таких интенсивах получаете возможность перенять опыт, который используется даже в крупных компаниях мира.

Автор всех наших образовательных программ - Владимир, с опытом 14+ лет в европейских и американских компаниях 💪

Flask - это веб-фреймворк для создания веб-приложений и API. У него есть много интересных функций, таких как:
✅ url routing (маршрутизация URL-адресов)
✅ template engine (механизм шаблонов) и др.

Изначально Flask создал австрийский разработчик Армин Ронахер в 2010 году (в качестве первоапрельской шутки 🙈).

🤓 ​​Несмотря на шуточное происхождение, фреймворк Flask стал бешено популярным как альтернатива проектам Django с их монолитной структурой и зависимостями.

Flask позволяет:
👉 деплоить свой код
👉 интегрировать веб-API для создания более широкой функциональности.

Flask - это микрофреймворк, но это не значит, что все ваше приложение должно быть внутри одного файла Python.

Микро означает, что:
1️⃣ среда Flask проста, но расширяема
2️⃣ в комплекте нет набора инструментов и библиотек, но их можно установить

🔥🔥Flask — одна из самых популярных веб-платформ, что означает, что она актуальна и современна. Вы можете легко расширить ее функциональность, а также масштабировать для сложных приложений.

API (Application Programming Interface) - это программный интерфейс приложения.

В контексте API слово «приложение» относится к любому ПО, а "интерфейс" можно рассматривать как контракт между двумя приложениями, который определяет, как они взаимодействуют друг с другом. Используются запросы и ответы.

Можно рассмотреть это по аналогии:
✅ клиент, официант и повар, где:
✅ клиент - это приложение1 , официант - API, а повар - приложение2.


Примеры по использованию API:
👉 Быстрый способ регистрации на сайтах с помощью своего аккаунта в соц.сетях.
👉 Покупаете на сайте билеты в кино, на самолет и т.д.
👉 Смотрите прогноз погоды в приложении вашего телефона
👉 Смотрите ролик YouTube не в YouTube
👉 Встроенная форма записи к врачу через Google Календарь .

Для чего используют API:
🔥 Для упрощения и ускорения разработки своих продуктов (используя уже что-то ранее созданное).
🔥 Чтобы сделать разработку более безопасной
🔥 Развивать свои приложения, предоставляя услуги через API и др.

🤖 Жизненный цикл моделей машинного обучения можно определять по-разному, вот один из примеров:

1️⃣Gathering data (сбор данных)
2️⃣Data preparation (подготовка данных)
3️⃣Data Wrangling (обработка данных)
4️⃣Data Analysis (анализ данных)
5️⃣Train Model (тренировка/обучение модели ML)
6️⃣Test Model (тестирование модели ML)
7️⃣Deployment (развертывание/внедрение модели)

Каждый пункт подробно рассмотрим в следующих постах.
7-й пункт, внедрение модели в продакшн, один из самых сложных.
А большинство моделей ML так и остаются на этапе обучения 😱.

В нашем DW Club сегодня стартовал 2-х дневный интенсив, на котором как раз и затронется тема - Deployment👌 . Материалы этого интенсива и 10+ других останутся на вашем аккаунте на все время подписки в клубе 🙂.

Deployment - это полезная, интересная, очень важная и
сложная тема, но обязательная для всех, кто планирует связать свою жизнь с Data Science ❤️.

Gathering Data (Сбор данных) — это первый этап жизненного цикла машинного обучения. Целью этого шага является выявление и получение всех проблем, связанных с данными.

На этом этапе необходимо определить различные источники данных.

Возможные источники сбора данных:
✅ базы данных
✅ интернет ресурсы
✅ различные файлы

Это один из важнейших этапов жизненного цикла. Количество и качество собранных данных будут определять эффективность выходных данных. Чем больше будет данных, тем точнее будет прогноз 💪.

Этот шаг включает в себя следующие задачи:
👉 Определение различных источников данных
👉 Сбор данных
👉 Интеграция данных, полученных из разных источников

После выполнения вышеуказанных задач, мы получаем согласованный набор данных, который будет использоваться на следующих этапах жизненного цикла машинного обучения 🤖.