DataWorkshop - AI & ML – Telegram
DataWorkshop - AI & ML
1.91K subscribers
204 photos
22 videos
13 files
150 links
Онлайн-обучение от европейской компании DataWorkshop.

Курсы по: Статистике, SQL, Python, Data Science, Нейронным сетям, Time Series, NLP.

Корпоративное обучение.

Помогаем внедрять машинное обучение в бизнес.

Сайт:
https://dataworkshop.ru
Download Telegram
6️⃣ Поддержка нескольких форматов файлов
Pandas поддерживает огромное количество разных форматов файлов (hdf5, csv, json, Excel и т. д.).

7️⃣ Объединение наборов данных
Pandas может помочь объединить различные наборы данных с максимальной эффективностью, что помогает получить оочный результат (без искажения).😱

8️⃣Оптимизированная производительность
Pandas высокоуровневая библиотека для анализа данных - построена поверх более низкоуровневой библиотеки NumPy (написана на Си), что является большим плюсом в производительности.

9️⃣ Поддержка Python
Python стал одним из самых востребованных языков программирования при анализе данных, т.к. имеет в своем распоряжении огромное количество библиотек. Pandas является частью Python и позволяет получать доступ к другим библиотекам (NumPy и MatPlotLib).

🔟 Большое количество временных рядов
Эти функции Pandas не будут иметь смысла для новичков сразу, но они будут очень полезны в будущем. Эти функции включают в себя статистику движущихся окон и преобразование частоты.
У нас для вас отличная новость 🥳

Многие из вас уже участвовали в нашем онлайн-интенсиве DWthon, где мы применяли ML при работе с данными магазина из Великобритании.

В предстоящие выходные (25 и 26 сентября) мы запускаем новый интенсив - Dwthon 2.0.
Будем прогнозировать цены на автомобили с помощью ML 🦾

Что вас ждет на 2-дневном интенсиве:
готовое окружение (Jupyter), в котором будем работать - устанавливать ничего не нужно
реальные данные
для начинающих дополнительная поддержка
создаете и тренируете свои модели машинного обучения
участвуете в конкурс в Kaggle и др.

Для первых 1000 записавшихся, участие абсолютно бесплатное, поспешите 😉

> https://bit.ly/3EFTy9O <
Наш интенсив "Прогнозирование цен на автомобили с помощью Machine Learning" стартовал 🚀.

На email отправлены данные для авторизации на сервере.
В Slack вся подробная информация с планом проведения интенсива.

Если вы еще не там - присоединяйтесь 🙂
Мы начинаем 🦾💪
Менее, чем через неделю стартует наш "Data Science курс с нуля".
Что даст курс:
Умение использовать язык Python для ML;
Знания, как применять наиболее эффективно используемые на практике библиотеки для работы с данными: Numpy , Pandas, Sklearn;
Научитесь работать с наиболее практически используемыми алгоритмами: Decision Trees, Random forest, XGboost, CatBoost и др.;
Навыки работы с методами: классификация и регрессия;
Навыки работы с инженерией признаков (Feature engineering).
Научитесь тюнить (подбирать) параметры эффективно, а не просто "в лоб";
Узнаете, что такое переобучение и как с этим бороться;
Познакомитесь с возможными видами валидаций моделей машинного обучения;
Познакомитесь с кривой обучения и поймешь;
Познакомитесь с различными метриками успеха и поймешь в чем их разница ;
Создадим портфолио;

Более 1000 наших студентов из разных стран мира уже работают в сфере Data Science.

Следующий выпуск такого курса будет не скоро и уже по другой цене 😱.

Регистрация 👉 ЗДЕСЬ👈
Сегодня (1 октября) в 19:00 по Москве пройдет вебинар, посвященный подведению итогов интенсива "Прогнозирование цен на авто с помощью ML".

Вебинар проведет Владимир вместе с участниками интенсива, результаты которых вошли в ТОП 5 на конкурсе в Kaggle 🏆.

Участники поделятся своим опытом и расскажут, как им удалось добиться таких хороших результатов 🦾.

Ссылка на вебинар здесь:
👉 https://bit.ly/3Ab9NbP 👈

Не пропустите 😉
В предыдущих постах мы уже рассмотрели 10 основных функций в Pandas.

Сегодня рассмотрим 5 последних:

1️⃣ Визуализация данных - важная часть науки о данных. Это то, что делает результаты исследования понятными человеческому глазу. У Pandas есть встроенная возможность создания разных графиков.

2️⃣ Группировка
Функция GroupBy() позволяет разбить данные на отдельные группы для выполнения вычислений для лучшего анализа.

3️⃣ Уникальные данные
При анализе данных очень важно уметь отбирать именно уникальные значения. Функция dataset.column.unique () (где «dataset» и «column» - это имена набора данных и столбца соответственно) позволяет видеть уникальные значения в наборе данных.

4️⃣ Данные по маске
Возможность отфильтровать данные для достижения конкретных целей - важный инструмент. В Pandas функция mask() позволяет это сделать.

5️⃣ Выполнять математические операции с данными
Функция apply() - одна из самых привлекательных особенностей Pandas. Она позволяет манипулировать данными.
4 октября 2021 вышел релиз Python - 3.10.

Приведем самые интересные обновления из последней версии:

1️⃣Улучшенные сообщения об ошибках
Более точные сообщения об ошибках для многих распространенных проблем.

2️⃣Предложены новые встроенные функции aiter() и anext() с реализацией асинхронных аналогов функциям iter() и next().

3️⃣Реализованы операторы "match" и "case" для сопоставления с образцом, которые позволяют улучшить читаемость кода, упростить сопоставление произвольных Python-объектов и повысить надёжность кода.

4️⃣Предоставлена возможность использования круглых скобок в операторе with для разнесения на несколько строк определения коллекции контекстных менеджеров.

5️⃣Для отладочных инструментов и профилировщиков обеспечено указание в событиях трассировки точных номеров строк выполненного кода.

6️⃣ В модулях hashlib и ssl добавлена поддержка OpenSSL 3.0.0 и прекращена поддержка версий OpenSSL меньше 1.1.1.

7️⃣ Объявлен устаревшим модуль distutils, который запланирован для удаления в Python 3.12.
Открываем тренажерный зал в рамках клуба DataWorkshop - DWgym 💪 😉

Будем тренироваться, но на Python 💪, а вашим личным тренером будет Владимир Алексейченко 😎

Вы тоже можете писать код на Python! И если до сих пор что-то мешало вам начать или первый шаг позади вас, но все еще сложно написать функцию или цикл на Python, то мы приглашаем в наш DWClub и тренажерный зал питона 😉

Во вторник, 26 октября стартует трехдневный тренинг по Python, который даст вам больше, чем месяцы самостоятельной работы.

Вы получаете 50+ заданий, и мы тренируемся вместе, как в спортзале. Хотя у нас появится эффект уже через 3 дня и спортивная экипировка не нужна 😉

Внимание! Участники DWClub получат дополнительные задания и неограниченный доступ к материалам. Если вы хотите тренироваться у нас более 3 дней, присоединяйтесь к DWClub - развитие гарантировано и на разных уровнях 🙂

Ссылки для регистрации на 3-дневный DWgym и DWClub:

👉 DWgym - https://bit.ly/30LoJkB
👉 DWClub - https://bit.ly/30LXlTD
Важное событие 😉

Для наших подписчиков DWClub в эти выходные (30 и 31 октября) будет проходить конкурс в Kaggle "Прогнозирование опозданий трамваев в Кракове c помощью ML".

Для конкурса мы подготовили:
реальные данные
стартеры, которые помогут в решении задач для конкурса

Данный конкурс - отличный шанс попрактиковаться в применении языка Python на практике и создании моделей машинного обучения для решения конкретной задачи.

Именно такие навыки нужны специалисту в Data Science в рабочих проектах.

Начало завтра в 10-00 по Москве. В течение 2-х дней заниматься можно в любое удобное время. 31 октября в 23:59 будет подведение итогов конкурса.

Проведите выходные с пользой 🦾

Ссылка на оформление подписки в DWClub - https://bit.ly/30LXlTD
Периодически мы рассказываем, что деятельность нашей компании связана не только с обучающими программами в сфере Machine Learning👩‍🎓👨‍🎓.

Также мы помогаем бизнесу (как небольшим компаниям, так и корпорациям) внедрять решения, связанные с машинным обучением 🤖.

А сейчас мы в Польше запускаем новый проект для одного из крупнейших мировых телекоммуникационных операторов (NDA не позволяет раскрыть все подробности).

Суть проекта - с помощью хакатона показать практическое применение одной из самых новейших и инновационных технологий - Machine Learning 🦾🧠

В хакатоне смогут принять участие около 1000 сотрудников компании. Это будет чистая практика на реальных данных этой компании.

Такие хакатоны бесценны тем, что сотрудники компании смогут не просто поучаствовать в мероприятии по получению навыков в сфере ML, но и найти интересные и полезные решения для бизнеса.
А в ваших компаниях проводят такие хакатоны?
Anonymous Poll
11%
Да
73%
Нет, но очень хотелось бы
17%
Расскажу в своей компании, что так можно;)
С 16 ноября в DataWorkshop начнется Black Week.

Только 1 раз в году мы предоставляем возможность приобрести наши онлайн-курсы тарифа GOLD по самым выгодным ценам 😎.

Скидка будет достигать даже 50% 😱

Чтобы быть в числе первых, кто сможет приобрести наши онлайн-курсы по самым выгодным условиям - оставляем здесь ссылку для предзаписи:

👉https://bit.ly/3kuOWLw 👈

Не упустите свой шанс 😉
😎 Black week в DataWorkshop!
Всего 5 дней (с 16 по 20 ноября) действуют огромные скидки на наши курсы.

У нас все честно - мы не поднимаем предварительно цены, чтобы потом сделать мнимую скидку 😱.

Только 1 раз в году можно приобрести наши курсы по ТАКИМ низким ценам!

Скидка 40% на курсы тарифа GOLD:
🔥Практическое введение в Python для Data Science
🔥Data Science курс с нуля

Личная рекомендация от Владимира - если у вас нет опыта в языке программирования Python или же не хватает в нем практики - начните свое погружение в мир машинного обучения с 3-недельного курса "Практическое введение в Python для Data Science".

Приобретая сразу 2 вышеуказанных курса, вы получаете скидку в 50% на КАЖДЫЙ курс.

А мы всегда поможем - с нами у вас все получится 🦾

Ссылка на Black Week - ЗДЕСЬ.
AIOps (Artificial Intelligence for IT Operations) — это новый подход к управлению IT.

AIOps состоит из двух основных компонентов: «большие данные» и «машинное обучение».

Что вынуждает двигаться в сторону AIOps?
Сложность управления в ручном режиме современной инфраструктурой
Объем данных необходимых ИТ-службе экспоненциально растет
Все больше ресурсов переносится за пределы корпоративной среды (облачные технологии, сервисы от третьих лиц и т.д.)
Проблемы с ИТ средой должны решаться быстро

Подведем итоги - что могут дать инструменты AIOps IT организациям:
унифицированный анализ событий
снижает уровень шума в ИТ-данных
снижает трудозатраты
сокращает объем ИТ-заявок
быстрее решает ИТ-проблемы
предсказывает/предотвращает сбои до воздействия на клиента
автоматизирует анализ первопричин
ускоряет разрешение инцидентов или проблем
улучшает ИТ производительность и снижение совокупной стоимости владения.

Внушительный список преимуществ, не правда ли? 😉
This media is not supported in your browser
VIEW IN TELEGRAM
Ошибки прогнозирования можно разложить на два основных вида: смещение (bias) и дисперсия (variance). Компромисс между способностью модели машинного обучения минимизировать смещение и дисперсию является основой.

В прикрепленных файлах примеры хорошей визуализации для:
1️⃣ Простой модели с недообучением (underfitting). В данном случае модель игнорирует полезную информацию, и ошибка состоит в основном из смещения. Модель слишком проста для точного отражения взаимосвязей между признаками X и меткой Y.

2️⃣ Сложной модели с переобучением (overfitting). Здесь модель запоминает не общие закономерности, и ошибка состоит в основном из дисперсии. Модель вместо того чтобы изучать истинные тенденции, лежащие в основе набора данных, запомнила шум и не может обобщить наборы данных, выходящие за рамки обучающих данных.

Идеальная модель стремится минимизировать как смещение, так и дисперсию. Достижение такого баланса дает минимальную ошибку.

Более подробно можно почитать здесь 👉 https://bit.ly/3x5xBO9
👍1
Напоминаем, что сегодня последний день Black Week

Еще можно успеть приобрести курсы по самым привлекательным ценам 😉
Но времени осталось мало...

Ссылка на Black Week
👉 ЗДЕСЬ 👈
Завтра - 25 ноября мы запускаем 2 дневный интенсив по Data Science с конкурсом в Kaggle.
Тема: "Прогнозирование банкротства в Тайване".

По уже сложившейся традиции будем работать с реальными данными 🦾

Чего ждать от интенсива Dwthon (4 выпуск) :
​​ попрактикуетесь в языке Python
создадите и потренируете модели машинного обучения
примите участие в конкурсе в Kaggle
100% онлайн
100% практики
стартеры, которые помогут правильно действовать
доступ к материалам 24/7
сертификат и др.

Dwthon4 - это новый материал для нашего клуба (DWClub), но в течение 2 дней в интенсиве могут принять участие все желающие.
Количество мест ограничено 👉 https://bit.ly/3HRigWD
Будешь принимать участие в интенсиве и конкурсе?😎
Anonymous Poll
36%
Конечно 🙂
46%
Постараюсь 🤓
18%
В следующий раз 😉