Машинное обучение: основы, модели и их связь с анализом данных
Сегодня мы начнем блок постов о машинном обучении и обсудим его основных концепциях: данных, моделях и процессе обучения. Также поговорим, как машинное обучение связано с анализом данных. Разберём всё по порядку и посмотрим примеры на Python.
🟠 Файл с кодом.
Если у вас есть вопросы или вы хотите узнать больше о конкретных аспектах машинного обучения, пишите в комментариях!
А здесь немного подробностей о профессии ML-инженер.
Сегодня мы начнем блок постов о машинном обучении и обсудим его основных концепциях: данных, моделях и процессе обучения. Также поговорим, как машинное обучение связано с анализом данных. Разберём всё по порядку и посмотрим примеры на Python.
Если у вас есть вопросы или вы хотите узнать больше о конкретных аспектах машинного обучения, пишите в комментариях!
А здесь немного подробностей о профессии ML-инженер.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10👍7❤6
Simulative
Как просто верстать отчёты в Power BI и не страдать Присоединяйтесь к нашему вебинару 17 декабря в 19:00 по МСК, где мы за 60 минут в прямом эфире создадим отчёт, который будет не только ровным, но и сочным, а главное — удобным для восприятия! Спикер вебинара…
Присоединяйтесь сегодня в 19:00 по МСК к нашему вебинару «Как просто верстать отчёты в PowerBI и не страдать», где мы за 60 минут в прямом эфире создадим отчёт, который будет не только ровным, но и сочным, а главное — удобным для восприятия!
Спикер вебинара, Мария Гришина — ведущий BI аналитик в ООО Салаир (РЖД) и автор телеграмм-канала «Power BI Design» — раскроет секреты грамотной верстки, поделится полезными приёмами и лайфхаками и сверстает отчёт в прямом эфире за 60 минут.
➡️ Зарегистрироваться
Спикер вебинара, Мария Гришина — ведущий BI аналитик в ООО Салаир (РЖД) и автор телеграмм-канала «Power BI Design» — раскроет секреты грамотной верстки, поделится полезными приёмами и лайфхаками и сверстает отчёт в прямом эфире за 60 минут.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤4🔥3
Разбор тестового задания на аналитика
Тем, кто стремится развивать свои навыки в области аналитики, важна практика. Делимся материалом, где рассмотрели, какие именно навыки и знания ожидают работодатели, а также как подготовиться к подобным тестовым заданиям на собеседованиях.
Чем будет полезен для вас разбор тестового задания?
🟠 Узнаете, какие навыки требуют крупные компании при найме junior аналитиков;
🟠 Сможете попробовать сами решить тестовые задания без стресса, в спокойной домашней обстановке;
🟠 Упор в заданиях сделан на SQL: поэтому вы сможете проверить свои силы в нем и увидеть слабые места;
🟠 К каждому заданию мы добавили подробный разбор с кодом, где объясняем все тонкости и нюансы решения.
➡️ Получить материал
#полезность
Тем, кто стремится развивать свои навыки в области аналитики, важна практика. Делимся материалом, где рассмотрели, какие именно навыки и знания ожидают работодатели, а также как подготовиться к подобным тестовым заданиям на собеседованиях.
Чем будет полезен для вас разбор тестового задания?
#полезность
Please open Telegram to view this post
VIEW IN TELEGRAM
❤11👍11🔥4
Учитесь у профессионалов и достигайте успеха в аналитике данных
BI-аналитик — специалист, помогающий компаниям принимать обоснованные решения на основе анализа данных, представляя их в виде наглядных отчетов и дашбордов.
Уже в эту пятницу стартует новый поток курса «BI-Аналитик». Какие компетенции вы получите в конце обучения:
🟠 Разберётесь в продуктовых метриках, которые используются чаще всего;
🟠 Освоите правила визуализации данных и научитесь строить красивые и понятные дашборды;
🟠 Сможете строить сложные дашборды в 2 самых популярных BI-системах - Power BI и Superset, визуализировать и писать SQL-запросы;
🟠 Научитесь работать с классическими базами данными и хранилищами данных на примере самых популярных – PostgreSQL и Clickhouse.
Еще одна хорошая новость — сейчас мы открыли возможность стать фулстек-аналитиком с выгодой до 21%. Мы объединили свои курсы в три трека:
🟠 Аналитик данных с сильной экспертизой в BI;
🟠 Аналитик-инженер данных: 2 в 1;
🟠 Фулстек-аналитик.
➡️ Оставляйте заявку, уточняйте условия и выбирайте свое лучшее будущее в профессии.
Назовите менеджеру уникальный промокод NEW10, чтобы получить 10% дисконт.
BI-аналитик — специалист, помогающий компаниям принимать обоснованные решения на основе анализа данных, представляя их в виде наглядных отчетов и дашбордов.
Уже в эту пятницу стартует новый поток курса «BI-Аналитик». Какие компетенции вы получите в конце обучения:
Еще одна хорошая новость — сейчас мы открыли возможность стать фулстек-аналитиком с выгодой до 21%. Мы объединили свои курсы в три трека:
Назовите менеджеру уникальный промокод NEW10, чтобы получить 10% дисконт.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5🔥4🤩3
Погружение в машинное обучение: Разбираем ключевые задачи и их реализацию на Python
Машинное обучение позволяет компьютерам анализировать данные и делать предсказания без явного программирования. В этом посте мы рассмотрим четыре ключевых типа задач в машинном обучении: классификацию, регрессию, кластеризацию и обработку естественного языка (NLP).
🟠 Файл с кодом.
💡 В прикрепленной к посту тетрадке подробно разобрали код для каждой из задач на Python с использованием библиотеки scikit-learn. Скачивайте и изучайте машинное обучение уже сегодня!
Машинное обучение позволяет компьютерам анализировать данные и делать предсказания без явного программирования. В этом посте мы рассмотрим четыре ключевых типа задач в машинном обучении: классификацию, регрессию, кластеризацию и обработку естественного языка (NLP).
💡 В прикрепленной к посту тетрадке подробно разобрали код для каждой из задач на Python с использованием библиотеки scikit-learn. Скачивайте и изучайте машинное обучение уже сегодня!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥15❤8👍7
Разбираем тестовое задание в Яндекс на позицию Junior аналитика данных
Тестовое задание — важная часть трудоустройства аналитика. Это шанс показать свои навыки на практике.
Приглашаем на вебинар 24 декабря в 19:00 по МСК, где наш СЕО Андрон Алексанян в прямом эфире разберет тестовое задание в Яндекс на позицию Junior аналитика данных. Вы узнаете, какие навыки и знания необходимы для успешного выполнения заданий, что хочет увидеть работодатель, а также получите советы и лайфхаки.
Что будем делать на вебинаре:
🟠 С помощью Pandas анализировать Яндекс-запросы за несколько недель, загрузив их из json-файла
🟠 Искать закономерности и отличия использования сервиса на мобильных устройствах и компьютерах
🟠 Разбирать фишки Pandas: сложную агрегацию, маппинг, конкатенацию, чейнинг и др.
Настоятельно рекомендуем не пропускать — для онлайн-зрителей у нас есть особый бонус, который обеспечит вам уверенный старт в вашей карьере.
➡️ Зарегистрироваться
#вебинар
Тестовое задание — важная часть трудоустройства аналитика. Это шанс показать свои навыки на практике.
Приглашаем на вебинар 24 декабря в 19:00 по МСК, где наш СЕО Андрон Алексанян в прямом эфире разберет тестовое задание в Яндекс на позицию Junior аналитика данных. Вы узнаете, какие навыки и знания необходимы для успешного выполнения заданий, что хочет увидеть работодатель, а также получите советы и лайфхаки.
Что будем делать на вебинаре:
Настоятельно рекомендуем не пропускать — для онлайн-зрителей у нас есть особый бонус, который обеспечит вам уверенный старт в вашей карьере.
#вебинар
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9❤5🤩4
Пошаговый план изучения Python
Зачем вообще учить Python? Это один из самых популярных языков программирования, имеет простой и интуитивно понятный синтаксис, входит в топ-3 самых востребованных на рынке труда, применяется не только в разработке, но и для анализа данных.
Что вы получите в нашем пошаговом плане:
🟠 30 упорядоченных тем для изучения в виде TODO-листа;
🟠 20+ идей проектов для портфолио;
🟠 Узнаете, какие темы и в какой последовательность нужно изучать, чтобы освоить Python;
🟠 Появится четкое понимание, как можно применить Python на практике.
Обязательно забирайте себе этот пошаговый план и ставьте 🔥, чтобы мы давали больше полезных материалов Python (и не только).
#полезность
Зачем вообще учить Python? Это один из самых популярных языков программирования, имеет простой и интуитивно понятный синтаксис, входит в топ-3 самых востребованных на рынке труда, применяется не только в разработке, но и для анализа данных.
Что вы получите в нашем пошаговом плане:
Обязательно забирайте себе этот пошаговый план и ставьте 🔥, чтобы мы давали больше полезных материалов Python (и не только).
#полезность
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥36❤6👍2
This media is not supported in your browser
VIEW IN TELEGRAM
Друзья, мы все уже на пороге нового года, так что хотим поделиться информацией о нашем графике работы в праздничные дни, чтобы вы могли планировать свои дела и обращения к нам.
Режим работы:
🟠 До 30 декабря включительно: работаем в обычном режиме.
🟠 С 31 декабря по 2 января: отдыхаем! Мы принимаем ваши обращения, но ответим на них чуть позже.
🟠 С 3 по 8 января: продолжаем работать в поддерживающем режиме. Это значит, что мы будем отвечать на ваши запросы день-в-день, но с увеличенным интервалом.
Что это значит:
🟠 Если вы хотите заниматься в праздники — преподаватели и кураторы будут отвечать в эти дни, просто чуть дольше в течение дня.
🟠 Если наоборот — не хотите учиться на каникулах — сможете отдохнуть, т.к. все дедлайны проектов продлены с учетом праздников.
🟠 Если еще не приобрели обучение — можно купить сейчас, а начать учиться после праздников.
Режим работы:
Что это значит:
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7❤5👍4🎉2
Присоединяйтесь сегодня в 19:00 по МСК к нашему вебинару «Разбираем тестовое задание в Яндекс на позицию Junior аналитика данных». Спикер: наш СЕО — Андрон Алексанян.
Что будем делать на вебинаре:
🟠 С помощью Python решим рутинные задачки — разархивировать файлы, прочитать большой json и т.д.;
🟠 С помощью Pandas проанализируем поисковые запросы Яндекс.Картинок
🟠 С помощью Plotly построим интерактивные графики и сделаем выводы;
🟠 Найдем статистически значимую разницу в поведении пользователей на разных устройствах.
Не пропускайте — для онлайн-зрителей у нас есть особый бонус, который обеспечит вам уверенный старт в вашей карьере.
➡️ Зарегистрироваться
Что будем делать на вебинаре:
Не пропускайте — для онлайн-зрителей у нас есть особый бонус, который обеспечит вам уверенный старт в вашей карьере.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤4🔥2😁1
А начинать можно уже сегодня с последним в этом году потоком курса «Аналитик данных». Курс предлагает доступные материалы в формате видеоуроков и текстовых лекций для начинающих и опытных специалистов.
Вы решите более 500 бизнес-задач в интерактивном тренажере, получите поддержку преподавателей и, по сути, пройдете стажировку начинающим аналитиком.
65% российских компаний ищут себе аналитиков, потому что они решают важные задачи бизнеса:
Сейчас вы можете подать заявку на трек-обучение — объединенные программы двух или даже трех курсов. На выбор три трека: аналитик данных с сильной экспертизой в BI, аналитик-инженер данных: 2 в 1, фулстек-аналитик. Выгода до 21%!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🔥3🎉3
🔎 Как проверять репрезентативность выборки
Есть ловушка в аналитике, в которую попадают многие — соблазн сделать важный вывод на основании нерепрезентативной выборки.
Андрон Алексанян — CEO Simulative — описал несколько способов как проверять репрезентативность выборки на примере посещений сайта. Будем выяснять, почему упала конверсия CR1.
0. Просто из соображений адекватности
Если вы невооруженным взглядом видите, что большинство посетителей за последнюю неделю — девушки 20-25 лет из Казахстана, то очевидно неверным будет вывод, что лендинг плохо конвертит на всех посетителей сайта. Ваша выборка сильно смещена.
1. Сравнение описательных статистик
Обычно ситуация не такая очевидная. И первое, что можно сделать — сравнить описательные статистики между текущей выборкой и генеральной совокупностью. Например, среднее, медиану, моду, квантили и т.д.
Получить точное значение для генеральной совокупности вы, конечно, не сможете (т.к. для этого нужно загнать на ваш сайт все население страны). Однако оценить его с неким доверительным интервалом на основании исторических данных, которые вы считаете достаточно репрезентативными — можно. И если посчитанные статистики попадают в эти доверительные интервалы - значит выборка репрезентативна.
Однако тут не забываем про квартет Энскомба. Иногда описательные статистики могут быть одинаковыми, а реальные выборки ох как отличаться.
➡️ Полный текст статьи читайте тут.
Есть ловушка в аналитике, в которую попадают многие — соблазн сделать важный вывод на основании нерепрезентативной выборки.
Андрон Алексанян — CEO Simulative — описал несколько способов как проверять репрезентативность выборки на примере посещений сайта. Будем выяснять, почему упала конверсия CR1.
0. Просто из соображений адекватности
Если вы невооруженным взглядом видите, что большинство посетителей за последнюю неделю — девушки 20-25 лет из Казахстана, то очевидно неверным будет вывод, что лендинг плохо конвертит на всех посетителей сайта. Ваша выборка сильно смещена.
1. Сравнение описательных статистик
Обычно ситуация не такая очевидная. И первое, что можно сделать — сравнить описательные статистики между текущей выборкой и генеральной совокупностью. Например, среднее, медиану, моду, квантили и т.д.
Получить точное значение для генеральной совокупности вы, конечно, не сможете (т.к. для этого нужно загнать на ваш сайт все население страны). Однако оценить его с неким доверительным интервалом на основании исторических данных, которые вы считаете достаточно репрезентативными — можно. И если посчитанные статистики попадают в эти доверительные интервалы - значит выборка репрезентативна.
Однако тут не забываем про квартет Энскомба. Иногда описательные статистики могут быть одинаковыми, а реальные выборки ох как отличаться.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9🔥4👍2
🎄Ваш знак, чтобы начать учиться!
До 31 декабря включительно вы можете воспользоваться промокодом START15 со скидкой 15% на все курсы. На всех наших флагманских продуктах доступен тариф, где часть стоимости обучения оплачивается после трудоустройства.
Чтобы использовать промокод — оставьте заявку и начните свой путь к успешной карьере с Simulative!
До 31 декабря включительно вы можете воспользоваться промокодом START15 со скидкой 15% на все курсы. На всех наших флагманских продуктах доступен тариф, где часть стоимости обучения оплачивается после трудоустройства.
Чтобы использовать промокод — оставьте заявку и начните свой путь к успешной карьере с Simulative!
❤5🔥3👍2
📣 Мы ищем экспертов в аналитике данных, BI-аналитике, дата-инженерии, машинном обучении, которые хотят делиться своими знаниями и опытом: писать статьи, создавать видеоконтент и проводить вебинары для нашей аудитории.
Поэтому, если вы чувствуете, что вам это интересно или вы давно хотели присоединиться к нашей команде — это тот самый шанс! Просто заполните анкету ниже, а мы с вами свяжемся и обсудим все условия сотрудничества.
🔗 Заполнить анкету
Поэтому, если вы чувствуете, что вам это интересно или вы давно хотели присоединиться к нашей команде — это тот самый шанс! Просто заполните анкету ниже, а мы с вами свяжемся и обсудим все условия сотрудничества.
🔗 Заполнить анкету
❤5👍3🔥3
Для нас конец года и последний рабочий день в году — ещё не повод не делиться интересным и полезным😎
Сегодня мы обсудим основные типы обучения в машинном обучении: обучение с учителем, обучение без учителя и обучение с подкреплением. На примерах разберем их отличия и применения в реальных задачах. Давайте начнем!
1. Обучение с учителем
При обучении с учителем алгоритм обучается на размеченных данных, где каждая запись имеет соответствующий выходной результат. Задача алгоритма — научиться предсказывать этот результат на новых данных.
Пример: Регрессия
В результате выполнения этого кода вы получите график с точками исходных данных и линией регрессии, которая показывает зависимость между переменной X и предсказанными значениями y. Это позволяет визуально оценить качество модели линейной регрессии.
2. Обучение без учителя
Обучение без учителя используется на неразмеченных данных. Алгоритм пытается найти скрытые структуры или паттерны в данных без явных меток.
Пример: Кластеризация
В результате выполнения этого кода вы получите график с точками, представляющими сгенерированные данные, окрашенными в зависимости от их принадлежности к кластерам. Красные точки обозначают центры найденных кластеров. Это позволяет визуально оценить качество кластеризации и распределение данных по кластерам.
🔽
Сегодня мы обсудим основные типы обучения в машинном обучении: обучение с учителем, обучение без учителя и обучение с подкреплением. На примерах разберем их отличия и применения в реальных задачах. Давайте начнем!
1. Обучение с учителем
При обучении с учителем алгоритм обучается на размеченных данных, где каждая запись имеет соответствующий выходной результат. Задача алгоритма — научиться предсказывать этот результат на новых данных.
Пример: Регрессия
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
# Генерация данных
X = np.array([[1], [2], [3], [4], [5]])
y = np.array([3, 4, 2, 5, 6])
# Обучение модели
model = LinearRegression()
model.fit(X, y)
# Предсказание
X_new = np.array([[6]])
y_pred = model.predict(X_new)
# Визуализация
plt.scatter(X, y, color='blue')
plt.plot(X, model.predict(X), color='red') # Линия регрессии по всем данным
plt.scatter(X_new, y_pred, color='green', label='Предсказание для X=6') # Предсказанное значение
plt.noscript("Линейная регрессия")
plt.xlabel("X")
plt.ylabel("y")
plt.legend()
plt.show()
В результате выполнения этого кода вы получите график с точками исходных данных и линией регрессии, которая показывает зависимость между переменной X и предсказанными значениями y. Это позволяет визуально оценить качество модели линейной регрессии.
2. Обучение без учителя
Обучение без учителя используется на неразмеченных данных. Алгоритм пытается найти скрытые структуры или паттерны в данных без явных меток.
Пример: Кластеризация
from sklearn.datasets import make_blobs
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt
# Генерация данных
X, y = make_blobs(n_samples=300, centers=4, random_state=42)
# Обучение модели
kmeans = KMeans(n_clusters=4)
kmeans.fit(X)
# Предсказание кластеров
y_kmeans = kmeans.predict(X)
# Визуализация
plt.scatter(X[:, 0], X[:, 1], c=y_kmeans, s=50, cmap='viridis')
centers = kmeans.cluster_centers_
plt.scatter(centers[:, 0], centers[:, 1], c='red', s=200, alpha=0.75)
plt.noscript("Кластеризация K-средних")
plt.show()
В результате выполнения этого кода вы получите график с точками, представляющими сгенерированные данные, окрашенными в зависимости от их принадлежности к кластерам. Красные точки обозначают центры найденных кластеров. Это позволяет визуально оценить качество кластеризации и распределение данных по кластерам.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥17❤5👍3🤩2
(продолжение)
3. Обучение с подкреплением
Обучение с подкреплением позволяет агенту обучаться через взаимодействие с окружающей средой. В этом процессе агент принимает решения, выполняет действия и получает обратную связь в виде вознаграждений или штрафов. Цель агента — максимизировать общее вознаграждение за определённый период времени.
Пример кода: Задача балансировки палки на движущейся тележке.
После выполнения этого кода вы получите среднее вознаграждение: это значение будет отражать, насколько хорошо агент справляется с задачей балансировки палки на тележке.
Каждый из этих типов обучения имеет свои уникальные применения и подходы, позволяя решать широкий спектр задач в области машинного обучения и искусственного интеллекта.
🟠 Файл с кодом
По традиции, давайте наберем 50🔥, если тема интересная и нам следует дальше писать про ML.
3. Обучение с подкреплением
Обучение с подкреплением позволяет агенту обучаться через взаимодействие с окружающей средой. В этом процессе агент принимает решения, выполняет действия и получает обратную связь в виде вознаграждений или штрафов. Цель агента — максимизировать общее вознаграждение за определённый период времени.
Пример кода: Задача балансировки палки на движущейся тележке.
import gym
import numpy as np
# Создание среды
env = gym.make('CartPole-v1')
# Параметры
num_episodes = 1000
max_steps = 200
reward_list = []
for episode in range(num_episodes):
state = env.reset()
total_reward = 0
for step in range(max_steps):
# Выбор действия (случайное действие)
action = env.action_space.sample()
# Выполнение действия и получение нового состояния и вознаграждения
next_state, reward, done, _, _ = env.step(action)
total_reward += reward
if done:
break
state = next_state
reward_list.append(total_reward)
# Закрытие среды
env.close()
# Вывод результатов
print(f"Среднее вознаграждение за {num_episodes} эпизодов: {np.mean(reward_list)}")
После выполнения этого кода вы получите среднее вознаграждение: это значение будет отражать, насколько хорошо агент справляется с задачей балансировки палки на тележке.
Каждый из этих типов обучения имеет свои уникальные применения и подходы, позволяя решать широкий спектр задач в области машинного обучения и искусственного интеллекта.
По традиции, давайте наберем 50🔥, если тема интересная и нам следует дальше писать про ML.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥70❤6🤩3👍2