Разбираем тестовое задание в Яндекс на позицию Junior аналитика данных

Тестовое задание — важная часть трудоустройства аналитика. Это шанс показать свои навыки на практике.

Приглашаем на вебинар 24 декабря в 19:00 по МСК, где наш СЕО Андрон Алексанян в прямом эфире разберет тестовое задание в Яндекс на позицию Junior аналитика данных. Вы узнаете, какие навыки и знания необходимы для успешного выполнения заданий, что хочет увидеть работодатель, а также получите советы и лайфхаки.

Что будем делать на вебинаре:
🟠 С помощью Pandas анализировать Яндекс-запросы за несколько недель, загрузив их из json-файла
🟠 Искать закономерности и отличия использования сервиса на мобильных устройствах и компьютерах
🟠 Разбирать фишки Pandas: сложную агрегацию, маппинг, конкатенацию, чейнинг и др.

Настоятельно рекомендуем не пропускать — для онлайн-зрителей у нас есть особый бонус, который обеспечит вам уверенный старт в вашей карьере.

➡️ Зарегистрироваться

#вебинар

Пошаговый план изучения Python

Зачем вообще учить Python? Это один из самых популярных языков программирования, имеет простой и интуитивно понятный синтаксис, входит в топ-3 самых востребованных на рынке труда, применяется не только в разработке, но и для анализа данных.

Что вы получите в нашем пошаговом плане:
🟠30 упорядоченных тем для изучения в виде TODO-листа;
🟠20+ идей проектов для портфолио;
🟠Узнаете, какие темы и в какой последовательность нужно изучать, чтобы освоить Python;
🟠Появится четкое понимание, как можно применить Python на практике.

Обязательно забирайте себе этот пошаговый план и ставьте 🔥, чтобы мы давали больше полезных материалов Python (и не только).

#полезность

Друзья, мы все уже на пороге нового года, так что хотим поделиться информацией о нашем графике работы в праздничные дни, чтобы вы могли планировать свои дела и обращения к нам.

Режим работы:
🟠 До 30 декабря включительно: работаем в обычном режиме.
🟠 С 31 декабря по 2 января: отдыхаем! Мы принимаем ваши обращения, но ответим на них чуть позже.
🟠 С 3 по 8 января: продолжаем работать в поддерживающем режиме. Это значит, что мы будем отвечать на ваши запросы день-в-день, но с увеличенным интервалом.

Что это значит:
🟠Если вы хотите заниматься в праздники — преподаватели и кураторы будут отвечать в эти дни, просто чуть дольше в течение дня.

🟠Если наоборот — не хотите учиться на каникулах — сможете отдохнуть, т.к. все дедлайны проектов продлены с учетом праздников.

🟠Если еще не приобрели обучение — можно купить сейчас, а начать учиться после праздников.

Присоединяйтесь сегодня в 19:00 по МСК к нашему вебинару «Разбираем тестовое задание в Яндекс на позицию Junior аналитика данных». Спикер: наш СЕО — Андрон Алексанян.

Что будем делать на вебинаре:
🟠 С помощью Python решим рутинные задачки — разархивировать файлы, прочитать большой json и т.д.;
🟠 С помощью Pandas проанализируем поисковые запросы Яндекс.Картинок
🟠 С помощью Plotly построим интерактивные графики и сделаем выводы;
🟠 Найдем статистически значимую разницу в поведении пользователей на разных устройствах.

Не пропускайте — для онлайн-зрителей у нас есть особый бонус, который обеспечит вам уверенный старт в вашей карьере.

➡️ Зарегистрироваться

✨ Новый год — новые возможности и карьера

А начинать можно уже сегодня с последним в этом году потоком курса «Аналитик данных». Курс предлагает доступные материалы в формате видеоуроков и текстовых лекций для начинающих и опытных специалистов.

Вы решите более 500 бизнес-задач в интерактивном тренажере, получите поддержку преподавателей и, по сути, пройдете стажировку начинающим аналитиком.

65% российских компаний ищут себе аналитиков, потому что они решают важные задачи бизнеса:
🟠IT: понять, почему пользователь уходит из приложения
🟠Банковская сфера: бороться с мошенничеством
🟠Маркетинг: определить оптимальную цену на товар
🟠E-commerce: сделать доставку товаров быстрее и дешевле

🟠 Специальное предложение
Сейчас вы можете подать заявку на трек-обучение — объединенные программы двух или даже трех курсов. На выбор три трека: аналитик данных с сильной экспертизой в BI, аналитик-инженер данных: 2 в 1, фулстек-аналитик. Выгода до 21%!

➡️ Станьте востребованным специалистом и оставьте заявку на обучение.

🔎 Как проверять репрезентативность выборки

Есть ловушка в аналитике, в которую попадают многие — соблазн сделать важный вывод на основании нерепрезентативной выборки.

Андрон Алексанян — CEO Simulative — описал несколько способов как проверять репрезентативность выборки на примере посещений сайта. Будем выяснять, почему упала конверсия CR1.

0. Просто из соображений адекватности

Если вы невооруженным взглядом видите, что большинство посетителей за последнюю неделю — девушки 20-25 лет из Казахстана, то очевидно неверным будет вывод, что лендинг плохо конвертит на всех посетителей сайта. Ваша выборка сильно смещена.

1. Сравнение описательных статистик

Обычно ситуация не такая очевидная. И первое, что можно сделать — сравнить описательные статистики между текущей выборкой и генеральной совокупностью. Например, среднее, медиану, моду, квантили и т.д.

Получить точное значение для генеральной совокупности вы, конечно, не сможете (т.к. для этого нужно загнать на ваш сайт все население страны). Однако оценить его с неким доверительным интервалом на основании исторических данных, которые вы считаете достаточно репрезентативными — можно. И если посчитанные статистики попадают в эти доверительные интервалы - значит выборка репрезентативна.

Однако тут не забываем про квартет Энскомба. Иногда описательные статистики могут быть одинаковыми, а реальные выборки ох как отличаться.

➡️ Полный текст статьи читайте тут.

Для нас конец года и последний рабочий день в году — ещё не повод не делиться интересным и полезным😎

Сегодня мы обсудим основные типы обучения в машинном обучении: обучение с учителем, обучение без учителя и обучение с подкреплением. На примерах разберем их отличия и применения в реальных задачах. Давайте начнем!

1. Обучение с учителем
При обучении с учителем алгоритм обучается на размеченных данных, где каждая запись имеет соответствующий выходной результат. Задача алгоритма — научиться предсказывать этот результат на новых данных.

Пример: Регрессия

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# Генерация данных
X = np.array([[1], [2], [3], [4], [5]])
y = np.array([3, 4, 2, 5, 6])

# Обучение модели
model = LinearRegression()
model.fit(X, y)

# Предсказание
X_new = np.array([[6]])
y_pred = model.predict(X_new)

# Визуализация
plt.scatter(X, y, color='blue')
plt.plot(X, model.predict(X), color='red')  # Линия регрессии по всем данным
plt.scatter(X_new, y_pred, color='green', label='Предсказание для X=6')  # Предсказанное значение
plt.noscript("Линейная регрессия")
plt.xlabel("X")
plt.ylabel("y")
plt.legend()
plt.show()

В результате выполнения этого кода вы получите график с точками исходных данных и линией регрессии, которая показывает зависимость между переменной X и предсказанными значениями y. Это позволяет визуально оценить качество модели линейной регрессии.

2. Обучение без учителя
Обучение без учителя используется на неразмеченных данных. Алгоритм пытается найти скрытые структуры или паттерны в данных без явных меток.

Пример: Кластеризация

from sklearn.datasets import make_blobs
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt

# Генерация данных
X, y = make_blobs(n_samples=300, centers=4, random_state=42)

# Обучение модели
kmeans = KMeans(n_clusters=4)
kmeans.fit(X)

# Предсказание кластеров
y_kmeans = kmeans.predict(X)

# Визуализация
plt.scatter(X[:, 0], X[:, 1], c=y_kmeans, s=50, cmap='viridis')
centers = kmeans.cluster_centers_
plt.scatter(centers[:, 0], centers[:, 1], c='red', s=200, alpha=0.75)
plt.noscript("Кластеризация K-средних")
plt.show()

В результате выполнения этого кода вы получите график с точками, представляющими сгенерированные данные, окрашенными в зависимости от их принадлежности к кластерам. Красные точки обозначают центры найденных кластеров. Это позволяет визуально оценить качество кластеризации и распределение данных по кластерам.
🔽

(продолжение)

3. Обучение с подкреплением
Обучение с подкреплением позволяет агенту обучаться через взаимодействие с окружающей средой. В этом процессе агент принимает решения, выполняет действия и получает обратную связь в виде вознаграждений или штрафов. Цель агента — максимизировать общее вознаграждение за определённый период времени.

Пример кода: Задача балансировки палки на движущейся тележке.

import gym
import numpy as np

# Создание среды
env = gym.make('CartPole-v1')

# Параметры
num_episodes = 1000
max_steps = 200
reward_list = []

for episode in range(num_episodes):
    state = env.reset()
    total_reward = 0
    
    for step in range(max_steps):
        # Выбор действия (случайное действие)
        action = env.action_space.sample()
        
        # Выполнение действия и получение нового состояния и вознаграждения
        next_state, reward, done, _, _ = env.step(action)
        
        total_reward += reward
        
        if done:
            break
        
        state = next_state
    
    reward_list.append(total_reward)

# Закрытие среды
env.close()

# Вывод результатов
print(f"Среднее вознаграждение за {num_episodes} эпизодов: {np.mean(reward_list)}")

После выполнения этого кода вы получите среднее вознаграждение: это значение будет отражать, насколько хорошо агент справляется с задачей балансировки палки на тележке.


Каждый из этих типов обучения имеет свои уникальные применения и подходы, позволяя решать широкий спектр задач в области машинного обучения и искусственного интеллекта.

🟠Файл с кодом

По традиции, давайте наберем 50🔥, если тема интересная и нам следует дальше писать про ML.

Друзья, спасибо за вашу активность! Мы увидели, что тема вам интересна, так что... продолжаем🦾

Сегодня мы завершаем нашу серию постов о машинном обучении и погружаемся в мир его алгоритмов. Разберемся, как работают эти алгоритмы и как они могут изменить наш подход к решению задач.

Алгоритмы машинного обучения: Линейная и логистическая регрессия, деревья решений
Эти алгоритмы широко используются в различных задачах и имеют свои особенности.

1. Линейная регрессия
Линейная регрессия — это один из самых простых и популярных методов машинного обучения, используемый для моделирования зависимости между одной зависимой переменной (целевой переменной) и одной или несколькими независимыми переменными (предикторами). Этот метод позволяет предсказывать значения целевой переменной на основе значений предикторов, что делает его полезным в различных областях, таких как экономика, биология и социальные науки.

Она описывается уравнением:
y=aX + b, где a — коэффициент наклона, b — свободный член.

Применение: Линейная регрессия часто используется для прогнозирования числовых значений, таких как цены на жилье или продажи товаров. Она также помогает в анализе данных, позволяя выявить, какие переменные оказывают наибольшее влияние на целевую переменную.

Оценка модели: Для оценки качества модели применяются метрики, такие как среднеквадратичная ошибка (MSE) и коэффициент детерминации (R²). MSE показывает, насколько предсказанные значения отклоняются от фактических значений, а R² указывает на долю вариации зависимой переменной, объясняемую моделью

Пример создания модели:

from sklearn.linear_model import LinearRegression

# Создание и обучение модели
model = LinearRegression()
model.fit(X, y)

2. Логистическая регрессия
Логистическая регрессия используется для задач бинарной классификации. Она позволяет предсказывать вероятность принадлежности объекта к определенному классу (например, "да" или "нет"). Этот метод основан на логистической функции и преобразует линейную комбинацию входных переменных в вероятность. Логистическая регрессия описывается следующим уравнением:
P(Y=1∣X)= 1/(1+e^−(aX+b)), где P(Y=1∣X) — вероятность того, что событие произойдет.

Применение: Логистическая регрессия широко используется в медицинской диагностике (например, для прогнозирования наличия болезни), оценке кредитоспособности и выявлении мошенничества. Она позволяет эффективно классифицировать объекты на основе различных признаков.

Пример создания модели:

from sklearn.linear_model import LogisticRegression

# Создание и обучение модели
model = LogisticRegression()
model.fit(X, y)

3. Деревья решений
Деревья решений представляют собой интуитивно понятный метод классификации и регрессии. Они делят данные на подгруппы на основе значимых атрибутов, создавая структуру в виде дерева. Каждый узел дерева представляет собой условие на одном из признаков.

Применение: Деревья решений используются в бизнес-аналитике для принятия решений и анализа рисков. Они легко интерпретируемы и визуализируемы, что делает их популярными среди специалистов по данным.

Пример создания модели:

from sklearn.tree import DecisionTreeClassifier

# Создание и обучение модели дерева решений
model = DecisionTreeClassifier()
model.fit(X, y)

🟠 Файл с кодом

Если у вас есть вопросы или вы хотите узнать больше о конкретных алгоритмах или примерах, пишите в комментариях! 🚀

Дорогие друзья, коллеги и студенты!

Новый год — это время подводить итоги, строить планы и мечтать о будущем. В этом году мы с нами прошли множество интересных и значимых этапов:

🍊 Разработали и запустили 3 новых курса: «BI-аналитик», «Инженер данных», «Инженер машинного обучения». И всё это — на собственной LMS;

🍊 Около 1000 студентов пришло к нам учиться на платные программы;

🍊 Более 24 тысяч регистраций на наши бесплатные курсы и вебинары;

🍊 Было совершено более 10 миллионов попыток выполнения/проверки кода. Только представьте себе эту цифру! То есть каждые 3 секунды совершается минимум 1 попытка в наших тренажерах!

🍊 Получили государственную образовательную лицензию и стали резидентом Сколково;

🍊 Заняли 1 место по 3 ключевым номинациям (уровень материалов, общая оценка, готовность рекомендовать нас) в независимом исследовании Left Join;

🍊 Расширили команду — это те люди, которые трудятся, чтобы вы получили лучшее на рынке обучение в аналитике❤️

И многое-многое другое.

В наступающем году мы готовим для вас еще больше образовательных курсов, возможностей на успешную карьеру и просто полезных материалов (спойлер: начинаем уже 1 января).

Спасибо, что были с нами все это время — читали наши посты, смотрели наши вебинары, проходили наши платные и бесплатные программы, решали задачки и оставляли классный фидбек. Мы вас любим — вы у нас лучшие ❤️

Мы благодарны каждому из вас за то, что вы стали частью нашего комьюнити Simulative. Пусть 2025 год станет для вас временем ярких свершений, новых знаний и успешных проектов. Мы искренне желаем, чтобы все ваши мечты сбывались, а каждый день приносил радость и вдохновение.

✨Приглашаем вас поделиться своими итогами уходящего года и пожеланиями на будущий в комментариях. Давайте вместе создадим атмосферу поддержки, мотивации и просто неуловимого новогоднего настроения, чтобы вступить в новый год с новыми силами и амбициями!

Счастливого Нового года! 🥂

Друзья, ну что ж — мы сделали это! Выжили в 2024 году и перешли в новый сезон нашей жизни ;)

Каждый день, начиная с сегодня и до 8 января, вы будете получать новый ресурс — будь то статья, видео или запись вебинара, которые обогатят ваши знания, а еще помогут вам преодолеть сомнения относительно обучения и карьеры в области аналитики.

Начнем путь к обновлению карьеры с подкаста, где успешные аналитики делятся историями и советами. Они помогут вам найти вдохновение и уверенность в том, что изменения — это правильный шаг.

Подписывайтесь на наш адвент-календарь и следите за обновлениями. Пусть 2025 год станет для вас годом успеха и вдохновения!

➡️ Перейти в адвент-календарь

Подготовили для вас статью «Как преодолеть страхи перемен, начать учиться и не бросить».

Вы узнаете, как не опускать руки, даже если изучение аналитики кажется слишком сложным, и получите мотивацию для продолжения своего обучения.

➡️ Перейти в адвент-календарь