Pandas или PySpark? Разбираем сценарии применения

Многие привыкли думать, что PySpark больше подходит для больших данных, а Pandas — для маленьких таблиц. В этом ролике мы разберём реальные критерии выбора того или иного инструмента. Спойлер: главное различие в их использовании — не в объёме данных, а в архитектуре обработки и запроса.

В видео Илья Ковалёв, старший аналитик данных в Dodo Brands, расскажет, как работают эти инструменты, а в конце даст чек-лист для ваших рабочих задач.

Смотрите там, где удобно:
📹 YouTube
📺 VK Видео

📊 Simulative

5 причин, почему стоит взять подписку Simulative

Почему годовая подписка на Simulative выгоднее, умнее и дальновиднее, чем покупать курсы по отдельности? Держите 5 главных преимуществ:

1️⃣ Экономия до 70%

Один курс стоит дорого, а их — 10+, плюс новые продукты. Покупая доступ ко всему сразу, вы платите в разы меньше. Ваша выгода может достигать до 700 000 рублей. Это как купить один iPhone и получить ещё MacBook, iPad и AirPods в подарок.

2️⃣ Гибкость и свобода в обучении

Не нужно идти по чужой программе. Хотите — начинаете с машинного обучения, а потом берётесь за BI-визуализацию. Собирайте свою уникальную учебную траекторию под свои цели и темп. Вы управляете обучением, а не наоборот.

3️⃣ Доступ к курсам, которые выйдут в 2026 году
Мир данных меняется каждый месяц. С подпиской вы получаете все новые курсы 2026 года автоматически. A/B-тесты, Deep Learning — всё, что выпустим, появится в вашем кабинете без доплат. Вы учитесь на том, что будет нужно завтра.

4️⃣ Максимальный набор навыков

Курсы — это проекты, максимально приближенные к реальным задачам компаний. Вы не просто изучаете теорию, а сразу применяете её в смоделированной рабочей среде. Каждый модуль — это проект в портфолио.

5️⃣ Карьерный рывок в 2026 году

Бизнесу нужны не просто аналитики, а люди, которые понимают данные. Подписка даёт вам широту и глубину одновременно. Вы закрываете сразу несколько ролей и становитесь тем самым ценным multi-tool специалистом.

Готовы собрать свой набор суперсил? Подробности и тарифы по ссылке:

https://simulative.ru/subnoscription

📊 Simulative

Праздник к нам приходит — и скидки тоже!

Всем подписчикам нашего Telegram-канала дарим волшебство к новому году — скидка 35% на все тарифы курсов Simulative! Отличная возможность закрепить за собой место и начать обучение в новом году ❄️

Бонус действует до конца дня 30 декабря.

Присоединяйтесь к нашим курсам и уверенно стартуйте в карьере с нами!

☃️ Забронировать место

📊 Simulative

И напоследок — наши итоги года в TGStat. Спасибо, что читаете и смотрите 🧡

📊 Simulative

5 ошибок новичков при создании дашбордов

Последнее видео в уходящем году! BI-эксперт Анастасия Кузнецова проанализировала более 3 000 студенческих проектов и свела все ошибки к пяти основным, на которые вы можете обратить внимание при разработке своих дашбордов.

Смотрите там, где удобно:
📹 YouTube
📺 VK Видео

📊 Simulative

Доедаем салаты и читаем статьи Simulative

Делимся большой подборкой лучших статей — 2025 из нашего блога. Сохраняйте к себе и читайте на досуге:

📖 Обзор популярных алгоритмов машинного обучения

📖 Power BI: начало работы

📖 Основы визуализации данных: виды, способы и инструменты построения графиков

📖 CTE: для чего нужна временная таблица в SQL

📖 Библиотека Pandas в Python: что это и как работает

📖 От гистограммы до тепловой карты: исследуем Seaborn

📊 Simulative

Продлеваем предновогоднюю акцию!

🎄 Скидки до 35% сохраняются на все курсы (кроме тренингов) и будут действовать до 11 января. А присоединиться к обучению можно, не дожидаясь старта потока, в день оплаты!

Карьера вашей мечты совсем близко, стоит только нажать кнопку 😉

🔸 Присоединиться к обучению

📊 Simulative

Ошибка фильтрации в SQL

Одна из самых распространённых ошибок в SQL — неправильная фильтрация данных, если в столбце присутствуют значения null.

Например, у нас в курсе есть лёгкая задачка — отфильтровать всех пользователей, у которых поле company_id не равно 1. При этом в этом поле у многих записей стоит null.

Обычно студенты пишут такой запрос:

SELECT *
FROM users 
WHERE company_id != 1

И вроде бы всё логично, но если проверить внимательно, то мы увидим, что потерялось около 80% записей!

#️⃣ Почему так происходит

Если мы обратимся к документации, то в описании оператора WHERE увидим:

Синтаксис оператора: WHERE «условие». «условие» — это любое выражение типа boolean. Всё, что не true, исключается из результата.

А теперь идем в документацию оператора != и видим:

Если один из элементов сравнения равен null, то возвращается null, а не true/false.

Таким образом, получается, что все строки с null выпадают из выборки, потому что такое сравнение возвращает null, а фильтр WHERE такие строки игнорирует.

#️⃣ Как исправить

Исправить это можно, например, с помощью оператора COALESCE, который заменит null на другое число (например, -1, т. к. его гарантированно не будет в этом столбце):

SELECT *
FROM users 
WHERE COALESCE(company_id, -1) != 1

Теперь вы на 100% знаете, почему эта ошибка возникает и как с ней бороться. Будьте внимательны — на больших данных обнаружить её очень сложно, а она может привести к ужасным погрешностям при расчётах.

Ставьте 🔥, если полезно!

📊 Simulative