Иногда приходится разбирать чужие sql-запросы и периодически сталкиваюсь с различными ошибками. Сегодня хочу рассказать о трёх наиболее распространённых.

Некорректная работа с NULL
Я уже много раз писала, NULL — не просто пустота, это неизвестность. Поэтому нельзя сравнивать с NULL в лоб. Запрос вам ошибку не выдаст, но отработает некорректно.

-- неправильно:
SELECT * FROM users WHERE age = NULL;
SELECT * FROM users WHERE age != NULL;

-- правильно:
SELECT * FROM users WHERE age IS NULL;
SELECT * FROM users WHERE age IS NOT NULL;

Также при подсчёте количества строк COUNT(column_name) пропустит все NULL-значения. Поэтому если нужно посчитать прям вообще всё используйте COUNT(*).

-- считает количество заполненных номеров:
SELECT COUNT(phone) FROM users;

-- считает все строки, в том числе с NULL:
SELECT COUNT(*) FROM users;

Больше про #null я писала в постах с соответствующим тегом) на собесах часто про это спрашивают, но уделить внимание теме, конечно же, стоит не только поэтому.

Неправильное использование оператора BETWEEN
Ещё часто вижу, как забывают об особеннстях BETWEEN, забывая, что он включает и верхнюю, и нижнюю границы диапазона. Это может привести к дублированию данных или их пропуску при последовательной выборке.

-- пример кода с ошибкой:
-- выборка за 1 марта о полю типа дата-время
SELECT * FROM orders WHERE order_dttm BETWEEN '2024-03-01' AND '2024-03-02';
-- Выборка за 2 марта
SELECT * FROM orders WHERE order_dttm BETWEEN '2024-03-02' AND '2024-03-03';

В этом примере заказы, созданные ровно в полночь 2 марта (2024-03-02 00:00:00), будут включены в обе выборки! Лучше использовать явные полуинтервалы:

-- правильно:
-- выборка за 1 марта
SELECT * FROM orders WHERE order_dttm >= '2024-03-01' AND order_dttm < '2024-03-02';
-- выборка за 2 марта
SELECT * FROM orders WHERE order_dttm >= '2024-03-02' AND order_dttm < '2024-03-03';

Но если сильно хочется BETWEEN, то:

-- выборка за 1 марта
SELECT * FROM orders WHERE order_dttm BETWEEN '2024-03-01 00:00:00' AND '2024-03-01 23:59:59';
-- выборка за 2 марта
SELECT * FROM orders WHERE order_dttm BETWEEN '2024-03-01 00:00:00.000' AND '2024-03-01 23:59:59.999';

Да, про миллисекунды забывать не нужно, а то можно что-то потерять. И всё-таки проще использовать полуинтервалы)

Ошибки в логических операторах
Ещё часто забывают про приоритеты при использовании AND и OR в одном условии. В SQL сначала выполняются все AND, а затем уже OR.
Например, нужно найти все транзакции на сумму больше 100.000, которые имеют статус "completed" и при этом либо от премиум-пользователя, либо оплачены кредитной картой.

-- неправильно:
SELECT * FROM transactions
WHERE amount > 100000
    AND status = 'completed'
    AND user_type = 'premium' OR payment_method = 'credit_card'

По правилам SQL операторы AND приоритетнее. Поэтому запрос интерпретируется так:

SELECT * FROM transactions
WHERE (status = 'completed' AND amount > 100000 AND user_type = 'premium') 
   OR (payment_method = 'credit_card')

То есть мы получим все завершённые транзакции премиум-пользователей с суммой больше 100000, плюс абсолютно все транзакции с кредитных карт (даже незавершённые и с маленькими суммами).

Так мы получим именно то, что хотели:

-- правильно:
SELECT * FROM transactions
WHERE status = 'completed'
    AND amount > 100000
    AND (user_type = 'premium' OR payment_method = 'credit_card')

В целом, проще лишний раз указать скобки, чем запутаться и получить ошибочный результат.

Кому-то кажется очевидным, но такие вещи, действительно, встречаются. А с какими ошибками в sql вы часто сталкиваетесь?

#sql

#мотивация

Учеба - это череда маленьких побед. Кажется, что все будет линейно, но большинство знает, что это провалы и восхождения, процесс крайне нестабильный. И когда ты подступаешься к очередной теме в SQL, Spark или любой другой в DE, ты думаешь "А как это понять, как выучить?"

И главная мысль в том, что учёба в области DE нужна постоянно. Это не покорение одной большой горы, а маленькие победы каждый день. Одна задача. Один новый паттерн, одно новое понимание.

Сегодня ты разобрался, что идет первым, WHERE или GROUP BY.
Завтра - написал нормальный JOIN с ROW_NUMBER().
Послезавтра - построил ETL в Spark, от источника до BI.

И всё это складывается (если постоянно практиковать).

Уже через какое-то время тебе говорят, что ты не просто хорошо пишешь код, а неплохо оптимизируешь запросы, иди ка подскажи!

🌱 Не пытайся обогнать всех. Просто расти каждый день по 1%. И так в любой области кстати: профессия, спорт, хобби.

Я сейчас вспоминаю python, решая каждый день по 10 задач. Беда в том, что знания быстро уходят, если их не применять. Поэтому иногда необходимо создавать для себя искусственный полигон.

👇 Расскажи, какую маленькую победу ты помнишь.

Из каждого угла на нас нападают с хард скиллами — везде требуют знания технологий, инструментов, методологий. Но давайте немного вспомним и про софт скиллы — те самые навыки, без которых все харды теряют половину своей силы.

Я начала читать книгу Фрэнка Сесно "Как узнать всё, что нужно, задавая правильные вопросы" — и в серии постов хотела бы делиться с вами короткими конспектами и личными выводами. Ведь в работе системного аналитика, да и дата инженера тоже (если он взаимодействует с бизнесом) умение правильно спрашивать, слушать и понимать услышанное очень важно.

Пару слов об авторе: Фрэнк Сесно — американский писатель, журналист, теле- и радиоведущий, лауреат премии "Эмми" и директор Школы СМИ и связей с общественностью Университета Джорджа Вашингтона. В своей книге он делится методами и приемами, как задавать вопросы так, чтобы получать действительно полезные и точные ответы — будь то в интервью, переговорах, на встрече с заказчиком или даже в обычной рабочей переписке.

Ставьте палец вверх, если эта тема вам интересна.

P.S. Параллельно (но чуть позже) подумываю взять "в конспект" и технические книжки, которые всё никак не дочитаю. Пока выбираю из старенькой, но всё ещё актуальной "Testing the Data Warehouse Practicum" и более свежей, но узконаправленной "Data Modeling with Snowflake".

#книги #фрэнксесно

Зачем спрашивать? Умные вопросы делают людей умнее
Фрэнка Сесно "Как узнать всё, что нужно, задавая правильные вопросы". Ч.1

В первой главе автор раскрывает смысл книги. Вопросы — это основа мышления: мы учимся, общаемся и изобретаем с помощью вопросов. Они помогают докопаться до сути, стимулируют воображение и помогают достигать различных целей. Часто правильно заданный вопрос уже запускает процесс решения проблемы.

В последние десятилетия технологический рост ускорился, открыв человечеству новые возможности, но вместе с этим растёт и культура быстрого поглощения информации, что мешает нам углубляться в предмет изучения. Подумайте, часто ли вы уходите дальше добавления в избранное чьего-то поста? Насколько глубоко изучаете новую (и кажущуюся полезной) тему, если не горят сроки по связанной задаче?

В следующих главах мы узнаем о том, как вопросы помогают не только решать проблемы и находить решения в трудных ситуациях, но и выстраивать отношения, менять мышление, добиваться поддержки и даже вдохновлять на творчество.

Автор отмечает, что любопытство — это часть ДНК. И успешные люди умеют развивать его через вопросы и умение слушать. Здесь мне кажется идёт прямая связь любопытства и критического мышления — когда не всё принимаешь как факт и через вопросы пытаешься сделать "картинку" объемнее.

От себя добавлю, что считаю навык правильной постановки ключевым в ближайшие годы, учитывая развитие ИИ. Ведь чем точнее и осозненнее составлен промт, тем более качественный ответ мы получим в итоге. Хотя книга, конечно, не про составление промтов) написана она в 2017 году.

В следующей части разберем, что такое диагностические вопросы и зачем они нужны.

#книги #фрэнксесно

Слишком надолго я пропала и серия постов про книгу Фрэнка Сесно "Как узнать всё, что нужно, задавая правильные вопросы" осталась неопубликованной.

Поэтому давайте кратко вспомним зачем вообще нам её читать, а затем продолжим.

Вопросы — это основа того, как мы работаем. Мы учимся, общаемся, находим решения через вопросы. Правильно заданный вопрос часто уже сам по себе запускает решение проблемы. Особенно это важно для нас с вами, аналитиков и инженеров, людей взаимодействуют с бизнесом — ведь важно не просто писать код или строить архитектуру, но и понимать, что на самом деле нужно людям.

Сесно показывает, что успешные люди отличаются не только знаниями, но и умением слушать и спрашивать. Любопытство и критическое мышление — это то, что позволяет нам не принимать всё на веру, а углубляться в суть.

Предыдущие посты про эту книгу ищите по тегу #фрэнксесно. А я продолжу со следующей главы "Диагностические вопросы".

#книги

"Фидонет — сеть, которую помнят не все"
или "Мамонты снова в деле"

Я успела чуть-чуть застать эпоху Фидонета. Для тех, кто не в курсе: во времена, когда с интернетом было не очень, существовала такая сеть. Идея простая, но гениальная: ты звонил по модему на номер одного из BBS — компьютер какого-нибудь энтузиаста, обычно стоящего у него дома. Эти отдельные компьютеры (узлы) были связаны друг с другом в одну сеть. После подключения тебя встречал чёрный экран, текстовый интерфейс, ASCII-арты — и, представляете, этого было достаточно. Никаких кнопок, лайков или рекомендаций, только чистый текст и люди за ним.

Главное в Фидо были эхоконференции — тематические дискуссии, где люди писали друг другу. Общение происходило асинхронно: сообщения собирались и передавались между узлами по расписанию, чаще всего ночью. Ответы могли прийти через несколько часов или даже на следующий день — и в этом тоже было своё очарование. Была и личная почта — пишешь конкретному человеку и ждёшь, когда придёт ответ, как настоящего письма.

Атмосфера в Фидо была особенная. Люди действительно общались — с иронией, шутками, иногда с флеймом, но как-то по делу. Без рекламы, спама и ии-ботов. Знакомились, спорили, дружили, устраивали офлайн-встречи. При этом всё это держалось на чистом энтузиазме и модемном писке в трубке.

Потом интернет стал доступнее и быстрее, появились сайты, форумы, чаты, а позже и соцсети. Фидонет жил ещё какое-то время по инерции, но постепенно угас. Ведь всё когда-то становится лишь приятным воспоминанием.

Теперь мы общаемся в телеграм-каналах и чатах, пересылаем стикеры вместо ASCII-арта и пишем посты вместо эхоконференций. Забавно, как многое изменилось — и как мало, на самом деле. Люди всё так же ищут друг друга в сети. Интересно, лет через двадцать кто-нибудь так же напишет: «А помните, как мы сидели в телеге?..»

#life

Стратегические вопросы: как видеть общую картину
Фрэнк Сесно "Как узнать всё, что нужно, задавая правильные вопросы". Ч.3

Когда мы разбираем требования к новой витрине или проектируем архитектуру хранилища, легко застрять в деталях — какие таблицы нам нужны, какие между ними связи, какая будет гранулярность. Но часто именно отсутствие стратегического взгляда приводит к тому, что через полгода приходится переделывать всю модель, потому что мы "забыли" уточнить долгосрочные планы бизнеса или не учли масштабирование.

В третьей главе автор показывает, что стратегические вопросы — это не роскошный максимум для топ-менеджеров, а базовый минимум для любого, кто принимает решения с долгосрочными последствиями.

Фрик Вермюлен из Лондонской школы бизнеса определяет стратегическое планирование как способность принимать сложные решения в условиях неопределённости, которые будут иметь значимые долгосрочные последствия.

Например (адаптируем под нашу реальность): заказчик просит "быстро сделать отчёт по продажам". Можно молча набросать витрину за пару часов, а можно сначала задать (в том числе себе) стратегические вопросы: как эта витрина впишется в общую архитектуру? что ещё может понадобиться бизнесу в ближайшие месяцы — может, сразу заложить расширение? насколько действительно важна скорость обновления? как будут расти объёмы данных и выдержит ли решение нагрузку через год? ..

Автор сравнивает стратегический подход со спутником, который фотографирует Землю из космоса: сначала смотрим на всю картину целиком, потом приближаем и разбираемся в деталях.

Сесно описывает такие этапы работы со стратегическими вопросами:
- рассмотрите общую картину (определите задачу и имеющиеся возможности)
- осознайте, что предстоит сделать и с какими сложностями столкнуться
- разработайте план, определив тактические ходы
- проверьте себя, внимательно изучив план на наличие слабых мест и альтернативных решений
- определите параметры успешного результата

Один из важных уроков этой главы: необходимо настаивать на том, чтобы сложные стратегические вопросы были заданы. Даже если это неудобно. Даже если кажется, что все и так всё понимают.

Мне кажется, в работе с данными стратегические вопросы особенно важны перед крупными проектами (новыми интеграциями, внедрением новых инструментов и тп). Начиная, стоит спросить себя:
- Какую долгосрочную проблему мы решаем?
- Как это решение впишется в общую архитектуру через год?
- Рассмотрели ли мы все альтернативы?
- Что для нас будет успехом и как мы его измерим?
- Какие риски мы готовы принять, а какие нет?

Эти вопросы помогут не утонуть в бесконечных правках и "а давайте ещё вот это добавим". Они держат в голове общую картину и понимание куда мы идём и зачем.

В следующей части автор расскажет об эмпатических вопросах — тех, что помогают понять людей.
#книги #фрэнксесно