Когда ты взрослый, можно ложиться спать когда угодно и покупать себе любые вещи. А ещё не нужно ждать 1 сентября, чтобы получать знания. Осваивайте новые специальности и прокачивайте навыки — в любой момент на курсах Яндекс Практикума.

Разработчикам и аналитикам рекомендуем курс «Инженер данных». На нём вы узнаете, как:
→ использовать инструменты: оркестраторы, контейнеры и не только;
→ работать со стриминговой обработкой данных и облачными хранилищами;
→ создавать хранилища Data Warehouse и Data Lake.

Обучение строится на реальных рабочих задачах и командных проектах. При выполнении заданий вы сможете советоваться с наставниками и другими студентами. Ваши работы проверят опытные инженеры данных и дадут развёрнутую обратную связь. А для тех, кто хочет сменить специализацию, проведём карьерную консультацию, поможем составить резюме и напишем сопроводительное письмо.

Начните обучение бесплатно и, если понравится, оплатите курс со скидкой 7% по промокоду DEAUGUST. Промокод действует до 31 августа.

Попробовать бесплатно →

#реклама

Semantic Diff for SQL – аналог diff-функции в git
Программное обеспечение постоянно меняется, развивается и анализ произошедших изменений является неотъемлемой частью процесса разработки. Но отсматривать изменения вручную – чересчур долгий и неэффективный процесс, не так ли?

Если вам нужно понять какие изменения были в SQL запросе, то Ярослав Зейгерман описал аналог diff-функции в git.

В чем преимущества этого метода?
Альтернативой текстовому сравнению является сравнение абстрактных синтаксических деревьев (Abstract Syntax Trees). Основное преимущество AST заключается в том, что они являются прямым продуктом синтаксического анализа кода, который представляет базовую структуру кода с любым желаемым уровнем детализации. С его помощью можно обнаруживать не только вставки и удаления, но еще и перемещения или обновления отдельных фрагментов кода.

📊 Сверстать дашборд онлайн без регистрации 🤔
Недавно наткнулся на прикольный фреймворк для веб-верстки дашбордов или html-страничек с красивыми таблицами или датавизом – Tabler.

🥳 В чем преимущество?
Благодаря современному удобному дизайну вы можете создать дашборд или датавиз, который понравится многим (превью дашборда с Tabler)! Работа ведется с помощью макетов и настраиваемых блоков, чтобы дизайн был цельным и цепляющим.

📚 Что нужно знать, чтобы воспользоваться Tabler?
Создатели придумали удобную, понятную и простую панель администрирования, которую можно использовать как на простых веб-сайтах, так и в сложных системах. Единственное требование — базовые знания HTML и CSS (и немного Liquid) — и вы сможете визуализировать различные типы данных быстро и качественно.

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞
🎙 Хьюстон Airflow, у нас проблема!
Стивен Бейли (всем бы такого ревьюера!) написал лонгрид с ответом на один простой вопрос "Почему мне не нравится Airflow?". Пост, который похож на письмо о расставании, разлетелся по всей сети и навел совершенно небеспочвенного шума. Как это часто бывает, Airflow настигла проблема постоянного развития направления (в данном случае, оркестрации данных): в 2015 инструмент был идеальным, но к 2022 ему стало недоставать удобства и универсальности. И проблема даже не в том, что Airflow нужны какие-то структурные изменения. Бизнесу нужна новая экосистема на основе Airflow. Кто-то говорит, что она уже есть – полностью управляемый инструмент на основе Apache Airflow – Astronomer.
Слышали ли вы про Astronomer? Оставляйте реакции ⚡️ и рассказывайте в комментариях, если да!

💨 Не стоит недооценивать SQLite
Антон Жиянов написал статью, в которой он проходится по всем основам SQLite и объясняет, почему она на самом деле хороша и нужна всем: разработчикам, аналитикам, тестировщикам и так далее. Подробные объяснения с выкладками кода и результатов вы можете увидеть в самом посте, а мы лишь напомним, что SQLite — самая распространенная СУБД в мире, которая включена во все популярные ОС и работает без сервера.

🖼 Портфолио – только для творческих профессий?
Многие стереотипно считают, что портфолио должно быть только у креативных специалистов: копирайтеров, дизайнеров, иллюстраторов и так далее. Однако, основатель Mode Бенн уверен, что у аналитика тоже должно быть портфолио и рассказывает про свой опыт в статье. Дело в том, что на основе интервью и тестового задания далеко не всегда можно понять, как именно работает потенциальный кандидат. Однако, если у него есть блог с аналитическими проектами, то легко можно определить, как он работает и в чем он хорош. В общем, если вы аналитик, который ищет работу, портфолио (или аналитический блог) – заметный плюс в глазах будущего работодателя!

#дайджест

🤔 HAVING — редкий вид, хватай, а то убежит
Пришла пора вспомнить, что этот телеграм-канал называется LEFT JOIN, а значит советы по улучшению навыков в SQL – наш основной профиль!

❗️Вы наверняка знаете, но
Понимание того, как работают предложения GROUP BY и HAVING, может помочь в написании качественных SQL-запросов. Я нашел короткую заметку, которая подробно разбирает реальный пример и ппоказывает преимущества использования этих операторов.

💭 Разбираемся
Дано:
Предположим, у нас есть две таблицы: таблица с кодом страны и её названием и таблица счета-фактуры с номером счета-фактуры, кодом страны, годом, месяцем, количеством товаров и суммой.

Вопрос:
Хочется получить в результате таблицу, в которой будут ежегодные суммы для каждой страны и года, для каждой страны (все это, например, без США, см. исходную заметку), для каждого года и общую сумму по всем странам.

Какое-то решение:
Можно написать несколько запросов, а затем объединить их командой UNION, но решение получится медленным и неэффективным. Можно ли решить эту задачу лучше?

Элегантное решение:
Мы можем написать более простой и эффективный запрос, если чуть лучше поймем как работать с GROUP BY и HAVING. Точно так же, как предложение WHERE позволяет нам фильтровать необработанные данные, HAVING позволяет нам фильтровать набор результатов из GROUP BY.
Еще, можно использовать GROUP BY CUBE() для создания агрегатов для всех комбинаций страны и года, отфильтровывая сводные строки для США с HAVING.

🔗 Что делает GROUP BY CUBE()?
Упрощает вам жизнь.
А если серьезно, то он помогает получить по одной строке для каждой комбинации страны и года, по одной строке для каждой страны (включая данные за все года), по одной строке на каждый год (включая данные по всем странам) и последнюю строку для всех лет и стран.
Затем мы исключаем строки по США, с помощью предложения HAVING. В этом конкретном примере нужно было исключить данные по США только в двух из четырех агрегированных групп. Если бы требовалось исключить данные для США во всех сводных строках, стоило использовать предложение WHERE для фильтрации данных по США до того, как произойдет какое-либо агрегирование.

Если вы хотите по-настоящему раз и навсегда разобраться с этими предложениями, то прочтите заметку (там есть выкладки всех запросов и таблиц, чтобы прогнать код у себя) и больше никогда не путайтесь в их применении.

Оставляйте реакции ⚡️, если знали про GROUP BY CUBE(), и 🤯, если впервые о нем слышите!

🌀 Критика критики SQL (Запутались? Сейчас будем разбираться!) 📚
Язык SQL впервые появился в 1974 году как часть базы данных IBM System R. Прошло почти 50 лет, и SQL де-факто является языком для работы с большинством баз данных (реляционных, конечно же).
Карлин Энг работал инженером и аналитиков данных 12 лет и у него накопилось много вопросов к SQL. В статье он, как настоящий аналитик, структурированно изложил, что именно его не устраивает. Конечно, он был не первым критиком SQL, а лишь прокомментировал идеи, описанные в книге 1984 года выпуска «Критика языка баз данных SQL» математика Си Джей Дейта. Дейт был бывшим сотрудником IBM, известным исследователем баз данных и другом Э. Ф. Кодда. Однако, те замечания, которые были описаны в его книге, частично устарели и ниже будет краткая выжимка из рассуждения Карлина (которое я рекомендую прочесть в оригинале).

🤔 Что не так с SQL по версии Си Джей Дейта?
Для начала разберемся с тем, что такое ортогональность. Суть ортогональности по мнению автора в следующем: конструкции языка подобны блокам Lego — небольшое количество базовых частей можно рекомбинировать простыми и интуитивно понятными способами. Отсутствие ортогональности означает, что в языке есть много исключений в том, как компоненты могут быть объединены, что делает его сложным для изучения.

1. Отсутствие ортогональности выражений
Раньше использование FROM в SELECT было ограничено указанием только имен таблиц или представлений, а не подзапросов или общих табличных выражений (CTE). Однако, современный SQL предоставляет возможность ссылаться на CTE или подзапрос в операторе FROM.

2. Отсутствие ортогональности функций
Автор приводит множество конкретных примеров этого критического замечания, которые возникают при разном написании запроса. Один из них – оператор HAVING, которое мы разбирали в предыдущем посте. Спойлер: использование HAVING и GROUP BY теперь гораздо проще и шире, чем, например, в SQL 1983 года.

3. Отсутствие ортогональности в целом
Это замечание касается ряда небольших проблем, например, ограничение для «длинных» полей (строки больше 254 символов): на «длинное» поле нельзя было сослаться в предложении WHERE или GROUP BY. Конечно, современные системы баз данных больше не имеют этих ограничений.

4. Ключи
SQL образца 1983 года мог легко игнорировать первичные ключи, а внешних ключей даже не существовало. Хотя SQL образца 2022 допускает внешние ключи, и многие базы данных обеспечивают ссылочную целостность, последняя версия языка по-прежнему не полностью понимает семантику первичных и внешних ключей.

5. Домены или типы данных
В первоначальном SQL были только примитивные типы (int, char, float и т. д.). Сегодня Postgres обеспечивает поддержку пользовательских типов произвольной сложности, однако, большинство хранилищ данных OLAP не поддерживают определяемые пользователем типы, и SQL тут бессилен.

6. Назначение отношений
Критика здесь заключалась в следующем: Ограниченная форма присваивания отношения поддерживается через INSERT ... SELECT, но эта операция не перезаписывает предыдущее содержимое таблицы, а источником присваивания не может быть произвольное алгебраическое выражение (или эквивалент SELECT). Это уже не так. Назначение отношения может быть выполнено с помощью CREATE OR REPLACE TABLE AS. Для подзапросов и CTE источником может быть любое произвольное алгебраическое выражение.

7. Явные операторы JOIN, INTERSECT и DIFFERENCE
SQL 1983 года их не поддерживал, но в современном SQL это уже давно исправлено.

💭 Выводы
Хотя многие критические замечания в отношении SQL были исправлены обновлениями стандарта ANSI, некоторые из них все еще присутствуют, например, отсутствие ортогональности. Несмотря на несовершенство SQL, его доминирование на рынке означает, что каждый начинающий аналитик и программист должен его изучить. Однако, мне кажется, что при всех известных недостатках и попытках регулярно улучшить язык, SQL остается очень удобным и интутитивно понятным языком для работы с данными.

А вы что думаете — удобнее писать SELECT к табличке 💯или обработать массив с помощью pandas 🤡?

Тайна листа А4
Листы А4 окружают людей повсюду: тексты статей, документы, бланки и копии печатаются именно на них. Не уверен, интересовались ли вы причинами размера листа А4 раньше, но давайте раз и навсегда с этим разберемся. 

Почему это интересно?
Вы раньше измеряли параметры листа белой бумаги? Его размеры составляют ровно 210 на 297 миллиметров. Да-да, длинная сторона листа А4 – 297 мм, что слегка противоречит законам здравого смысла, ведь 30 сантиметров гораздо проще отмерить, чем 29,7.

Почему 297?
Возьмите прямоугольный лист бумаги другого формата и попробуйте сложить его пополам по длинной стороне. Теперь у вас есть лист бумаги вдвое меньшего размера и другой формы. Возможно, изначально был «квадратный» прямоугольник, а теперь получился «длинный-тонкий-прямоугольник», или наоборот.
Если поделить лист А4 пополам, получится лист бумаги формата А5: он в два раза меньше, но изначальное соотношение сторон будет таким же.

Совпадение? Нет!
Представьте, что вам нужны две копии текста на одной странице. Если взять формат «таблоид» (8,5 на 11 дюймов), который используется в Северной Америке, то две копии половинного размера оставят раздражающий зазор сбоку или между копиями. Эту проблему решает только одно соотношение сторон прямоугольника: такое, которое даст подобные прямоугольники при разрезании пополам. Какое?
Нужное соотношение — квадратный корень из 2 к 1. Какие бы единицы измерения ни использовались, размеры листа не будут целочисленными, ведь нет пары целых чисел, которая дает подобное соотношение после деления большего из них пополам.

Какой вывод можно сделать?
Удобство использования вещей часто заключается в том, что кто-то позаботился о математической составляющей: рассчитал и продумал детали использования. Благодаря этим людям, наша жизнь становится лучше.

В следующий раз, когда услышите возглас «Почему здесь 29,7 сантиметра?» от человека, который пытается отмерить половину листа, вы с легкостью ответите на этот вопрос.

🍏 Вас спасет? 🆘
Apple объявила о новой функции спутникового подключения под названием Emergency SOS via Sattelite во время презентации iPhone 14. Этот инструмент предназначен для того, чтобы помочь людям, использующим телефоны нового поколения компании, оставаться на связи, когда сотовая связь не ловит.

🤔 Как это работает
Компания разработала и встроила в устройства iPhone 14 специальную технологию, чтобы подключаться к спутникам, даже если телефон не находятся рядом с наземной вышкой. Поскольку делать из iPhone 14 громоздкий спутниковый телефон – последнее, чего хотели создатели, у него будет встроенная антенна, которая будет спрятана в корпусе.

Телефон будет оснащен ПО, которое покажет пользователям, куда направить телефон, чтобы подключиться к спутнику, когда другие варианты связи недоступны. После подключения телефон сможет отправлять и получать информацию для получения экстренной помощи, благодаря механизму сжатия короткого текста сообщений, чтобы отправка занимала 15 секунд при отсутствии преград, например, листвы деревьев.

Инструмент также можно использовать в неэкстренных ситуациях, например, когда пользователь отправляется в долгую прогулку и хочет держать близких в курсе своего местонахождения.

Услуга будет запущена в ноябре в США и Канаде, а будет ли Emergency SOS когда-нибудь работать в России – неизвестно. По словам вице-президента Apple по маркетингу iPhone Кайанн Дранс, услуга будет предлагаться бесплатно в течение двух лет при покупке iPhone 14. Сколько после этого будет стоить услуга – еще одна загадка.

Если хотите почитать о других анонсах конференции Apple, то в этой статье собраны основные моменты.

Оставляйте реакции, если вам тоже нравится продукция Apple 🔥

Stable Diffusion – AI-модель, к которой наконец есть доступ
В конце августа компания Stability.ai, которую основал Эмад Мостак, объявила о запуске новой AI-модели для создания изображений – Stable Diffusion.

Давайте сравним с DALL·E 2 и Imagen
Цель проекта Stability.ai – создание open-source AI-моделей, которые поощряет открытое использование, а не только применение в исследовательских целях. Этот подход разнится с другими технологическими компаниями, например, OpenAI, которая охраняет секреты моделей GPT-3 и DALL·E 2, или Google, которая даже не собиралась давать пользователям доступ к моделям PaLM, Imagen или Parti.

Эмад Мостак извлек уроки из ошибок OpenAI. Вирусный успех открытой модели Craiyon указывает на главный недостаток DALL·E – закрытое тестирование модели. Люди не столько хотят смотреть, как другие создают удивительные изображения, сколько хотят сделать это сами. Поэтому Stability.ai предоставила готовый к использованию веб-сайт DreamStudio для тех, кто не хочет или не знает, как программировать.

Что еще стоит знать об этой модели?
Во-первых, если сравнивать Stable Diffusion с DALL·E 2 и Midjourney, то неоспоримое преимущество первой – это open-source основа. Это означает, что на основе Stable Diffusion можно бесплатно создавать приложения для творческих задач преобразования текста в изображение.

Это уже происходит! Энтузиасты разработали плагин Figma для создания дизайнов из текстовых подсказок и Lexica.art – поисковик для изображений и идей. Кроме того, разработчики Midjourney реализовали функцию, которая позволила пользователям сочетать ее со Stable Diffusion, что привело к удивительным результатам, однако, функция временно приостановлена из-за возможных негативных эффектов.

Во-вторых, в сравнении с open-source моделями DALL·E mini (Craiyon) и Disco Diffusion, Stable Diffusion создает удивительные фотореалистичные и художественные изображения, которые ничем не уступают моделям OpenAI или Google.

По традиции, оставляйте реакции 🔥, если хотите еще больше постов рубрики #leftjoin_ai

Как быть вежливым и не тратить на это время
Опытные (и не очень) специалисты в области данных часто получают письма рекрутеров, в которых они не заинтересованы, ведь бóльшую часть времени люди не ищут новую работу. В итоге, очередное такое неактуальное письмо летит в архив еще до того как его открывают, а новые письма продолжают приходить.
Конечно, постоянно поступающие предложения пройти собеседование — это не то что бы серьезная проблема. Однако, почему бы не попробовать автоматизировать её решение?

Зачем отвечать на эти письма (а не игнорировать их)
💁‍♂️ Это вежливо;
📨 Это спасает почтовый ящик от появления последующих писем-напоминаний;
👬 Это помогает поддерживать теплые отношения с рекрутерами и может здорово выручить вас в будущем.

Как найти и быстро ответить на эти письма
Мэтт Билью придумал как частично автоматизировать этот процесс и описал его в короткой статье блога. Начать нужно с фильтрации входящих писем на предмет предложения о работе, а затем сформировать отдельную папку. К сожалению, эта часть решения не автоматизирована, хотя, возможно, существует более элегантное решение. Когда появится свободное время, просмотреть этот список непрочитанных писем и отправить ответ.
После этого отправку ответов автоматически выполняет скрипт. Основа этого скрипта – языковая модель OpenAI GPT-3. Самым легким решением было бы создание готового шаблона для копипаста, но легкая персонализация никому не повредит и поможет сохранить отношения с рекрутером. Автоматизацию задачи извлечения имени рекрутера и названия компании из электронного письма Мэтт выложил в свой GitHub.

Такое использование AI-модели показывает, что достижения в сфере искуственного интеллекта напрямую могут влиять на нашу жизнь, в данном случае, экономя время на отправку персонализированного ответа на письмо.

Делитесь в комментариях, какими автоматизированными решениями вы пользуетесь или о каких уже слышали?
#leftjoin_ai

Облачные провайдеры, на которые вы мигрировали?

Многие масштабные облачные сервисы стали недоступны для российских компаний, например, MS Azure, GCP, AWS и другие. Очевидно, что многие отказались от западного облака и перешли либо на on-premise, либо на российские аналоги. Нам стало интересно составить список таких альтернатив и поделиться с вами, поэтому будем благодарны помощи!

Поделитесь в комментариях, пришлось ли вам сейчас переезжать с вашего облачного сервиса на альтернативный? С какого на какой? Раскажите про свой опыт и проблемы, с которыми столкнулись – давайте поможем друг другу не наступать на одни и те же грабли 🤦‍♂️

Оконные и аналитические функции в SQL: Начало
Врываемся с серией постов про оконные функции в SQL. Оконные функции — это классная опция в некоторых движках баз данных, которая с легкостью помогает решать ряд аналитических задач без написания сложных SQL-конструкций.

Разберемся подробнее
Когда мы пишем запрос для получения агрегатов, то строки обрабатываются «единым куском», для которого вычисляется агрегат.
А при использовании оконных функций, запрос делится на “окна” и уже для каждой из отдельных частей считаются нужные агрегаты. ​​Важно помнить: движок посчитает в рамках окна только те агрегаты, которые используют оконное выражение, а не все подряд в запросе.
Окно определяется с помощью обязательной инструкции OVER():

SELECT функция (столбец для вычислений)
OVER (
   [PARTITION BY столбец для формирования окна]
   [ORDER BY столбец для сортировки]
   [ROWS или RANGE выражение для ограничения строк в пределах группы]
   )

Для лучшего понимания работы оконных функций стоит вспомнить о порядке выполнения запроса: так как оконные функции выполняются в блоке SELECT, то все вычисления в них происходят после возможной фильтрации и/или группировки. То есть, если в таблице с домашними животными указать WHERE animal = ‘cat’, то оконные функции будут оперировать только котиками, а попугаи и пёсики в их расчёты не попадут.

Интересная особенность
Можно не использовать опциональные конструкции и получить аналогичный обыкновенной агрегации результат.
Сравните:

SELECT SUM(amount) OVER() AS total_amount
FROM A

VS

SELECT SUM(amount) AS total_amount
FROM A

Оба запроса выдадут один и тот же результат. Но в первом случае мы можем дополнительно сразу выбрать другие поля, не участвующие в агрегации, в то время как второй вариант (классическая агрегация) такого не допускает.

Итак, в квадратных скобках обозначены необязательные параметры. Однако, вся суть в том, чтобы указать их для получения иного, разбитого по “окнам” результата.

Поговорим про них отдельно?
#leftjoin_sql

🇨🇾 Cyprus Data 🇨🇾
Недавно я переехал на Кипр, освоился и выстроил все рутинные процессы на новом месте и теперь, накопив много сил и желания общаться, хочу запустить сообщество 🇨🇾 Cyprus Data.

🎉 Что будет в этом канале?
В канале я планирую делиться своими наблюдениями о Кипре с точки зрения данных, анонсировать интересные события и конференции, а также, возможно, организовывать митапы с заинтересованными профессионалами в области данных.

🙋 А где общаться?
Любое комьюнити предполагает площадку для открытого общения его участников, поэтому я создал отдельный чат Cyprus Data Chat для знакомств и обсуждения всего, что связано с Кипром и аналитикой данных.
Если вы на Кипре и вам это интересно – подписывайтесь на канал, если ваши друзья на Кипре – присылайте им это сообщение.

Давайте соберем дружное комьюнити, которое сможет приносить пользу каждому его участнику!