Знакомьтесь, Hydra (не та, о которой вы сначала подумали) 🐍
Clickhouse, Redshift, Snowflake, …? Кажется, появился колоночный конкурент на PostgreSQL!

Hydra — новое хранилище данных с открытым исходным кодом, благодаря удобству которого, он идеален для OLAP и гибридных процессов, связанных с транзакциями. Разработчики даже уверяют, что Hydra в 23 раза быстрее Postgres.

Как же им это удалось?
Секрет кроется в колоночном хранении данных, паралелльном выполнении запросов и векторизации вычислений. Эталонное тестирование (бенчмаркинг) произведено с помощью ClickBench от Clickhouse, а для финального тюнинга настроек предлагается набор параметров, чтобы дать Hydra возможность максимально раскрыть свой потенциал с учетом ваших локальных особенностей.

Дорого наверное?
Вся эта прелесть бесплатна только для локальной работы. Если вам нужно облачное решение, то придется оформить подписку, самая дешевая из которых стоит $400 в месяц. Тем не менее, разработчики предлагают 14-дневную пробную версию, чтобы протестировать новинку.

В релизе указано, что создатели Hydra обещают продолжить работу над ее ускорением и далее. Ну что, готовы попробовать триалку? Если да, то вот образ Docker!

🎨 Как AI генерирует картинки: версия для тех, кто так и не разобрался 😏
The Washington Post опубликовали статью с подробным разбором того, как работает Stable Diffusion 2.0. Взяв интервью у разработчиков и разбив этап генерации изображения на отдельные шаги, журналисты создали доступный и наглядный гайд для знакомства с моделью.

«‎Опять графики и скриншоты!» — воскликните вы. Нет, в этот раз все гораздо интереснее!

На странице статьи вам будет предложено четыре условия для AI, на основе которых сеть сформирует изображение. Далее, вы пройдете весь путь модели от того, какими картинками ее кормили в младенчестве и как, будучи зрелой и натренированной, она научилась генерировать то, что вы получили в качестве результата после выбора четырех условий.

Один из самых интересных этапов — это работа модели с цифровым шумом. Оказывается, чтобы научить Stable Diffusion 2.0 генерировать изображения, разработчики сначала научили ее видеть «спрятанные» объекты в картинках с разным уровнем шума.

Ставьте ❤️, если статья вам понравилась, и пишите в комментарии, какие аспекты работы Stable Diffusion 2.0 вам больше всего интересны!
#leftjoin_ai

На связи Data Heroes и в эфире э-э-эксперименты! ⚡️ (Если вам кажется, что эту фразу вы где-то слышали – вам точно кажется!)

В сегодняшнем выпуске речь пойдет об интересном и важном этапе в аналитике – А/Б-тестировании. О методе исследования, при котором сравниваются результаты разных вариантов эксперимента. Наши спикеры поделятся своими лайфхаками и ответят на самые важные вопросы:

▪️Почему А/Б-тесты так важны для бизнеса?
▪️Какие есть неочевидные ошибки и как их не допускать?
▪️Как правильно интерпретировать результаты А/Б-теста?
▪️Есть ли какой-то ТОП инструментов для проведения А/Б-тестов?

Включайте подкаст и прокачивайте свои скиллы вместе с нами! 🚀

БОНУС: Конечно же, наши спикеры обязательно дадут советы для новичков в А/Б-тестировании. Будет очень полезно!

СПИКЕРЫ: Виталий Черемисинов, Анатолий Карпов, Ксения Шипулина

Слушайте подкаст на платформах: Spotify, Anchor, Apple Podcasts, Google, Yandex, Overcast, Mave, Castbox, Telegram (↓)

#подкаст #DataHeroes

Omni или BI инструмент, который работает быстрее вас ⌚️
Недавно я наткнулся на Omni, продукт от разработчиков Looker и Stitch, который увидел свет в этом году.

Что в нем особенного?
▫️Основное преимущество этого инструмента в том, что модель выстраивается по мере того, как вы пишете запросы.
▫️Она автоматически парсит все SQL-запросы, позволяя вам в это время сосредоточиться на анализе данных.
▫️ В интерфейс Omni разработчики вшили редактор Vega, который позволяет вам создавать разнообразные визуализации с любым объемом данных.
▫️ Еще одна удобная особенность функционала Omni — это то, что рабочие пространства можно переслать своему коллеге, клиенту или начальнику просто по ссылке.
▫️ Полный список характеристик Omni доступен на сайте разработчиков.

Ладно, больше никакого футбола 🤡

#пятничное #мем

Приоткрывайм завесу тайны: о чём мы пишем в канале FULL JOIN?
Мы решили поделиться с вами частью контента, который мы публикуем в приватном канале. На прошлой неделе мы публиковали статью, в которой разбирались в сути ранжирующих функций в SQL.

Давайте разберемся в каждой из ранжирующих функций
📍 ROW_NUMBER — функция, которая возвращает номер строки внутри окна.
С помощью данной функции можно задать нумерацию, которая будет отличаться от порядка сортировки строк результирующего набора, создать несквозную нумерацию, т.е. выделить группы из общего множества строк и сделать отдельную нумерацию для каждой группы, а также использовать несколько способов нумерации одновременно.

Помимо ROW_NUMBER, есть и другие ранжирующие функции:
📍 RANK — функция, которая возвращает ранг каждой строки.
Погодите, а что такое ранг?
Cтроки, которые имеют одинаковые значения в столбцах, по которым выполняется упорядочивание, получают одинаковые номера - ранги. Нумерация рангов начинается с единицы.
В случае использования RANK следующим номером после строк с одинаковым рангом будет номер строки (ROW_NUMBER).

📍 DENSE_RANK — функция, которая также возвращает ранг каждой строки.
В отличие от RANK, при использовании этой функции следующим номером после строк с одинаковым рангом будет ранг на единицу выше. Таким образом, номера не пропускаются, и потому такой ранг называется “плотным“.

📍 NTILE — функция, которая распределяет строки окна на заданное в качестве параметра количество групп.
Нумерация групп начинается с единицы. Если общее количество строк не делится нацело на заданный параметр, то группы формируются двух размеров с разницей в единицу. Причем группы большего размера идут перед меньшими группами. Например, если общее число строк равно 10, а число групп равно 4, то первые две группы будут состоять из 3 строк, а последние две — из 2.

📍 PERCENT_RANK — функция, которая возвращает относительный ранг строки в окне.
Она вычисляет долю строк, ранг которых меньше, чем у текущей. Для подсчета используется формула (rank - 1) /([количество строк в окне] - 1). Возвращаемое значение лежит в отрезке [0, 1]. Если в окне только одна строка, то функция вернет 0.

📍 CUME_DIST — функция, которая возвращает кумулятивное распределение величины в пределах набора значений.
Она вычисляет долю строк, ранг которых не больше, чем у текущей. Для подсчета используется формула N/[количество строк в окне], где N - количество строк, ранг которых меньше либо равен рангу текущей строки, включая ее саму. Возвращаемое значение лежит в полуинтервале (0, 1].

Круто, а как их использовать?
По-разному. Например, с их помощью можно решить задачу ранжирования пользователей относительно их возраста или даты регистрации.

Если хотите изучить больше пояснений по разным функциям и их использованию, разобрать примеры запросов к конкретным данным, а также получить доступ в нашу Redash песочницу, чтобы запустить запросы со всеми этими функциями и разобрать их «по запчастям», то вы всегда можете оформить подписку на FULL JOIN.

Рома @revealthedata (еще три года назад) сделал замечательную для всех аналитиков – шаблон для сбора требований для дашборда. А сейчас выкатил его улучшенную версию. С его помощью и правда можно выполнить работу проще и точнее, а результат с куда большей вероятностью понравится заказчику!

Data Heroes залетают в Новый год! 🚀 И не одни, а вместе с волшебниками✨

Да-да, вы не ослышались! В сегодняшнем выпуске речь пойдет о настоящих волшебниках Нового года, благодаря которым на наших праздничных столах всегда есть салаты, а подарки для наших близких приходят вовремя 🎁

Знакомьтесь – аналитики в ритейле! Они поделятся историями о том, как им удается спланировать работу в жаркий предновогодний период и они делают наш с вами праздник чуточку лучше. А также ответят на интересующие вопросы:

▪️Как курьеры справляются с объемом заказов перед Новым годом?
▪️Какие продукты лидируют среди покупок для новогоднего стола?
▪️Какие необычные закономерности появляются в конце декабря?
▪️А как справляются серверы в период ажиотажного спроса (это же почти DDoS-атака!)?
▪️Кто такие “подснежники” и почему в январе наступает апокалипсис для ритейла?

Включайте подкаст и узнавайте все секреты! А также, с наступающим Новым годом!🎄

СПИКЕРЫ: Савелий Бабин (Ozon), Александра Подпорина (Лента), Мария Суртаева (Самокат), Артем Горбунов (Самокат)

Слушайте подкаст на платформах: Spotify, Anchor, Apple Podcasts, Google, Yandex, Overcast, Mave, Castbox, Telegram (↓)

#подкаст #DataHeroes

Марафон данных: перезапуск курса по анализу данных для начинающих
Я регулярно слышу от своих знакомых: «Расскажи, чем занимается аналитик данных? Можно ли у вас попробовать поработать? Будет ли мне интересно?».
Вместо тысячи слов — надо действовать. Поэтому я решил, что лучше создать удобную учебную программу, которая на практике расскажет чем же действительно занимается аналитик данных и почему эта профессия так важна для стартапов и международных корпораций.

Слегка взволновано (даже несмотря на полную уверенность в курсе) мы c командой готовы вам представить наш новый онлайн-курс!

Ремарка для тех, кто с нами давно
Если вы помните, у нас уже был подобный проект: недельный интенсив по анализу данных в телеграм-боте. Обучение через телеграм-бота зашло далеко не всем, семидневныый темп был весьма жестким, а цена – достаточно высокой. Первый блин у нас вышел комом (а мы после такого останавливаться не привыкли), поэтому сегодня мы перезапускаем Data Марафон.

О курсе
👨‍💻 Курс представляет собой симуляцию стажировки в компании, задачи, хоть и упрощены, но сильно приближены к реальным рабочим кейсам
🤑 Участие совершенно бесплатное
💤 Нет никаких лимитов на прохождение (но мы советуем не делать больших перерывов, чтобы ничего не забыть)
🪄 Над созданием курса трудилась большущая команда специалистов, как в области аналитики, так и в области дизайна и редактуры
😱 В курсе есть множество понятных и подробных примеров, как для погружения в работу аналитика, так и для понимания взаимодействия с базами данных
🎨 Весь курс дополнен совершенно звездными иллюстрациями

⬇️ Регистрируйтесь на курс
Когда еще разбираться во всех премудростях (а на самом деле – достаточно простых нюансах) профессии аналитика данных, как не на новогодних каникулах?
Скорее переходите на наш чумовой лендинг, проходите курс и раз и навсегда отвечайте себе на вопрос «Нужно ли бросать все и уходить в аналитику данных?».

🎁 Поделитесь нашим новогодним подарком со своими друзьями, которые задумывались о профессии. Ручаемся, им будет интересно!

Марафон данных: что это за курс?
Друзья, по первым откликам мы заметили, что недостаточно хорошо описали вам уровень и наполнение нашего курса. Давайте это исправим, чтобы между нами не осталось недопонимания!

Кому подойдет?
– Людям любых профессий, которые никогда не сталкивались с аналитикой данных, но периодически думают «бросить все и войти в IT»
– Студентам, которые хотят больше прикладных знаний и думают, стоит ли им пытаться искать стажировку или подработку в этой сфере
– Начинающим аналитикам, которые знают либо Python, либо SQL и думают, что второй язык не нужен (мы уделяем достаточно много времени их отличиям и особенностям совместного использования)
– Специалистам смежных областей, которые имеют технические знания, но не вполне понимают, в чем польза данных для бизнеса и как смотреть на данные с точки зрения заказчика (можете сразу переходить к заключительному модулю – там как раз об этом)

Кому не подойдет?
– Тем, кто уже работает в аналитике данных и прекрасно знает устройство таблиц и методы работы с ними
– Тем, кто хочет получить знания, достаточные для начала работы в компании в роли аналитика данных
– Тем, кто уже знает всю базу и хочет выйти на новый уровень знания и использования SQL и Python

Марафон данных – это первая ступень, упрощенная имитация работы в аналитической компании, легкий способ бросить курить понять «ваше» это или «не ваше» и стоит ли покупать серьезные фундаментальные курсы по анализу данных. Ведь часто так бывает, что люди покупают курс, рассчитанный на год или два, а в процессе обучения открывают в себе крайнюю неприязнь к рутинным задачам аналитика и грустят.

После этого простого курса вы немного войдете в курс дела, разберетесь с базовым синтаксисом двух языков и сможете выбрать любой платный или бесплатный курс по тому направлению, в котором вам хотелось бы развиваться дальше (SQL, Python, анализ данных или что-то другое).

А еще, курс сделан очень красиво и если вам хочется почувствовать себя молодцом, решая задачки, и посмеяться над забавными иллюстрациями – все это вы найдете в Марафоне данных.

Надеюсь, теперь всё встало на свои места ❤️

🎶 Riffusion — модель для генерации музыки на основе Stable Diffusion 🎹
Модель Stable Diffusion взбудоражила умы разработчиков Сета Форсгрена и Айка Мартироса, которые создали свой проект Riffusion для генерации музыки.

Почему Riffusion?
Название проекта — это слияние двух слов riff («рифф») + diffusion («диффузия»). Настроив модель, Сет и Айк научили ее генерировать спектрограммы, которые затем можно конвертировать в музыку.

Как же им это удалось?
За основу разработчики взяли Stable Diffusion v1.5, которую затем натренировали на спектрограммах, дополненных текстовыми комментариями. Спектрограмма — это визуальное представление спектра из частот сигнала, изменяющегося во времени. Используя оконное преобразование Фурье (звучит уже страшно), разработчики конвертировали аудиофайлы в спектрограммы. Данный способ позволяет и изображения, сгенерированные моделью, преобразовать в аудио, поэтому Сет и Айк дополнили непосредственно сам процесс создания музыки алгоритмом Гриффина-Лима для восстановления фаз (так как модель генерирует только амплитуду колебаний волны, но не фазы).

С подробностями зацикливания аудио отрывков и их интерполяции, а также примерами можно ознакомиться в статье.

Ну что, товарищи музыканты, сможет ли Riffusion написать новую «Лунную сонату» или «We will rock you»?

Финальная новогодняя новость – лендинг FULL JOIN
Друзья, чтобы не отсылать вас каждый раз к посту и структурировать информацию в одном месте, мы создали лендинг проекта FULL JOIN.
Самое главное, что сейчас там есть – это три опции подписки: на неделю (для тех кто не уверен), на месяц (классическая подписка) и на целый год (для тех, кто хочет сэкономить и уверен в качестве). Недельная и годовая подписки – это новогодние спешалы. Пока что мы не уверены, что оставим их в будущем, поэтому советуем воспользоваться ими, пока они активны.

Какие у нас планы на 2023?
В последние дни уходящего года только и разговоров, что о планах на будущий. В наступающем году мы планируем выпускать еще больше контента и, конечно, добавить разнообразия: расскажем про устройство Redash и его возможности, объясним нюансы ClickHouse так, что вы спокойно научитесь с ним работать, раскроем все детали самых уникальных и проработанных кейсов компании Valiotti Analytics. В общем, планируем делиться самыми полезными знаниями, которые у нас есть.

А если вы сейчас только планируете свое погружение в мир данных и слова SQL и Python вам ничего не говорят, то лучше всего будет начать с курса для начинающих «Data Марафон».

Дорогие подписчики,

Спасибо, что читаете, это ценно.
Год сложный и противоречивый, но после некоторой паузы в марте, мы решили, что не будем останавливаться и продолжим делать то, что любим и умеем.
Мы рады, что контент оказывается вам полезен и интересен, некоторые люди персонально благодарили за подкаст, который вдохновлял на старт в профессии. Огромное спасибо нашим спикерам и экспертам, что внесли свой вклад в наши ценности делиться знаниями с миром.

За этот год помимо релокации моего основного бизнеса, мы успели запустить ряд классных проектов: это и подкаст, и марафон данных, и закрытый канал FULL JOIN. Без всех вас – можем с уверенностью сказать – ничего бы этого не было, поэтому спасибо вам за мотивацию продолжать! Мы очень любим и ценим вашу обратную связь, стараемся всегда прислушиваться к ней.

Желаем вам мира в этом году и новых полезных знаний (во втором мы постараемся вам посодействовать)!

Николай Валиотти, Светлана Беккер и вся команда LEFT JOIN поздравляем вас с Наступающим Новым годом!

🤖 ChatBCG: AI добрался до презентаций 🖼
Бедные школьники, минус еще одна радость детства — сделать презентацию для урока информатики!

Что случилось?
Разработчики из Стэнфордского университета создали AI-инструмент, на основе модели BCG-3. Ключевое отличие от PowerPoint и Google Slides состоит в том, что ChatBCG еще и самостоятельно собирает информацию с просторов Интернета и генерирует слайды из своих находок. К примеру, если вам нужно создать презентацию на тему «‎Рождество в разных странах» (ну, а вдруг?)‎, то ChatBCG представит вам свою минималистичную версию, которая будет включать заглавный слайд, содержание, и далее несколько слайдов с описанием традиций отмечания праздника в четырех странах и иллюстрациями.

Как этим пользоваться?
Сервис позволяет менять тему презентации и сохранять итоговый файл в форматах PDF и PPTX. Также вы можете зарегистрировать бесплатный аккаунт, что даст вам доступ ко всем ранее созданным презентациям.

P.S. Пока что сервис сильно перегружен, поэтому часть функций может быть недоступна. Надеемся, это решится в ближайшее время!

Оставляйте ❤️, если вам этот сервис тоже кажется отличным решением для рутинных презентаций (или, как минимум, поможет преодолеть страх чистого листа слайда)!