🤷‍♂️ Что вам нужно знать о базах данных? 🗄
Некоторым аналитикам не сильно много известно о том, как работают базы данных. Это, конечно, опрометчиво, учитывая, что они хранят почти всю информацию с которой нужно ежедневно и (желательно) эффективно работать. Именно поэтому Юсуф Махди (автор классного блога Architecture Notes) решил разобрать основной принцип работы баз данных: индексация таблиц и почему вообще это важно. Если вы уже работаете с какими-то БД, то вам это наверняка отлично известно, но на всякий случай мы тезисно отметим самое важное.

🔢 Индексы..?
Индекс — это структура данных, которая помогает сократить время поиска нужной информации в БД. Индексы достигают этого за счет дополнительных затрат на хранение, память и поддержание их в актуальном состоянии, что позволяет нам пропустить утомительную задачу проверки каждой строки таблицы. Подобно указателю в конце учебника, он помогает вам попасть на нужную страницу.

🛠 А можно как-то без них обойтись?
Небольшие объемы данных поддаются ручной обработке (например, список посещаемости учеников класса), но когда они становятся больше (например, реестр рождений для большого города), они становятся менее управляемыми. Все, что раньше работало быстро, становится медленным-медленным-медленным и в итоге совершенно тормозит процессы. По мере роста системы собирают и хранят больше данных, что в конечном итоге приводит к описанной выше проблеме.

📈 В итоге, для работы с хоть сколько нибудь большими данными нужны индексы, которые помогают получить результаты запроса как можно быстрее.

Кстати, эта статья является первой в цикле статей "Things you should know about". Рассказывать вам о выходе следующих? 🤔

🤔 Хотите стать частью команды Valiotti Analytics? 👨🏻‍💻
Наша команда не перестает расширяться и с каждым месяцем нам нужно все больше профессионалов своего дела. Поэтому, если вы хотели поработать вместе с нами, сегодня ваш шанс 🥳

На данный момент открыты две вакансии:
👨‍💻 DevOps Инженер
📕 Автор обучающего контента по SQL/Python

С нас все самое лучшее:
👯‍♂️ Крутейшая современная команда лучших и самых талантливых спецов своего дела
🇬🇧 Корпоративный английский язык (всегда актуально)
🛋 Удаленная работа и соответствующий стек инструментов

Оставляйте отклики на HH или отправляйте ваши резюме мне в телеграм @valiotti (не забудьте отметить на какую вакансию вы откликаетесь) 🚀

🥳 Краткий дайджест успехов коллег из индустрии 🚀

▪️ Продюсер небезызвестного Матемаркетинга, автор телеграм-канала Интернет-Аналитика Алексей Никушин устраивает конференцию Aha!'22 про эффективность и продуктовую аналитику маркетплейсов. Если эти темы кажутся вам интересными, ловите промокод 15% на участие в конференции – LEFTJOIN.

▪️ Андрей Демидов и Data Yoga выпустили книгу про визуализацию данных. Электронная версия книги бесплатна, так что знания и навыки, описанные в ней, может получить каждый, кто заполнит коротенькую анкету. В книге целых 282 страницы полезных советов, которые помогут с нуля создать и даже презентовать дашборд. Must read!

▪️ Никита Рокотян выпустил cosmograph.app – приложение для визуализации графов, которое позволяет изучать комплексные графы в режиме реального времени. Cosmograph — это веб-приложение, которое будет работать в вашем браузере и никуда не отправит ваши данные. Все расчеты будут производиться прямо на вашем графическом процессоре: чем он быстрее, тем лучше результат.

▪️ Рома Бунин достиг отметки в 10к канала Reveal The Data (поздравляем Рому!) и недавно выпустил классные мокапы дашбордов (делился выше). А еще они вместе с Таней Мисютиной запускают курс по визуализации данных на Яндекс.Практикуме.

▪️ Саша Бараков рассказывает про клевый проект для QlikView 🔝, дизайн которого просто невозможно не отметить! Он сделал корпоративный стайл-гайд здорового человека для QlikSense. Поскольку на базе Qlik куда реже создаются достойные дизайны, Саша решил окончательно и бесповоротно это исправить. У него получилось.

▪️ Наташа Киселева и Настя Кузнецова вновь активно пишут актуальные заметки про dataviz. Искренне recommended к посещению!

👨🏻‍💻 Альтернатива SQL – Prequel 🗄
Буквально несколько дней назад случился финальный релиз PRQL — нового языка для преобразования данных. Мы уже говорили об этом, и, с моей точки зрения, сам подход вызывает вопросы, но в прошлый раз у нас получилась информативная дискуссия.

Что такое PRQL?
Вкратце, создатели заявляют, что это простая, мощная конвейерная замена SQL. Они заранее решили, что PRQL всегда будет open-source языком и никогда не будет иметь коммерческого продукта, так как подобные языки находятся глубоко в стеке данных и лучший шанс создать качественный и широко используемый язык — сделать его открытым.
Как и SQL, он удобочитаемый, явный и декларативный. Однако, в отличие от SQL, он формирует логический конвейер преобразований и поддерживает такие абстракции, как переменные и функции.

Что изменилось с последнего релиза?
В течение последних месяцев работы, создатели языка постепенно создавали компилятор, развивали язык и работали над интеграциями. На данный момент возможности использования PRQL сосредоточены на двух интеграциях:
◽️ dbt-prql позволяет писать PRQL в моделях dbt. Для этого нужно установить dbt-prql с помощью pip, и тогда любой текст между тегами {% prql %} и {% endprql %} будет скомпилирован из PRQL.
◽️ Jupyter позволяет писать на PRQL в Jupyter notebook или IPython repl с помощью %%prql. Помимо подключения к существующим БД, есть интеграция с DuckDB, которая позволяет обращаться к датафреймам pandas, файлам CSV и Parquet и записывать результат в новый датафрейм.
Помимо этих двух интеграций, очень легко добавить PRQL в другие приложения с помощью специальных привязок для Rust, Python и JS.

Что я думаю о PRQL?
Ребята, конечно же, молодцы, что развивают свой проект дальше! Наверное, это может стать достойной частью какого-то инструмента в будущем, однако для меня SQL существенно привычнее и удобнее для решения тех же задач.

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞

⏰ Планирование в этом нестабильном мире
Red Engine — это современная среда планирования для приложений на базе Python. Он предоставляет больше возможностей, чем Crontab и APScheduler, и его гораздо проще использовать, чем Airflow. К сожалению, Red Engine не может стать планировщиком корпоративных пайплайнов, в отличие от Airflow, но с легкостью подойдет для приложений Python.
Что заявляют разработчики?
У фреймворка есть мощный синтаксис планирования, есть возможности распараллеливания, параметризации и конвейеризации задач. Также, есть опция внесения изменений в сеанс даже во время выполнения.

🔫 Насколько внимательно вы играли в GTA?
Теперь слова "я играю в GTA с 15 лет" можно проверить на деле: в интернете появился тест, в котором вы должны угадть локацию из GTA на карте Los Santos. У теста есть 4 уровня сложности, кастомные опции (вроде добавления таймера), а также можно попробовать пройти его с друзьями и выяснить, кто играл внимательно, а кто нет.

🤔 Необычный клиент Slack для macOS
Если (ну вдруг) привычные возможности Slack вам наскучили и вы хотите чего-то большего – установите Shrugs.
Чем он отличается от классического клиента?
Во-первых, Shrugs.app не ограничен одним окном: открывайте столько основных окон для чатов или тредов, сколько хотите. Во-вторых, можно редактировать изображения и документы в самом приложении без необходимости использования других программ и последующих сохранения и отправки. Этих двух плюсов уже могло быть достаточно, чтобы попробовать, но есть еще 4 преимущества, о которых подробно рассказано на сайте приложения.

📚 Новая книга издательства O'Reilly об анализе данных
В формате open-access выходит третье издание книги "Python for Data Analysis". В печать она поступит позже, а пока что ее можно прочесть и дать фидбек авторам для улучшения текста и исключения ошибок.
Что в ней новенького?
Основное изменение – конечно, адаптация всех методов к новым версиям Python и pandas.

#weekly #дайджест

Идеальный кандидат на должность аналитика – какой он? Обсуждаем в бонусном эпизоде Data Heroes! 👾

Мы уже завершили первый сезон подкаста Data Heroes, но не могли же мы взять перерыв, не порадовав вас бонусным выпуском. Тем более, таким актуальным! 💥
В этом эпизоде говорим с теми, кто помогает компаниям найти классных специалистов - с первоклассными рекрутерами и эйчарами. Они поделятся с нами опытом найми аналитиков всех грейдов и областей. Вы узнаете, кто такой идеальный кандидат (и существует ли такой вообще), как правильно оформить резюме и что общего между онлайн-курсами в резюме и молотком? 🤯

Спикеры: Мария Бушаала, Зайнулина Калина, Анна Любимова, Сурен Погосян

Слушайте подкаст на платформах: Spotify, Anchor, Apple Podcasts, Google, Yandex, Overcast, Mave, Castbox, Telegram (↓)

Дисклеймер: прошу прощения за мое качество записи в этом выпуске. В этот раз что-то пошло не так. В следующих эпизодах исправлюсь 🙂

#подкаст #DataHeroes

🤓 Автоматическая верстка документов и презентаций, о которой многие уже знают 📝
Рискую побыть капитаном очевидность, но фидбек в личке показал, что не все знают про этот классный сервис: Overleaf. Дело в том, что чаще всего знакомство с ним происходит в академической среде: преподаватели вузов иногда просят присылать отчеты проектов или презентации, созданные в LaTeX. Однако, этот способ подачи информации полезен и за пределами университетской жизни.

📚 Что за сервис?
Это веб-сервис, который предоставляет возможность быстро (особенно, если вы знаете базовый синтаксис LaTeX) сверстать информацию в слайды презентации, отчет или даже статью для научного журнала с помощью кода без ручного выбора шрифтов и размещения объектов. Все более чем просто: есть множество how-to гайдов и обучающих видео, которые помогают разобраться в начале работы, а затем (спустя 1-2 проекта) Overleaf может значительно ускорить оформление результата вашей работы: рабочих или учебных проектов.

🤔 Дайте знать, если вы никогда раньше о нем не слышали!
🔥 Или вы уже продвинутый пользователь?

📕 Срочно рассказываем вам про Overleaf 💻
В недавнем посте я с удивлением обнаружил, что немногие из вас знают про Overleaf и, если честно, был удивлен, поскольку сейчас любые учебные проекты мне нужно оформлять в LaTeX. Немного поразмыслив, я вспомнил, что до учебы в GT я и сам им нечасто пользовался, поэтому удивление прошло. А желание рассказать вам о нем подробнее осталось!

❔ Что это такое?
Overleaf – это веб-сервис, который позволяет создавать любые документы с помощью LaTeX. Он позволяет удобно прописывать математические (и не только) формулы, выделять заголовки, менять шрифты, добавлять изображения и выбирать расположение элемента в документе без ручной подгонки. Изначально пользоваться Overleaf, конечно, сложнее чем Microsoft Word или PowerPoint, однако спустя несколько проектов он начнет экономить вам кучу времени.

🤓 Очевидные плюсы:
* Мгновенная компиляция документа: пишете код в левой части, запускаете компиляцию и сразу видите, как будет выглядеть исходный документ в левой части документа
* Доступ к проекту через веб-ресурс, поэтому поправить документ можно с любого устройства в любой момент
* (Платная) возможность работать с документом совместно и оставлять комментарии, так как все правки отображаются в режиме реального времени (как в Google Docs)
* Нет необходимости устанавливать LaTeX, поскольку вся компиляция происходит в самом Overleaf
* Можно отслеживать изменения в документе, откатываться к предыдущей версии при необходимости

📝 Что можно делать с его помощью?
* Учебные проекты и презентации (например, курсовые и ВКР можно оформить очень быстро с помощью пакета Beamer, так как там есть все нужные функции: списки, акценты, вставка изображения или таблицы, титульный лист)
* Научные статьи сразу под требования журнала (у многих научных журналов есть свои шаблоны, в которых легко разместить текст и не заморачиваться с ручной версткой глав, колонок и прочего)

👉 Зачем он (скорее всего) пригодится вам?
Если предыдущие два пункта пригодятся по большей части студентам и научным сотрудникам, то этот пригодится всем: можно оформить красивое резюме международного формата.
Даже если вы не соираетесь устраиваться в зарубежные компании, оригинальное оформление резюме при внутреннем поиске работы – однозначный плюс для соискателя, ведь на HH заполнить шаблон может каждый, но не каждый может выполнить это как-то иначе.
Существует целая галерея разных шаблонов, но я советую этот – простой и лаконичный, вся информация о вас на одном листе А4 – радость для любого работодателя!

🔢 Ранжирование файлов в проекте❔
Сегодняшняя новость будет актуальна по большей части разработчикам, однако, я не мог не поделиться ей. Коротко рассказываю о новой библиотеке Deprank (ничего общего с пранками она не имеет, к сожалению): используя алгоритм PageRank эта библиотека позволяет найти наиболее значимые файлы в вашем проекте. В процессе ранжирования изучаются ссылки на другие файлы кода, импорт библиотек и так далее.
Deprank использует dependency-cruiser для построения графа зависимостей ваших исходных файлов, а затем ранжирует их в зависимости от их важности.
Интересно, много ли среди подписчиков LeftJoin разработчиков или за каналом следят по большей части аналитики данных?
Оставляйте такую реакцию 🐳, если вы разработчик!

🙉 Личные данные пользователей в сети. Снова?! 🙅‍♂️
Вчера мы выяснили, что разработчиков среди подписчиков нашего канала не так уж и много. Поэтому сегодня расширим тематику и расскажем о новости, которая мало кого может оставить безучастной.
Казалось бы, современные технологии должны качественно защищать личные данные, однако, что-то всегда идет не так. Итак, есть предобученная модель GPT-3, которая обучалась на корпусе данных доступных в сети Интернет. В интернете, естественно, есть имена и фамилии людей и их логины. И вот мы подходим к важной и неприятной правде: в нейронной сети есть прочные связи между логином пользователя и его именем и фамилией. Поэтому, когда кто-то начинает генерить текст, используя в качестве ключевого слова логин, то в результате выдается полноценная информация о пользователе, которая может попасть отнюдь не в самые добрые руки.

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике (Westworld edition) 🧠
🐜 Мир дикого запада и колонии муравьев
В начале второго сезона сериала Westworld Бернард говорит о том, что машины имеют некую простую сеть, в которой они могут обменивться сообщениями с ближайшими устройствами, как в колонии муравьев. Это сравнение тогда показалось мне интуитивно понятным, хотя я никогда раньше себе не представлял, как именно живут и двигаются муравьи.
Недавно я наткнулся на ресурс, который популярно закрыл этот вопрос для меня (и я даже залип на нем на некоторое время). На примере нескольких ситуаций и карт авторы показывают, каким образом муравьи перемещаются, какая у них цель и что помогает им выстроить маршрут. Оказывается, что они совершают отнюдь не броуновское движение, а путь от источника еды до муравейника или оповещение членов колонии об опасности.

🎧 Важно уметь слышать свой внутренний голос (и не только)
Как создатель подкаста, обсуждений в котором уже на целый сезон накопилось, теперь я часто наблюдаю за новыми инструментами для работы с аудиозаписями. Teapodo – простой аудиоредактор с неразрушающим многодорожечным редактированием. Что значит "неразрушающим"? Дело в том, что импорт или запись на несколько дорожек и преобразование аудио в клипы с сохранением исходного звука нетронутым.
Teapodo создан с современным графическим интерфейсом, который изначально работает как на Apple Silicon, так и на Intel Mac. Приложение пока что доступно лишь на macOS, но в ближайшее время выйдет и Windows-версия.

👨🏻‍💻Свободны ли аналитики данных?
Вы ведь помните, что лабиринт – это не путь наверх, а путь вглубь себя? Как пишет автор этой фантастической рассылки обо всем, что связано с миром анализа данных Бен Стенсил, аналитикам тоже иногда стоит заглянуть в глубины собственного сознания. Звучит несколько парадоксально, мы ведь не на сеансе психотерапии? Однако, мнение достаточно интересное и вот почему. Бен заметил, что раньше, когда он только начинал свой путь, он свободно и спокойно обсуждал стек данных, мнения и новые технологии. Однако, по мере развития в этой отрасли до главы компании, которая прицельно занимается работой с данными, он заметил, что его открытость и теперь свободы снизилась: большинство дружеских отношений перешли в разряд рабочих или партнерских, разговоры и обсуждения стали менее искренними, все крутится лишь вокруг собственного бренда и отстаивания его интересов. Эссе Бена получилось (в очередной раз) интересным и его стоит прочесть как минимум за красивый ангийский, который нечасто встретишь на просторах сети.

Кстати, вы уже начали смотреть новый сезон Westworld? Пишите ваши мысли по поводу нового сезона и оставляйте ❤️, если вам тоже нравится сериал!
#weekly #дайджест #westworld

Нашли монстров, которые крадут ваше время, и поможем их одолеть знанием и подарками.

Вот вы говорите: «Опять времени не хватает!» Может, это потому, что его кто-то похищает?

Узнайте, что за монстры крадут ваше время, посмотрите им в глаза и узнайте, как Практикум поможет с ними справиться.

Практикум — сервис онлайн-образования, где учат востребованным профессиям. У каждого курса есть чёткая программа, чтобы заранее знать, сколько времени закладывать на учёбу.

Оплатите любой курс с 11 по 31 июля и выберите подарок, который поможет найти время и на учёбу, и на себя.

Давайте этих монстров сюда!

#реклама

🖥 Кто может объяснить работу кода лучше, чем машина? 🤔
На сегодняшний момент одно из самых крутых применений языковой AI-модели GPT-3 — создание объяснений того, как работает код. Суть в том, что вы можете подать на вход модели блок кода, написанный на Python, JavaScipt, SQL или другом языке, и попросить объяснить его, а также задавать вопросы, в духе "Что делает эта функция?"

🔮 Конечно, как у использования любой другой модели, у GPT-3 есть важные нюансы: вам нужно хорошо разбираться в вопросах кодинга, работе AI-моделей и эффективности выполнения команд по времени и памяти, чтобы проверять и понимать полученные объяснения, а также, чтобы подмечать некоторые неточности. Несмотря на это, GPT-3 предлагает разработчикам (которые, например, разбираются с чужим кодом) фантастические возможности для работы.

🚴‍♂️ Как пишет автор заметки, "такие инструменты, как GPT-3, можно отнести к категории «велосипеды для ума». В первую очередь вы должны уметь на нём кататься!"

#leftjoin_ai

🤿 Глубокое погружение в визуализацию данных 🌊
Недавно прочитал объемную книжку Hands-On Data Visualization про визуализацию данных. Чтобы сэкономить вам время, структурировал самые полезные главы из книги в этом посте.

▪Суперский список ресурсов по поиску датасетов
▪ Классная глава про очистку данных и про функцию Smart Cleanup в Google
▪Инструмент Tabula для извлечения таблиц из pdf
▪Инструмент Open Refine: мощная вещь для очистки данных, которую я изучал в Georgia Tech
▪Важные правила построения графиков:
▪Клевые мануалы по созданию чартов в DataWrapper
▪Полезные принципы дизайна таблиц
▪Серия мануалов по созданию графиков на Chart.js
▪Любопытная глава по определению лжи на графиках
▪Как лгать с помощью графиков и как лгать с помощью карт
▪Полезный прием: выставление акцентов в данных при сторителлинге

❕Не мог не выделить отдельно главу про важность отличий медианы и среднего следующей старой шуткой:
There’s an old joke that when a billionaire walks into a room, everyone becomes a millionaire—on average—but the median barely changes.

Сохраняйте себе этот список, оставляйте ❤️, если хотите больше контента про датавиз!

🤔 Печенье, которого не существует 🍪
Давно не рассказывали, что там новенького в мире AI-моделей для генерации изображений, пора исправляться!

🆕 Что новенького?
Разработчики обучили четыре модели StyleGAN2 (Generative adversarial network) для генерации изображений еды. Код, оптимизированный для обучения TPU, а также предварительно обученные модели находятся в открытом доступе. Результаты весьма интересные (и реалистичные), вы даже можете попробовать сгенерировать изображения сами в этом Collab-ноутбуке.

💸 Почему просто не использовать DALL-E 2?
Авторы шутят, что они бедные и не хотят тратиться, но есть и более аргументированное объяснение. Дело в том, что диффузионные и авторегрессионные модели (DALL·E 2, Craiyon (ранее DALL·E mini), ruDALL-E) сейчас и так на пике популярности, о них слышно из каждого утюга. Поэтому авторы решили пойти в другом направлении и сравнить результаты известных моделей и StyleGAN2, которая только набирает популярность.

📸 Что особенного в моделях GAN?
Основное, что отличает эту модель от других: фотореализм. В статье вы можете увидеть, что именно у GAN получаются самые правдоподобные снимки, а вот у DALL-E 2, например, изображения кажутся либо сильно отретушированными , либо нарисованными.

👨‍🦰Кстати, еще есть другой интересный ресурс на базе GAN: This Person Does Not Exist, здесь собраны синтетические фоографии лиц разных людей. Которых, как следует из названия, не существует.

#leftjoin_ai

Мои коллеги на удаленке: работают на пляже
Я:

#мем

🍋 Data Science для жизни (и не только)
Я регулярно изучаю, какие курсы запускаются по всевозможным смежным c аналитикой направлениям. Конечно, большинство курсов похожи друг на друга и частично повторяют самую базовую информацию, однако, среди них есть и настоящие бриллианты: например, Everyday Data Science.

🤔 Что особенного в этом курсе?
Курс платный, но первую главу под названием "Когда жизнь преподносит тебе лимоны..." можно пройти без всяких регистраций и смс. Самое крутое, что, полагаю, будет лейтмотивом всего курса – это простые жизненные примеры, которые помогают увидеть и понять закономерности и сложные концепции. Например, в первой главе можно погрузиться в крайне нужное сейчас при трудоустройсте A/B-тестирование и научиться принимать решения на его основе. В курсе также заявлены дальнейшие темы: дифференциальные уравнения, популяции, байесовское равновесное ценообразование, графики – и как это все может быть полезным в обычной жизни.

Расскажите в комментариях, какие курсы, связанные с данными, вам понравились в последнее время? И ставьте 🔥, если вам тоже показался интересным этот курс!

Everyday Data Science за полцены 🤑
Вау, к нам в телеграм-канал зашел автор технической части интерактивного курса, о котором мы подробно рассказали выше, Jim Fisher! Он заметил неожиданный (и приятный) трафик из Telegram и решил разобраться, кто за этим стоит...
Помимо респекту нашему теплому комьюнити, он дал всем нашим подписчикам промокод на 50% скидку по привычному нам промокоду LEFTJOIN. Если вы уже успели купить курс, то можно быстро оформить возврат и оплатить вновь уже со скидкой.

🚨 Скидка действует всего несколько дней, а также, оплата возможна только через зарубежную карту. Понимаем, что это предложение интересно не всем, однако, если у вас есть желание и возможность – от всей души советую его курс. С помощью привычных и понятных примеров можно наконец-то разобраться в том, как даже в обычной жизни могут пригодиться дифференциальные уравненя, популяции, байесовское равновесное ценообразования, графики и временные ряды🚀