Кейс: готовое решение из «коробки» vs кастомная аналитика
На рынке полно готовых решений для аналитики, которые можно подключить к своим источникам данных и базам и получить от них достойные информативные дашборды. Это намного дешевле и быстрее, чем строить систему аналитики с нуля, поэтому многие компании выбирают именно этот путь.

При всех неоспоримых плюсах у таких готовых решений есть и минусы:
🔵сложно настроить под себя, когда возникает необходимость в более продвинутой аналитике;
🔵если появляются какие-то ошибки и неточности в данных, может быть очень тяжело разобраться, из-за чего это происходит.

Со второй проблемой мы однажды столкнулись. Если кратко, то заказчик пользовался ROISTAT, а потом решил выстроить кастомную систему с нашей помощью. И когда он посмотрел на наши дашборды, то понял, что «цифры не бьются» и в данных что-то не так. Мы начали разбираться и поняли, что хотя в своем коде мы уверены, внутрь ROISTAT заглянуть, чтобы разобраться, что и как он считает, мы не можем.

🔜 Что потом мы с этим делали, читайте в новой статье в нашем блоге!

Как аналитика поможет бизнесу поднять раунд инвестиций
Слышали, что недавно OpenAI подняла раунд инвестиций на 6,6 млрд?

А у нас как раз статья вышла про то, как с помощью отчетов и аналитики убедить инвестора выделить деньги стартапу. Будем честны: 6,6 млрд не обещаем, но верим, что статья поможет понять, как показать потенциал бизнеса с помощью данных.

Пригодится не только предпринимателям, но и аналитикам, чтобы лучше понимать запросы бизнеса и влияние аналитики на фандрайзинг.

🔜 Читайте по ссылке → https://vc.ru/u/48577-nikolai-valiotti/1541672-kak-analitika-pomozhet-startapu-podnyat-raund-investicii

Google починил SQL
Как думаете, что делает запрос ниже?

FROM customer
|> LEFT OUTER JOIN orders ON c_custkey = o_custkey
AND o_comment NOT LIKE '%unusual%packages%'
|> AGGREGATE COUNT(o_orderkey) c_count
GROUP BY c_custkey
|> AGGREGATE COUNT(*) AS custdist
GROUP BY c_count
|> ORDER BY custdist DESC, c_count DESC;

А делает он то же, что вот этот:

SELECT c_count, COUNT(*) AS custdist
FROM
( SELECT c_custkey, COUNT(o_orderkey) c_count
FROM customer
LEFT OUTER JOIN orders ON c_custkey = o_custkey
AND o_comment NOT LIKE '%unusual%packages%'
GROUP BY c_custkey
) AS c_orders
GROUP BY c_count
ORDER BY custdist DESC, c_count DESC;

Главное отличие в том, что первая версия кода — это новый более лучший улучшенный SQL от Google. 👀

А что не так со старым?
У SQL много плюсов, но давайте честно — это не самый простой язык. Иногда даже опытным экспертам бывает сложно разобраться, как написать или прочитать особенно хитрый запрос.

Но и отказываться от него не хочется: во-первых, мы все-таки его любим, а во-вторых, достойной альтернативы ему просто нет. Поэтому ребята из Google предложили решение — конвейерный синтаксис, который вы и видите выше.

Что такое GoogleSQL?
GoogleSQL — это диалект SQL, разработанный в Google.

К нему прикрутили поддержку «конвейерных» запросов (но обычные и смешанные тоже допускаются). Они отмечаются значком |> и в основном выполняют те же функции, что их «тезки» в стандартном SQL. Хотя есть и несколько экспериментальных, у которых нет аналогов.

🔜 Подробнее можно почитать в публикации от команды Google. Самое интересное начинается с 4 страницы — там про операторы, синтаксис и логику работы.

Если совсем кратко (чтобы влезло в пост в Tg), то главный плюс подхода, предложенного Google, — запросы намного проще писать, читать, редактировать, дебажить, добавлять новые операторы и так далее.

Вот такой апдейт для старого доброго SQL. Что скажете?
❤️ — так действительно удобнее
🌚 — это уже не SQL

Онлайн-курсы: напрасная трата времени и денег или шанс сменить профессию?
Надеюсь, вы не забыли, что мы проводили независимое исследование онлайн-курсов по аналитике? Так вот, пришло время поделиться результатами.

В этой статье все явки и пароли — а именно, как Data-специалисты выбирают онлайн-курсы, оправдались ли их зарплатные ожидания после обучения и многое другое.

🔜 Читайте по ссылке → https://vc.ru/education/1556717-onlain-kursy-naprasnaya-trata-vremeni-i-deneg-ili-shans-smenit-professiyu

Так, результатами исследования мы поделились, теперь можно публично поблагодарить наших друзей и коллег, которые поддержали нашу идею ❤️

Обязательно подписывайтесь на эти каналы — все-таки, драгоценная подборка экспертов сферы (и не только) 👀

🔵Reveal the Data
🔵data comics
🔵Чартомойка
🔵Инжиниринг данных
🔵Datanomika
🔵Datalytics
🔵Start Career in DS
🔵Data Nature
🔵настенька и графики
🔵People Analytics
🔵Лягушачья аналитесса
🔵Это разве аналитика?

Как дела у BI в России в 2024?
Расскажут на мероприятии с говорящим названием Russian BI Forum’24.

Форум пройдет 14 октября в Москве в Инновационном кластере МГУ «Ломоносов». В программе пленарная дискуссия про будущее BI, мастер-классы и доклады от вендоров и экспертов по аналитике.

Про что будут говорить?
🔵 Кейсы и опыт внедрения BI-систем.
🔵 Тенденции и тренды индустрии.
🔵 Выбор BI-систем: отличия, особенности, российские аналоги ушедших с рынка инструментов.

Вариантов участия два:
1️⃣ Стандарт, который дает доступ к пленарной сессии, докладам и фуршету,
2️⃣ Стандарт + мастер-классы. За участие в последних дадут сертификат.

Оба платные, но по промокоду LEFTJOIN можно купить билет со скидкой 35%.

Он действует до 13 октября, но воспользоваться им сможет ограниченное число счастливчиков, так что рекомендуем не затягивать.

Tableau и dbt объявили о начале партнерства
Обещают, что это поможет увеличить доверие к данным в глазах пользователей и сделать работу аналитиков и дата-инженеров удобнее.

В чем состоит партнерство?
Если кратко — то в объединении возможностей Tableau и dbt. Из dbt можно будет экспортировать в Tableau модели, метрики, информацию о качестве данных. Часть фич (например, dbt Data Health Tiles, которые помогают убедиться в свежести данных) уже прикрутили, часть (например, подключение Pulse к dbt за один клик) появится в ближайшем будущем.

🔜 Ценность для юзеров в том, что им будет проще проверить, что данные на дашборде точные и актуальные. Для дата-команд — в том, что теперь станет меньше лишних телодвижений при работе с данными.

А если хочется подробностей, то вы их найдете в пресс-релизе на сайте Tableau.

Как вам новость?
❤️ — Давно пора!
🌚 — Да что мне этот Tableau...

AlphaFold 3: как ИИ двигает науку вперед
Давно не рассказывали про то, как ИИ трудится на благо науки. Исправляемся — сегодня на повестке модель для предсказания структуры белков AlphaFold 3.

🔜 AlphaFold 3 разработали Google DeepMind and Isomorphic Labs. Как можно догадаться по названию, это уже третья версия: первую представили в 2018 году, вторую — в 2020. Она нужна для того, чтобы предсказывать структуру белков, их функции и взаимодействия друг с другом и иными веществами.

🔜 Почему это важно?
У белков безумно сложная структура, которую очень тяжело «расшифровать» и описать. А нужно это делать для того, чтобы лучше понять, как они воздействует на другие молекулы. Эта информация полезна при разработке лекарств или при изучении того, как функционирует живой организм — человеческий и не только.

До того, как для этих целей начали использовать ИИ, описание структуры белков было очень долгой и тяжелой задачей. Поэтому AlphaFold оказала огромное влияние на биологию, биохимию и фармацевтку — модель описала больше 200 миллионов белковых структур и значительно упростила работу исследователей. Новая версия стала еще мощнее и теперь способна предсказывать еще более сложные структуры, чем раньше, — целые белковые комплексы.

🔜 Ну и когда ждать лекарство от всех болезней?
А вот тут пока непонятно. Во-первых, надо понимать, что ИИ, при всех свои возможностях, все еще не творит чудеса и даже не гарантирует 100%-ную точность своих предсказаний.

А еще разработчики не стали делиться исходным кодом третьей версии, как сделали с предыдущими. Вместо этого они запустили AlphaFold Server. Он бесплатный, быстрее AlphaFold 2, но предназначен только для некоммерческих исследований и не позволяет предсказывать структуры веществ, которые могут быть использованы как лекарства.

Вот такие новости науки. 👀

Интересно иногда почитать что-нибудь такое или вы здесь исключительно ради постов про данные и SQL?

❤️ — Да, пишите, интересно.
👾 — Нет, давайте лучше про данные!

«Уверенность в своей работе ко мне пришла, наверное, только года три назад — до этого со мной всегда было ощущение, что ничего не получится»

В гостях Роман Бунин — специалист по визуализации данных и развитию BI-систем, автор Telegram-канала Reveal the Data

О чем поговорили?
🔵 О работе инженером-электротехником на заводе.
🔵 Как пришел в BI.
🔵 Какой он — идеальный образовательный микс.
🔵 Об уверенности в собственных навыках и неэффективности инструментов для визуализации данных.

🔜 Подробности — в канале Карьера в Data | LEFT JOIN.

А еще 26 октября стартует курс «Дашборды и аналитические инструменты», который Роман запускает совместно с Татьяной Мисютиной. Делимся с вами промокодом LEFTJOIN, который дает скидку 5%. Указать его нужно при записи в комментариях.

Что есть на дашборде с результатами исследования онлайн-школ
Для начала напомним, зачем вообще это все было нужно.
🔵 Узнать, какие онлайн-курсы для аналитиков наиболее востребованы.
🔵 Разобраться, помогает ли онлайн-обучение найти новую работу и прокачать скиллы.
🔵 Сравнить, как изменилась — и изменилась ли — ситуация по сравнению с 2021 годом, когда мы проводили первое такое исследование.

🔜 Итоги видно на дашборде. Серыми полосками отмечены ответы в 2024, синими линиями — в 2021.
🔵Больше всего людей проходили курсы от Яндекс Практикума, но оценки у него не самые высокие, хоть и неплохие — 7,9 баллов (на 0,3 ниже, чем в 2021).
🔵Лучше всего оценили курсы от Simulative — 8,8 баллов. Платформа появилась в 2022 году, так что за 2021 данных нет. А вот самые низкие оценки у Geekbrains — 4,4, на 0,9 меньше, чем в прошлый раз.
🔵 Почти все курсы оценили хуже, чем в первом исследовании. Исключениями стали Skillbox и Skillfactory, которые улучшили результат, и Нетология, у которой он не изменился. Можно порассуждать, почему так — либо качество обучения ухудшилось, либо у студентов выросли требования.
🔵 Большинство учились на аналитиков (65,4%) и поступили на курс с намерением сменить профессию (46,3%).

💬 Это данные из основной версии дашборда.
Есть и вторая, более полная, с информацией о стоимости курсов, а также карьерных перспективах: как долго после обучения студенты искали работу и оправдались ли их зарплатные ожидания. Про уровень зарплат мы не спрашивали – слишком много переменных (должность, опыт, компания и так далее), из-за которых данные не будут точными и ценными. Зато все данные можно отфильтровать по платформе, чтобы узнать, насколько студенты каких школ больше всех довольны жизнью.

Полную версию можно бесплатно запросить у бота 🔜 @leftjoin_data_bot

ТОК 2024: конференция для малого и среднего бизнеса
14 ноября в Москве пройдет конференция о том, как развивать и растить бизнес — причем во всех направлениях, от улучшения качества продукта до расширения географии.

Мероприятие рассчитано на предпринимателей: как новичков, которые только-только запустили свой проект, до руководителей уже устоявшихся, стабильных компаний. Они смогут послушать разборы кейсов и дискуссии приглашенных экспертов, посетить мастер-классы и воркшопы.

🔜 Кстати, о приглашенных экспертах: обещают, среди прочих, выступления от Кофемании, FITMOST, Точки, Ясно и The Blueprint.

Конференция будет разделена на три трека:
🔵Стратегии — про масштабирование бизнеса и создание бренда,
🔵Процессы — про операционку и выход из нее,
🔵Люди — про лидерство и выстраивание взаимоотношений с сотрудниками.

Ознакомиться с программой и полным списком спикеров можно сайте конференции.

А вы отличаете медиану от среднего?
45% казахстанцев отличают и получают более высокую зарплату, чем остальные 55%.

Дата-консалтинг Datanomix из Казахстана провел исследование, чтобы определить уровень data literacy среди соотечественников. Для этого опросили 878 человек из разных сфер деятельности — бизнесменов, айтишников, финансистов и так далее.

💬 Data literacy или грамотность в работе с данными — это умение интерпретировать данные, замечать тренды и делать из них выводы. Этот навык нужен не только аналитикам — данные в том или ином виде есть в жизни почти каждого.

Даже тем, кто не мониторит никакие показатели по работе, дата-грамотность пригодится, если они решат почитать про результаты, например, научного исследования или социологического опроса. Если они умеют работать с данными, они смогут сами сделать из них выводы, а не слепо полагаться на чужую трактовку.

Ну а еще высокий уровень дата-грамотности коррелирует с уровнем зарплат.

Вот, что обнаружили Datanomix:
🔵Респонденты 18-23 лет в среднем значительно грамотнее в работе с данными, чем респонденты 42-46 лет. Этот тренд прослеживался во всех возрастных группах: чем старше, тем ниже уровень дата-грамотности.
🔵 В большинстве сфер прослеживается связь между уровнем дата-грамотности и доходом. Особенно ярко — в ритейле, IT и госуправлении.

Остальные результаты — по ссылке в начале поста.

А вам data literacy помогает больше зарабатывать?
❤️ — А то!
👾 — Что-то незаметно…
🔥 — А я неграмотный :(

Данные есть, а смысла нет: как мы починили аналитику французскому эдтеху
Сделать классную аналитику — это как наконец-то купить подходящие очки. Жить становится настолько удобнее, что не понимаешь, как обходился без этого раньше.

Но что делать, если у компании уже есть аналитика, с базами и дашбордами, а пользы это не приносит? Инсайты не ловятся, а деньги и ресурсы на всю эту инфраструктуру все равно тратятся?

🔵Короткий ответ — переделывать.

🔵Длинный — в новой статье на vc.ru → https://vc.ru/dev/1589666-dannye-stali-tochnee-a-rashody-snizilis-v-225-raza-kak-my-sdelali-analitiku-francuzskoi-kompanii-mentorshow

В ней рассказываем про то, как мы пересобрали систему аналитики французскому эдтеху Mentorshow. У них с данными все было так сложно, что приходилось пересчитывать показатели с дашбордов вручную. В Excel, Карл! 🫠

🔜 В статье разбираемся подробнее, не только что случилось с Mentorshow, но и почему от такой ситуации ни один бизнес не застрахован. И конечно рассказываем, как этого избежать.

Kotlin для анализа данных
Что мы все про SQL да SQL ­— не только ведь его можно использовать для работы с данными. Взять, например, Kotlin. У него есть целый набор инструментов для анализа и датавиза.

🔵 Библиотека Kotlin DataFrame позволяет работать со структурированными данными в форматах CSV, JSON, XLS и XLSX. С ее помощью можно сделать выгрузку, фильтровку, сортировку, агрегацию — в общем, те же операции, что обычно совершаются SQL-запросами.
🔵 Библиотека с милым названием Kandy предназначена для визуализации данных и умеет рисовать все самые популярные и распространенные виды графиков: линейные, гистограмы, тепловые карты, точечные диаграммы и так далее. Получается вполне симпатично и информативно.
🔵 Kotlin Notebook, Kotlin-Jupyter Notebook и Datalore — это редакторы, которые поддерживают работу с текстом, кодом, изображениями и HTML. И вот в них как раз можно делать разнообразные выгрузки данных или рисовать графики с помощью Kandy, вести документацию и экспериментировать с кодом.

Все это выглядит как вполне достойный инструментарий для работы с данными. А вы уже чем-то из этого всего пользовались? 👀

Примите участие в исследовании рынка труда для аналитиков!
Наши друзья из NEWHR вновь проводят исследование рынка дата-труда. Они опрашивают маркетинговых, продуктовых и дата-аналитиков об условиях работы, уровнях зарплат и обязанностях.

Такие исследования они проводят с 2018 года, проводили и в прошлом году, и вот здесь можно найти результаты.

Этот проект помогает узнать несколько важных вещей.
🔵 Средние по рынку зарплаты для разных специальностей и грейдов, а также их динамику.
🔵 Ожидания от аналитиков — то есть, выполнения каких задач от них хотят работодатели.
🔵 Перспективные отрасли и компании, в которых аналитикам лучше всего работается.
🔵 Список экспертов и профессиональных ресурсов, популярных в индустрии. Кстати, в прошлом году мы попали в топ!

В общем, от этого исследования всем хорошо. Работодатели знают, какую зарплату и за какую работу предложить толковому специалисту, а аналитики понимают, какие условия работы адекватны рынку.

🔜 Так что проходите опрос по ссылке!

Это займет примерно 20 минут. В награду получите только плюс в карму, ранний доступ к результатам и приглашение на закрытый эфир с инсайтами.

Кто ответил на все вопросы, ставьте 🔥