Как выиграть гонку со временем и все успевать? Обсуждаем в шестом эпизоде DataHeroes! 🚀
Если в вашей жизни горящих дедлайнов стало слишком много, а книга, которую вы месяц собираетесь прочитать, пылиться в шкафу – пора всерьез заняться тайм-менеджментом! 🕐
В сегодняшнем эпизоде подкаста мы говорим о том, как оптимизировать свои задачи и соблюдать тот самый таинственный work-life balance. Спойлер: для этого даже не нужно вычеркивать из жизни сериалы.
Просто включите подкаст, чтобы узнать, как все успеть и нужен ли тайм-менеджмент лично вам 🎤
Спикеры: Галина Кушнарева, Анна Матюшина, Марина Морина
Слушайте подкаст на платформах: Spotify, Anchor, Apple Podcasts, Google, Yandex, Overcast, Castbox, Telegram (↓)
#подкаст #DataHeroes
Если в вашей жизни горящих дедлайнов стало слишком много, а книга, которую вы месяц собираетесь прочитать, пылиться в шкафу – пора всерьез заняться тайм-менеджментом! 🕐
В сегодняшнем эпизоде подкаста мы говорим о том, как оптимизировать свои задачи и соблюдать тот самый таинственный work-life balance. Спойлер: для этого даже не нужно вычеркивать из жизни сериалы.
Просто включите подкаст, чтобы узнать, как все успеть и нужен ли тайм-менеджмент лично вам 🎤
Спикеры: Галина Кушнарева, Анна Матюшина, Марина Морина
Слушайте подкаст на платформах: Spotify, Anchor, Apple Podcasts, Google, Yandex, Overcast, Castbox, Telegram (↓)
#подкаст #DataHeroes
🔥16❤2👍2
📈 Дашборд в Jupyter Notebook – почему бы и нет? 📝
Экспортировать красивые отчеты из Jupyter Notebook мы с вами уже научились (помните?), однако вчера я наткнулся на еще более интересный вариант – дашборды в Jupyter Notebook!
Идея уже звучит интересно и многообещающе, но стоит разобраться поподробнее. Автор заявляет, что дашборд можно создать с помощью 9 строк кода, а поможет нам в этом фреймворк
Как думаете, классный способ или лучше оставить дашборды специальным инструментам? 🤔
Экспортировать красивые отчеты из Jupyter Notebook мы с вами уже научились (помните?), однако вчера я наткнулся на еще более интересный вариант – дашборды в Jupyter Notebook!
Идея уже звучит интересно и многообещающе, но стоит разобраться поподробнее. Автор заявляет, что дашборд можно создать с помощью 9 строк кода, а поможет нам в этом фреймворк
Mercury. Для этого нужно установить несколько библиотек, импортировать их в ваш ноутбук, а затем вы создаете графики и таблицы, которые вам нужны. После того как все готово, нужно добавить YAML- заголовок в начало ноутбука и сказать заветное "mercury run" – и дашборд будет создан. Итоговый результат можете увидеть в обзорной статье! Как думаете, классный способ или лучше оставить дашборды специальным инструментам? 🤔
MLJAR
How to create a dashboard in Python with Jupyter Notebook?
Build a data dashboard in Python with just 9 lines of code using Jupyter Notebook. Display stock information for a selected ticker with a data table and chart. Publish it as a web app with the open-source Mercury framework.
❤19👍8🔥1
📦 Zero-Knowledge Proof 🔎
Итак, небольшой ликбез в области актульных направлений изучения в комьютерных науках. Сегодня мы с вами (не без помощь PhD in CS Амита Сахая) разверемся в том, что же такое zero-knowledge proof.
💥 Суть
Zero-Knowledge Proof (ZKP) или доказательство с нулевым разглашением – это способ доказательства определенного утверждения без раскрытия каки-либо деталей, которые могут это подтвердить. Wait, what?!
Да-да, суть подхода сначала сбивает с ног. Однако, если подумать, то для доказательства одному человеку определенного факта другому человеку не всегда хочется или можно раскрывать определенные детали.
📝 Пример
Думаю, после примера вы сразу все поймете. Предположим, я знаю код от сейфа. Я утверждаю, что знаю уникальную комбинацию, которая его откроет. На слово вы мне, конечно, не верите, нужно доказать. Не говоря вам самой комбинации, я ввожу её и вы видите, что сейф открывается. Убедились? Да. Раскрыл ли я какие-то лишние детали? Нет.
📚 Применение
Приведенный выше пример, конечно, очень прост. Однако, согласитесь, что было бы здорово иметь возможность доказать что либо без разглашения личных деталей. Напрмер, с помощью этого подхода можно доказать, что выборы прошли честно и каждый голос был учтен без раскрытия всех голосов. Также, эта концепция используется в гораздо более сложных структурах, например, в блокчейн технологиях. Подробнее об этом рассказано во второй части видео.
P.S. Нельзя не отметить отдельно концепцию: объяснение сложного направления или термина идеально показано на разных уровнях знаний слушателя (ребенок, школьник, студент и т.д.). Во-первых, это показывает глубокое понимание темы объясняющим, иначе он не смог бы объяснить "на пальцах" суть подхода. Во-вторых, любому подписчику будет гораздо легче разобраться в сути подхода, поскольку примеры и информация наслаиваются друг на друга.
Кстати, на канале Wired много отличного научно-популярного контента, советую присмотреться! 👀
Итак, небольшой ликбез в области актульных направлений изучения в комьютерных науках. Сегодня мы с вами (не без помощь PhD in CS Амита Сахая) разверемся в том, что же такое zero-knowledge proof.
💥 Суть
Zero-Knowledge Proof (ZKP) или доказательство с нулевым разглашением – это способ доказательства определенного утверждения без раскрытия каки-либо деталей, которые могут это подтвердить. Wait, what?!
Да-да, суть подхода сначала сбивает с ног. Однако, если подумать, то для доказательства одному человеку определенного факта другому человеку не всегда хочется или можно раскрывать определенные детали.
📝 Пример
Думаю, после примера вы сразу все поймете. Предположим, я знаю код от сейфа. Я утверждаю, что знаю уникальную комбинацию, которая его откроет. На слово вы мне, конечно, не верите, нужно доказать. Не говоря вам самой комбинации, я ввожу её и вы видите, что сейф открывается. Убедились? Да. Раскрыл ли я какие-то лишние детали? Нет.
📚 Применение
Приведенный выше пример, конечно, очень прост. Однако, согласитесь, что было бы здорово иметь возможность доказать что либо без разглашения личных деталей. Напрмер, с помощью этого подхода можно доказать, что выборы прошли честно и каждый голос был учтен без раскрытия всех голосов. Также, эта концепция используется в гораздо более сложных структурах, например, в блокчейн технологиях. Подробнее об этом рассказано во второй части видео.
P.S. Нельзя не отметить отдельно концепцию: объяснение сложного направления или термина идеально показано на разных уровнях знаний слушателя (ребенок, школьник, студент и т.д.). Во-первых, это показывает глубокое понимание темы объясняющим, иначе он не смог бы объяснить "на пальцах" суть подхода. Во-вторых, любому подписчику будет гораздо легче разобраться в сути подхода, поскольку примеры и информация наслаиваются друг на друга.
Кстати, на канале Wired много отличного научно-популярного контента, советую присмотреться! 👀
YouTube
Computer Scientist Explains One Concept in 5 Levels of Difficulty | WIRED
Computer scientist Amit Sahai, PhD, is asked to explain the concept of zero-knowledge proofs to 5 different people; a child, a teen, a college student, a grad student, and an expert. Using a variety of techniques, Amit breaks down what zero-knowledge proofs…
👍24
📱 Один смартфон – хорошо, а 99 – это уже пробка 🚨
Рассказываем старую, но все еще отличную историю о том, как парень хакнул Google Maps: он взял и сложил 99 включенных смартфонов в тележку, чтобы создать виртуальную пробку в Google Maps. В итоге, зеленая улица вмиг стала красной, а многие автомобили, выбрали другой маршрут, чтобы не стоять в этой “пробке“.
Почему изменения в Google Maps могут повлиять на весь город?
Все дело в том, что существенное отличие Google Maps от классических карт заключается в том, что они интерактивны: в них есть опции прокрутки, поиска и масштабирования. Таким образом, Google Maps вносят виртуальные изменения в реальный город. Другие сервисы, такие как «Airbnb» и «Carsharing», оказывают огромное влияние на города: на их рынок жилья и культуру мобильности. Кроме того, большое влияние на то, как мы находим романтического партнера, оказывают такие платформы знакомств, как Tinder, и на нашу самооценку, благодаря приложению для бега Nike.
Все эти приложения работают через интерфейсы с Google Maps и создают новые формы цифрового капитализма и коммодификации. Без этих карт были бы немыслимы системы совместного использования автомобилей, новые приложения для такси, системы проката велосипедов и онлайн-сервисы транспортных агентств, такие как Uber.
Рассказываем старую, но все еще отличную историю о том, как парень хакнул Google Maps: он взял и сложил 99 включенных смартфонов в тележку, чтобы создать виртуальную пробку в Google Maps. В итоге, зеленая улица вмиг стала красной, а многие автомобили, выбрали другой маршрут, чтобы не стоять в этой “пробке“.
Почему изменения в Google Maps могут повлиять на весь город?
Все дело в том, что существенное отличие Google Maps от классических карт заключается в том, что они интерактивны: в них есть опции прокрутки, поиска и масштабирования. Таким образом, Google Maps вносят виртуальные изменения в реальный город. Другие сервисы, такие как «Airbnb» и «Carsharing», оказывают огромное влияние на города: на их рынок жилья и культуру мобильности. Кроме того, большое влияние на то, как мы находим романтического партнера, оказывают такие платформы знакомств, как Tinder, и на нашу самооценку, благодаря приложению для бега Nike.
Все эти приложения работают через интерфейсы с Google Maps и создают новые формы цифрового капитализма и коммодификации. Без этих карт были бы немыслимы системы совместного использования автомобилей, новые приложения для такси, системы проката велосипедов и онлайн-сервисы транспортных агентств, такие как Uber.
👍24
☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞
🌐 Internet Explorer официально вышел на пенсию
Браузер, который мы все с вами горячо любили лет 15 назад, говорит нам "прощайте". После 25 с лишним лет работы он официально устарел и не поддерживается, начиная с 15 июня 2022 г. Несмотря на то, что этим браузером все еще продолжают пользоваться, ему на смену пришли гораздо более удобные и современные Google Chrome, Safari и другие браузеры. Оставляйте ❤️, если вашим первым браузером тоже когда-то стал именно Internet Explorer!
🙊 Секреты хорошего руководителя
Стартапы сталкиваются со многими рисками: от финансовых до технологических. Однако, есть один риск, который является наиболее важным: по данным исследователей из Гарвардского, Стэнфордского и Чикагского университетов, 55% стартапов терпят неудачу из-за проблем с коммуникацией в компании.
Google for Startups провели работу по оценке лидерских способностей более 900 основателей стартапов, генеральных директоров и технических директоров в более чем 40 странах, чтобы определить лучшие стратегии лидерства. В итоге, они получили семь ключевых выводов, в числе которых объединение всех сотрудников вокруг понятной единой цели, сведение микроменеджмента (дотошного контроля) к минимуму, а также преодоление неуверенности в собственных действиях, так как, согласно эффекту Даннига-Крюгера (скоро расскажем о нем поподробнее!), чаще всего лучшие предприниматели себя недооценивают.
📝 Писать любые тексты – сложно
Однако, это совершенно не повод их не писать. Основной секрет написания качественного текста – не отвлекаться на редактирование в процессе, отловить это"на потом", иначе основная задумка и цель исчезнут. И уж точно не стоит думать про SEO-оптимизацию текста в самом начале, иначе текст выйдет, мягко говоря, корявым. Думаю, что этот принцип можно применять не только к написанию текстов, но и к другим типам задач: сначала стоит довести идею до результата, а лишь потом дорабатывать её, "придавать бриллианту огранку".
👾 Фиолетовые человечки: универсальные специалисты в области даннных
Организации переживают серьезный структурный сдвиг. Принятие современного стека данных идет рука об руку с серьезным переосмыслением роли людей, работающих с данными в организации (потому что социотехнические системы устарели). В итоге, компаниям нужно больше фиолетовых человечков — универсалов, которые могут ориентироваться как в бизнес-контексте, так и в современном стеке данных. Чтобы стать "фиолетовым", нужно проводить время в разных пространствах — условно, красном и синем — и накапливать опыт в разных областях, инструментах и технологиях.
Концепция универсального специалиста по данным не нова. На самом деле такие специалисты предпочитают вообще не специализироваться — они чаще сосредоточены на текущей бизнес-проблеме и используют самый подходящий инструмент для её решения.
#weekly #дайджест
🌐 Internet Explorer официально вышел на пенсию
Браузер, который мы все с вами горячо любили лет 15 назад, говорит нам "прощайте". После 25 с лишним лет работы он официально устарел и не поддерживается, начиная с 15 июня 2022 г. Несмотря на то, что этим браузером все еще продолжают пользоваться, ему на смену пришли гораздо более удобные и современные Google Chrome, Safari и другие браузеры. Оставляйте ❤️, если вашим первым браузером тоже когда-то стал именно Internet Explorer!
🙊 Секреты хорошего руководителя
Стартапы сталкиваются со многими рисками: от финансовых до технологических. Однако, есть один риск, который является наиболее важным: по данным исследователей из Гарвардского, Стэнфордского и Чикагского университетов, 55% стартапов терпят неудачу из-за проблем с коммуникацией в компании.
Google for Startups провели работу по оценке лидерских способностей более 900 основателей стартапов, генеральных директоров и технических директоров в более чем 40 странах, чтобы определить лучшие стратегии лидерства. В итоге, они получили семь ключевых выводов, в числе которых объединение всех сотрудников вокруг понятной единой цели, сведение микроменеджмента (дотошного контроля) к минимуму, а также преодоление неуверенности в собственных действиях, так как, согласно эффекту Даннига-Крюгера (скоро расскажем о нем поподробнее!), чаще всего лучшие предприниматели себя недооценивают.
📝 Писать любые тексты – сложно
Однако, это совершенно не повод их не писать. Основной секрет написания качественного текста – не отвлекаться на редактирование в процессе, отловить это"на потом", иначе основная задумка и цель исчезнут. И уж точно не стоит думать про SEO-оптимизацию текста в самом начале, иначе текст выйдет, мягко говоря, корявым. Думаю, что этот принцип можно применять не только к написанию текстов, но и к другим типам задач: сначала стоит довести идею до результата, а лишь потом дорабатывать её, "придавать бриллианту огранку".
👾 Фиолетовые человечки: универсальные специалисты в области даннных
Организации переживают серьезный структурный сдвиг. Принятие современного стека данных идет рука об руку с серьезным переосмыслением роли людей, работающих с данными в организации (потому что социотехнические системы устарели). В итоге, компаниям нужно больше фиолетовых человечков — универсалов, которые могут ориентироваться как в бизнес-контексте, так и в современном стеке данных. Чтобы стать "фиолетовым", нужно проводить время в разных пространствах — условно, красном и синем — и накапливать опыт в разных областях, инструментах и технологиях.
Концепция универсального специалиста по данным не нова. На самом деле такие специалисты предпочитают вообще не специализироваться — они чаще сосредоточены на текущей бизнес-проблеме и используют самый подходящий инструмент для её решения.
#weekly #дайджест
Windows Experience Blog
Internet Explorer 11 has retired and is officially out of support—what you need to know
Update: The retired, out-of-support Internet Explorer 11 desktop application has been permanently disabled through a Microsoft Edge update on certain vers
❤30👍5
Forwarded from Reveal the Data
Мокапы дашбордов
Сделал удобный набор графиков для макетирования дашбордов. Он сильно ускоряет разработку макетов. Я давно пользуюсь схожим набором, и часто прямо на встречах с заказчиками собираю макет вместе с ними. Это быстро и наглядно.
Версии
— В виде PPTX презентации: самый быстрый вариант, можно копировать элементы просто перенося их с зажатым Ctrl/Cmd и гибко настраивать картинки.
— В виде книги в Табло: можно тонко настроить графики, они лучше заполняют пространство и картинка получается приближенная к финальному результату.
— На доске в Miro: удобно шерить и обсуждать, добавлять идеи и замечания, но не очень удобно работать с картинками.
Графики сделаны в нейтральном стиле, чтобы не отвлекать от бизнес задачи и подчеркнуть, что это мокап. Удобно поверх картинок писать ярким цветом идеи, реальные названия метрик и т.п. Если у вас есть свой стайлгайд или другая BI, сделайте такие же инструменты на своих графиках, просто наскринив и нарезав существующие дашборды.
@revealthedata
Сделал удобный набор графиков для макетирования дашбордов. Он сильно ускоряет разработку макетов. Я давно пользуюсь схожим набором, и часто прямо на встречах с заказчиками собираю макет вместе с ними. Это быстро и наглядно.
Версии
— В виде PPTX презентации: самый быстрый вариант, можно копировать элементы просто перенося их с зажатым Ctrl/Cmd и гибко настраивать картинки.
— В виде книги в Табло: можно тонко настроить графики, они лучше заполняют пространство и картинка получается приближенная к финальному результату.
— На доске в Miro: удобно шерить и обсуждать, добавлять идеи и замечания, но не очень удобно работать с картинками.
Графики сделаны в нейтральном стиле, чтобы не отвлекать от бизнес задачи и подчеркнуть, что это мокап. Удобно поверх картинок писать ярким цветом идеи, реальные названия метрик и т.п. Если у вас есть свой стайлгайд или другая BI, сделайте такие же инструменты на своих графиках, просто наскринив и нарезав существующие дашборды.
@revealthedata
🔥37👍12
Почему Новосельцев, говоря “без статистики вообще не жизнь”, был совершенно прав?
Итак, сейчас мы с вами погрузимся в историю, которая покажет, что без статистики – никуда, но для начала нужно ввести вас в курс дела.
Эффект Даннинга-Крюгера – это (очевидная) тенденция неквалифицированных людей переоценивать свою компетентность. Эффект обнаружили в 1999 году психологи Джастин Крюгером и Дэвид Даннинг и с тех пор он стал широко известен.
💭 Как все было?
В 1999 году Даннинг и Крюгер опубликовали результаты довольно простого эксперимента. Они собрали группу людей, чтобы пройти тест на квалификацию. Затем они попросили каждого человека оценить свои способности. Даннинг и Крюгер (думали, что они это сделали) обнаружили, что люди, которые плохо сдали тест на навыки, были склонны переоценивать свои способности. Это и называется «эффект Даннинга-Крюгера».
📈 Что такое автокорреляция?
Автокорреляция возникает, когда вы ищете связь переменной с самой собой. Однако, иногда все не так очевидно и автокорреляция прячется глубоко в данных или предположениях.
♻️ Как эти вещи связаны?
Тут нужно немного углубиться в эксперимент. Даннинг и Крюгер искали следующую зависимость: x (результат теста человека) и y (самооценка способностей человека). Однако, когда они шокировали весь мир своими результатами, на диаграммах они отобразили следующее зависимость умственных способностей человека и ошибки его самооценки. А это ни что иное как поиск зависимости x и (y-x). Вот здесь и кроется та самая автокорреляция. Даже если взять два случайных набора значений и построить такой график, то зависимость будет налицо и всему виной именно автокорреляция.
🚨 Ошибки случаются
Не думаю, что стоит винить Даннинга и Крюгера за их ошибку. Однако, в обстоятельствах их промаха возникает восхитительная ирония: два профессора из Лиги Плюща продемонстрировали свою (статистическую) некомпетентность, объединив автокорреляцию с психологическим эффектом.
Будьте осторожны и внимательно изучайте свои данные и полученные выводы прежде чем заявлять о найденной закономерности, ведь “статистика – это наука, она не терпит приблизительности”.
Итак, сейчас мы с вами погрузимся в историю, которая покажет, что без статистики – никуда, но для начала нужно ввести вас в курс дела.
Эффект Даннинга-Крюгера – это (очевидная) тенденция неквалифицированных людей переоценивать свою компетентность. Эффект обнаружили в 1999 году психологи Джастин Крюгером и Дэвид Даннинг и с тех пор он стал широко известен.
💭 Как все было?
В 1999 году Даннинг и Крюгер опубликовали результаты довольно простого эксперимента. Они собрали группу людей, чтобы пройти тест на квалификацию. Затем они попросили каждого человека оценить свои способности. Даннинг и Крюгер (думали, что они это сделали) обнаружили, что люди, которые плохо сдали тест на навыки, были склонны переоценивать свои способности. Это и называется «эффект Даннинга-Крюгера».
📈 Что такое автокорреляция?
Автокорреляция возникает, когда вы ищете связь переменной с самой собой. Однако, иногда все не так очевидно и автокорреляция прячется глубоко в данных или предположениях.
♻️ Как эти вещи связаны?
Тут нужно немного углубиться в эксперимент. Даннинг и Крюгер искали следующую зависимость: x (результат теста человека) и y (самооценка способностей человека). Однако, когда они шокировали весь мир своими результатами, на диаграммах они отобразили следующее зависимость умственных способностей человека и ошибки его самооценки. А это ни что иное как поиск зависимости x и (y-x). Вот здесь и кроется та самая автокорреляция. Даже если взять два случайных набора значений и построить такой график, то зависимость будет налицо и всему виной именно автокорреляция.
🚨 Ошибки случаются
Не думаю, что стоит винить Даннинга и Крюгера за их ошибку. Однако, в обстоятельствах их промаха возникает восхитительная ирония: два профессора из Лиги Плюща продемонстрировали свою (статистическую) некомпетентность, объединив автокорреляцию с психологическим эффектом.
Будьте осторожны и внимательно изучайте свои данные и полученные выводы прежде чем заявлять о найденной закономерности, ведь “статистика – это наука, она не терпит приблизительности”.
YouTube
Без статистики вообще не жизнь
Эпизоды из кино "Служебный роман" -
Я считаю, что без статистики вообще не жизнь, а каторга какая-то.
Я считаю, что без статистики вообще не жизнь, а каторга какая-то.
🔥29👍8
🦸🏼♂️ Data Heroes обзавелись супер красивым веб-сайтом 💻
Лично мне очень важно, чтобы каждый проект имел какой-то законченный вид. Поэтому путь развития нашего подкаста Data Heroes неизбежно пришел к этой стадии: ему очень не хватало отдельного сайта и мы решили его сделать.
Теперь без тени смущения готов показать вам офицальную страницу нашего подкаста Data Heroes. Тут вы можете найти и послушать все выпуски, прочесть их описания, узнать несколько забавных фактов и разобраться в профессиональном сленге, который мы часто используем в эпизодах. Самое главное, теперь вы сможете оставлять свои комментарии через форму обратной связи, ведь это лучший драйвер любого проекта 😎
Оставляйте любые реакции, если вам также как и нам нравится наш новый сайт 🔥
А еще, пожалуйста, поставьте оценку подкаста на платформах, ведь именно это мотивирует нас продолжать создавать новые эпизоды Data Heroes👾
Все ссылки на наши проекты, чтобы вы могли сохранить их или делиться с друзьями:
👾 Подкаст Data Heroes
🔵 Блог Leftjoin
🔷 Сайт компании Valiotti Analytics
🔶 Блог Valiotti Analytics
Лично мне очень важно, чтобы каждый проект имел какой-то законченный вид. Поэтому путь развития нашего подкаста Data Heroes неизбежно пришел к этой стадии: ему очень не хватало отдельного сайта и мы решили его сделать.
Теперь без тени смущения готов показать вам офицальную страницу нашего подкаста Data Heroes. Тут вы можете найти и послушать все выпуски, прочесть их описания, узнать несколько забавных фактов и разобраться в профессиональном сленге, который мы часто используем в эпизодах. Самое главное, теперь вы сможете оставлять свои комментарии через форму обратной связи, ведь это лучший драйвер любого проекта 😎
Оставляйте любые реакции, если вам также как и нам нравится наш новый сайт 🔥
А еще, пожалуйста, поставьте оценку подкаста на платформах, ведь именно это мотивирует нас продолжать создавать новые эпизоды Data Heroes👾
Все ссылки на наши проекты, чтобы вы могли сохранить их или делиться с друзьями:
👾 Подкаст Data Heroes
🔵 Блог Leftjoin
🔷 Сайт компании Valiotti Analytics
🔶 Блог Valiotti Analytics
🔥19👍16👏1
📈 Grammar of graphics in a nutshell 📖
Вас когда-нибудь интересовало как работают такие фреймворки, как Observable Plot, ggplot2 или Vega-Lite? Автора этой статьи всерьез заинтересовал этот вопрос, поэтому он посмотрел множество реализаций, прочитал кучу статей, и кое-что придумал.
Пересказывать изучение визуализации целиком было бы глупо (важную чсть исследования составляют примеры и код), поэтому мы вкратце пройдемся по самым важным моментам, а полную цепочку преобразований лучше увидеть своими глазами на сайте.
🤔 Что вообще такое грамматика графики (GoG)?
Грамматика графики (GoG) — это язык для определения статистической графики, такой как гистограммы, диаграммы рассеяния и линейные графики из составных частей. Возможно, вы слышали или даже использовали библиотеку, построенную на GoG, такую как Observable Plot, ggplot2, Vega-Lite и Swift Charts.
🔗 Конвейер GoG
Грубо говоря, GoG разделяет визуализацию данных на два отдельных этапа: данные - кодировки + метки -> абстрактное пространство - масштабы-> экранное пространство.
⚪ Все начинается с формы
Прежде чем мы сможем перейти к реальным компонентам GoG, нам нужен способ рендеринга элемнтов на экране. Для этого используется SVG и создается несколько простых основных элементов: прямоугольник и круг. С помощью этих элементов, впоследствии, будет выстроена вся визуализация. Кстати, некоторое время назад я частично рассказывал про d3.js и даже делился примером.
⚖️ Веса и абстрактное пространство
Чтобы сопоставить абстрактное визуальное пространство и пространство пикселей экрана, используются шкалирование.
В чем разница между абстрактным и экранным пространством? Экранное пространство — (во всех смыслах и целях) декартова система координат, а абстрактное пространство не обязательно должно быть таковым. Шкалы используются для построения отображений из абстрактного пространства в пространство экрана, чтобы точно передавать информацию, которая заключается в данных.
⏭ Затем в статье объясняются нюансы меток, кодировок, осей и легенды графика, но тут без визуальных объяснений не обойтись, поэтому переходите на сайт.
🚀 В целом, это, конечно, маленькая и неполная версия грамматики графики. Тем не менее, она позволяет рассмотреть весь путь создания визуализации: от исходных данных до графика на экране.
Вас когда-нибудь интересовало как работают такие фреймворки, как Observable Plot, ggplot2 или Vega-Lite? Автора этой статьи всерьез заинтересовал этот вопрос, поэтому он посмотрел множество реализаций, прочитал кучу статей, и кое-что придумал.
Пересказывать изучение визуализации целиком было бы глупо (важную чсть исследования составляют примеры и код), поэтому мы вкратце пройдемся по самым важным моментам, а полную цепочку преобразований лучше увидеть своими глазами на сайте.
🤔 Что вообще такое грамматика графики (GoG)?
Грамматика графики (GoG) — это язык для определения статистической графики, такой как гистограммы, диаграммы рассеяния и линейные графики из составных частей. Возможно, вы слышали или даже использовали библиотеку, построенную на GoG, такую как Observable Plot, ggplot2, Vega-Lite и Swift Charts.
🔗 Конвейер GoG
Грубо говоря, GoG разделяет визуализацию данных на два отдельных этапа: данные - кодировки + метки -> абстрактное пространство - масштабы-> экранное пространство.
⚪ Все начинается с формы
Прежде чем мы сможем перейти к реальным компонентам GoG, нам нужен способ рендеринга элемнтов на экране. Для этого используется SVG и создается несколько простых основных элементов: прямоугольник и круг. С помощью этих элементов, впоследствии, будет выстроена вся визуализация. Кстати, некоторое время назад я частично рассказывал про d3.js и даже делился примером.
⚖️ Веса и абстрактное пространство
Чтобы сопоставить абстрактное визуальное пространство и пространство пикселей экрана, используются шкалирование.
В чем разница между абстрактным и экранным пространством? Экранное пространство — (во всех смыслах и целях) декартова система координат, а абстрактное пространство не обязательно должно быть таковым. Шкалы используются для построения отображений из абстрактного пространства в пространство экрана, чтобы точно передавать информацию, которая заключается в данных.
⏭ Затем в статье объясняются нюансы меток, кодировок, осей и легенды графика, но тут без визуальных объяснений не обойтись, поэтому переходите на сайт.
🚀 В целом, это, конечно, маленькая и неполная версия грамматики графики. Тем не менее, она позволяет рассмотреть весь путь создания визуализации: от исходных данных до графика на экране.
Observable
A Very, Very Tiny Grammar of Graphics
If you've ever wondered how frameworks like Observable Plot, ggplot2, or Vega-Lite work, you've come to the right place! I was wondering the same thing, so I looked at a bunch of implementations, read a bunch of papers, and this is what I came up with. Below…
👍20🔥4
👨🏻💻 Valiotti Analytics Linkedin 🔗
Мы потихоньку начинаем вести профили в разных социальных сетях: неделю назад мы наконец активировали Linkedin и начали наполнять страницу полезным контентом. Подписывайтесь, если хотите получать больше новостей о нашей компании (мы планируем делиться там с вами интересными фактами о прошлом, настоящем и будущем Valiotti Analytics).
Также, давайте соединяться и в личном профиле!
Мы потихоньку начинаем вести профили в разных социальных сетях: неделю назад мы наконец активировали Linkedin и начали наполнять страницу полезным контентом. Подписывайтесь, если хотите получать больше новостей о нашей компании (мы планируем делиться там с вами интересными фактами о прошлом, настоящем и будущем Valiotti Analytics).
Также, давайте соединяться и в личном профиле!
❤17👍10
На связи Data Heroes и мы ищем спикеров! 📢
Если вы HR или IT-рекрутер с опытом найма аналитиков — приглашаем вас поучаствовать в подкасте! 🔥
Отклики присылайте моей коллеге @Milanchezaa в личном сообщении.
Будем рады новым героям! Все подробно объясним, расскажем и покажем 👾
Если вы HR или IT-рекрутер с опытом найма аналитиков — приглашаем вас поучаствовать в подкасте! 🔥
Отклики присылайте моей коллеге @Milanchezaa в личном сообщении.
Будем рады новым героям! Все подробно объясним, расскажем и покажем 👾
🔥15👍1
🛠 SQL запросы и ни строчки кода вручную 🗄
Сейчас многие IT-компании нацелены на то, чтобы автоматизировать простые процессы и облегчить жизнь сотрудникам отрасли. Например, недавно мы вам рассказывали про библиотеку, которая позволяет работать с таблицами в Python без знания кода.
Сегодня на повестке дня похожий инструмент, который недавно запустила компания Rasgo: SQL Generator. Это браузерный инструмент, который позволяет любому человеку (особенно тем, у кого нет опыта работы с SQL) создавать сложные SQL-запросы, не написав ни строчки кода. Создатели продукта постарались и теперь генератор может написать за вас нужный SQL-запрос и сэкономит драгоценное время, которое можно использовать для более нетривиальных задач.
Если вы хотите больше обзорных постов про современные инструменты, то оставляйте реакцию, а если вам хочется узнать больше именно про SQL Generator, то есть гайд по его использованию 🚀
Сейчас многие IT-компании нацелены на то, чтобы автоматизировать простые процессы и облегчить жизнь сотрудникам отрасли. Например, недавно мы вам рассказывали про библиотеку, которая позволяет работать с таблицами в Python без знания кода.
Сегодня на повестке дня похожий инструмент, который недавно запустила компания Rasgo: SQL Generator. Это браузерный инструмент, который позволяет любому человеку (особенно тем, у кого нет опыта работы с SQL) создавать сложные SQL-запросы, не написав ни строчки кода. Создатели продукта постарались и теперь генератор может написать за вас нужный SQL-запрос и сэкономит драгоценное время, которое можно использовать для более нетривиальных задач.
Если вы хотите больше обзорных постов про современные инструменты, то оставляйте реакцию, а если вам хочется узнать больше именно про SQL Generator, то есть гайд по его использованию 🚀
Telegram
LEFT JOIN
📊 Excel в Python – это точно хорошая идея? 🤔
Знаем-знаем, этот заголовок звучит как изобретение велосипеда. Многие аналитики были счастливы в какой-то момент перестать работать в Excel и перешли на работу с CSV-шками в Pandas, но нашлись те, кто наоборот…
Знаем-знаем, этот заголовок звучит как изобретение велосипеда. Многие аналитики были счастливы в какой-то момент перестать работать в Excel и перешли на работу с CSV-шками в Pandas, но нашлись те, кто наоборот…
🔥42👍5👏2🤔1
☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞
📖 Подробный гайд по кластеризации
Школа анализа данных (ШАД) написали отличную и весьма подробную практическую главу в рамках учебника по ML. Крайне приятно, что погузиться в тему можно даже тем, кто никогда не слышал о кластеризации раньше, ведь все термины вводятся и объясняются постепенно, а также гайд полон визуализаций. В нем разобраны самые современные методы: метод К-средних, DBSCAN и другие. Большое спасибо автору, ждем новых глав!
🙊 DALL-E Mini нашли неожиданное применение: генератор мемов
В начале июня в соцсетях «завирусился» сервис DALL-E Mini: первая версия нейросети от OpenAI, доступная всем пользователям. В результате любого запроса сервис генерирует коллаж из 9 наиболее релевантны изображений и... получается довольно забавно, а иногда и крипово. Этим воспользовался один из пользователей, который в итоге завел отдельную страницу в Twitter и раздел в Reddit, где начал собирать созданные DALL-E Mini изображения.
В ленте твиттера вы можете увидеть коллажи и текст запроса, которые не иначе кроме как "мем" зачастую и не назовешь))
🚫 Современные трудности и способ их преодоления
Ребята из iPhones нашли способ установки удаленных из AppStore приложений (Альфа-Банк, Сбербанк Онлайн и другие), который может помочь установить их на новый телефон, если есть такая необходимость. Важных условий всего два: нужно установить программу iMazing (бесплатного демо-периода будет вполне достаточно), а также приложение, которое вам нужно, должно было быть уже загружено раньше под вашей учетной записью. Пишите в комментариях, если проверяли этот способ или знаете какие-то другие!
👾 Что нового появится в Python 3.11?
Недавно появилась первая бета-версия Python 3.11, в которой есть несколько интересных функций: указание точного места возникновения ошибки (например, в какой части вычисления), добавление примечаний к объектам исключений, встроенная поддержка форматов toml библиотекой tomllib и многие другие более узкоиспользуемые функции. Вдобавок ко всему вышеперечисленному есть еще один плюс: в этой версии Python также стал в среднем на 22% быстрее. К октябрю, когда выйдет финальный релиз, он, возможно, станет работать еще быстрее. Ждете выход новой версии?
#weekly #дайджест
📖 Подробный гайд по кластеризации
Школа анализа данных (ШАД) написали отличную и весьма подробную практическую главу в рамках учебника по ML. Крайне приятно, что погузиться в тему можно даже тем, кто никогда не слышал о кластеризации раньше, ведь все термины вводятся и объясняются постепенно, а также гайд полон визуализаций. В нем разобраны самые современные методы: метод К-средних, DBSCAN и другие. Большое спасибо автору, ждем новых глав!
🙊 DALL-E Mini нашли неожиданное применение: генератор мемов
В начале июня в соцсетях «завирусился» сервис DALL-E Mini: первая версия нейросети от OpenAI, доступная всем пользователям. В результате любого запроса сервис генерирует коллаж из 9 наиболее релевантны изображений и... получается довольно забавно, а иногда и крипово. Этим воспользовался один из пользователей, который в итоге завел отдельную страницу в Twitter и раздел в Reddit, где начал собирать созданные DALL-E Mini изображения.
В ленте твиттера вы можете увидеть коллажи и текст запроса, которые не иначе кроме как "мем" зачастую и не назовешь))
🚫 Современные трудности и способ их преодоления
Ребята из iPhones нашли способ установки удаленных из AppStore приложений (Альфа-Банк, Сбербанк Онлайн и другие), который может помочь установить их на новый телефон, если есть такая необходимость. Важных условий всего два: нужно установить программу iMazing (бесплатного демо-периода будет вполне достаточно), а также приложение, которое вам нужно, должно было быть уже загружено раньше под вашей учетной записью. Пишите в комментариях, если проверяли этот способ или знаете какие-то другие!
👾 Что нового появится в Python 3.11?
Недавно появилась первая бета-версия Python 3.11, в которой есть несколько интересных функций: указание точного места возникновения ошибки (например, в какой части вычисления), добавление примечаний к объектам исключений, встроенная поддержка форматов toml библиотекой tomllib и многие другие более узкоиспользуемые функции. Вдобавок ко всему вышеперечисленному есть еще один плюс: в этой версии Python также стал в среднем на 22% быстрее. К октябрю, когда выйдет финальный релиз, он, возможно, станет работать еще быстрее. Ждете выход новой версии?
#weekly #дайджест
👍34🔥3
⬜️ Работа с .xlsx, .xls и .ods как к виртуальными таблицами в SQLite 🪄
Итак, перед вами новая удобная функция – XLite — расширение SQLite, написанное на языке программирования Rust. Основная его цель — организация работы с электронными таблицами Excel-like из SQLite, представляя их как виртуальные таблицы.
Как поставить?
Как использовать?
После этой команды расширение
Итак, перед вами новая удобная функция – XLite — расширение SQLite, написанное на языке программирования Rust. Основная его цель — организация работы с электронными таблицами Excel-like из SQLite, представляя их как виртуальные таблицы.
Как поставить?
cargo build --releaseКак использовать?
sqlite3 # will open SQLite CLI
> .load libxliteПосле этой команды расширение
xlite загружено и теперь его можно использовать для создания виртуальных таблиц и любой работы с ними в рамках SQLite ✌️GitHub
GitHub - x2bool/xlite: Query Excel spredsheets (.xlsx, .xls, .ods) using SQLite
Query Excel spredsheets (.xlsx, .xls, .ods) using SQLite - x2bool/xlite
👍23
💸 Как создать open-source SaaS с годовым регулярным доходом в 1 миллион долларов? 🥳
Однажды, в рамках нашей подборки альтернатив Google Analytics, мы рассказывали вам о классном open-source варианте Plausible. Недавно они достигли важного рубежа развития проекта: вышли на 1 миллион долларов годового регулярного дохода (ARR).
Plausible – полностью независимая, самофинансируемая команда из четырех человек. Несмотря на крайне небольшой размер команды, доверяют более 7 000 платных подписчиков, и они активно собирают статистику по более чем 50 000 веб-сайтов с более чем миллиардом просмотров страниц в месяц.
Недавно они подробно рассказали всю историю своего пути с 2018 года, когда они только начали разработку, до 2022, попутно раскрывая все секреты, цели и методы их достижения. Если вам интересно узнать, как создаются подобные продукты и что для этого нужно – рекомендую прочитать, если у вас есть свой бизнес в схожей отрасли, то крайне настоятельно рекомендую прочитать!
Если коротко, то ребята отлично структурировали развитие проекта, чтобы достичь первого ежемесячного регулярного дохода (MRR) в размере 400 долларов США (с платных подписок). Затем произошел новый виток развития, благодаря паре постов в блоге, которые привлекли много трафика. Затем потребовалось еще 19 месяцев, чтобы достичь ARR в размере 500 000 долларов США, и теперь, спустя восемь месяцев, они смогли достичь рубежа в 1 миллион долларов ARR 🎉
В общем, у ребят получилась весьма вдохновляющая (на качественную работу) история 💪
Однажды, в рамках нашей подборки альтернатив Google Analytics, мы рассказывали вам о классном open-source варианте Plausible. Недавно они достигли важного рубежа развития проекта: вышли на 1 миллион долларов годового регулярного дохода (ARR).
Plausible – полностью независимая, самофинансируемая команда из четырех человек. Несмотря на крайне небольшой размер команды, доверяют более 7 000 платных подписчиков, и они активно собирают статистику по более чем 50 000 веб-сайтов с более чем миллиардом просмотров страниц в месяц.
Недавно они подробно рассказали всю историю своего пути с 2018 года, когда они только начали разработку, до 2022, попутно раскрывая все секреты, цели и методы их достижения. Если вам интересно узнать, как создаются подобные продукты и что для этого нужно – рекомендую прочитать, если у вас есть свой бизнес в схожей отрасли, то крайне настоятельно рекомендую прочитать!
Если коротко, то ребята отлично структурировали развитие проекта, чтобы достичь первого ежемесячного регулярного дохода (MRR) в размере 400 долларов США (с платных подписок). Затем произошел новый виток развития, благодаря паре постов в блоге, которые привлекли много трафика. Затем потребовалось еще 19 месяцев, чтобы достичь ARR в размере 500 000 долларов США, и теперь, спустя восемь месяцев, они смогли достичь рубежа в 1 миллион долларов ARR 🎉
В общем, у ребят получилась весьма вдохновляющая (на качественную работу) история 💪
Plausible Analytics
How we built a $1M ARR open source SaaS
We’ve reached a significant milestone of $1 million in annual recurring revenue (ARR) with Plausible Analytics. This post is a recap of how we got to this point.
🔥29👍17
На связи Data Heroes и у нас приятные новости!
Как бы нам не было грустно это сообщать, первый сезон нашего подкаста подошел к концу. Хотя, чего это мы нагоняем тоску? Мы уже вовсю готовимся ко второму сезону, а также сегодня (по секрету) расскажем про дополнительный выпуск.
На протяжении всего первого сезона мы поднимали важные темы и делали это не занудно, но познавательно: вдоль и поперек обсудили все нюансы онлайн-курсов, релокацию IT-специалистов, незаменимость тайм-менеджмента и даже о психологические аспекты работы в IT. Если какая-то из этих тем сейчас встретилась вам впервые – очень рекомендуем наверстать! Вам понравилось путешествовать по Data-Вселенной вместе с нами? Оставляйте любую реакцию здесь или отзыв о подкасте на любой платформе, где он доступен, так мы точно будем знать, что все не напрасно 💫
Спасибо всем, кто участвовал в наших выпусках и тем, кто давал обратную связь: только так мы можем становиться лучше и работать над ошибками!
Итак, для всех кто уже соскучился по нашему подкасту – бонусный эпизод: в нем мы будем говорить с эйчарами и рекрутерами об идеальном кандидате-аналитике и узнаем, являются ли онлайн-курсы плюсом или минусом в резюме 🤔
Мы уже ждем новой встречи с вами через месяц во втором сезоне подкаста Data Heroes. Пишите в комментариях, какие темы вам будут интересны, мы постараемся учесть ваши пожелания 😉
До встречи в новых эпизодах! 🦸
#подкаст #DataHeroes
Как бы нам не было грустно это сообщать, первый сезон нашего подкаста подошел к концу. Хотя, чего это мы нагоняем тоску? Мы уже вовсю готовимся ко второму сезону, а также сегодня (по секрету) расскажем про дополнительный выпуск.
На протяжении всего первого сезона мы поднимали важные темы и делали это не занудно, но познавательно: вдоль и поперек обсудили все нюансы онлайн-курсов, релокацию IT-специалистов, незаменимость тайм-менеджмента и даже о психологические аспекты работы в IT. Если какая-то из этих тем сейчас встретилась вам впервые – очень рекомендуем наверстать! Вам понравилось путешествовать по Data-Вселенной вместе с нами? Оставляйте любую реакцию здесь или отзыв о подкасте на любой платформе, где он доступен, так мы точно будем знать, что все не напрасно 💫
Спасибо всем, кто участвовал в наших выпусках и тем, кто давал обратную связь: только так мы можем становиться лучше и работать над ошибками!
Итак, для всех кто уже соскучился по нашему подкасту – бонусный эпизод: в нем мы будем говорить с эйчарами и рекрутерами об идеальном кандидате-аналитике и узнаем, являются ли онлайн-курсы плюсом или минусом в резюме 🤔
Мы уже ждем новой встречи с вами через месяц во втором сезоне подкаста Data Heroes. Пишите в комментариях, какие темы вам будут интересны, мы постараемся учесть ваши пожелания 😉
До встречи в новых эпизодах! 🦸
#подкаст #DataHeroes
🎉34🔥33👍21👏5
🗺 Google Street View: процесс создания 🌏
Думаю, каждый из вас хоть раз пользовался Google Street View. Возможно, вам было интересно отправиться в виртуальное путешествие в пандемию, изучить локацию предполагаемого дома или квартиры, или вам нужно было показать конкретный перекресток во время урока в автошколе (ох уж эта цифровизация!). В общем, способов применения несчетное множество.
🤔 Но как же эти данные собирались?
Данные состоят из 3 слоев: информация, полученнная со спутника, данные от организаций и ведомств, а также собрынные вручную данные. Самым интересным слоем является третий: при помощи специальных (весьма футуристичных) установок с углом обзора 360° происходит покадровая фиксация локации. Такие установки есть как для машин (с кучей оборудования и жеских дисков внутри), так и для пеших сотрудников (установка полегче, но все равно массивная). Именно благодаря портативным камерам мы можем посмотреть на виды с Мачу Пикчу или узких улочек, по которым машина проехать не может. Затем, конечно, все данные обрабатываются, люди попавшие в кадр блюрятся, а также проиводится точное соответствие между данными с двух других слоев и реальной сьемкой.
Подобные рассказы лучше всего дополняются визуальной составляющей, поэтому смотрите видео Wired про Google Street View и рассказывайте, для чего вам пригождался этот инструмент 📸
Думаю, каждый из вас хоть раз пользовался Google Street View. Возможно, вам было интересно отправиться в виртуальное путешествие в пандемию, изучить локацию предполагаемого дома или квартиры, или вам нужно было показать конкретный перекресток во время урока в автошколе (ох уж эта цифровизация!). В общем, способов применения несчетное множество.
🤔 Но как же эти данные собирались?
Данные состоят из 3 слоев: информация, полученнная со спутника, данные от организаций и ведомств, а также собрынные вручную данные. Самым интересным слоем является третий: при помощи специальных (весьма футуристичных) установок с углом обзора 360° происходит покадровая фиксация локации. Такие установки есть как для машин (с кучей оборудования и жеских дисков внутри), так и для пеших сотрудников (установка полегче, но все равно массивная). Именно благодаря портативным камерам мы можем посмотреть на виды с Мачу Пикчу или узких улочек, по которым машина проехать не может. Затем, конечно, все данные обрабатываются, люди попавшие в кадр блюрятся, а также проиводится точное соответствие между данными с двух других слоев и реальной сьемкой.
Подобные рассказы лучше всего дополняются визуальной составляющей, поэтому смотрите видео Wired про Google Street View и рассказывайте, для чего вам пригождался этот инструмент 📸
YouTube
All the Ways Google Gets Street View Images | WIRED
In 15 years, Google Street View has circled the planet 400 times. WIRED walks through all those years of gadgets and gear to understand the tools Google Street View uses to map the world.
Still haven’t subscribed to WIRED on YouTube? ►► http://wrd.cm/15fP7B7…
Still haven’t subscribed to WIRED on YouTube? ►► http://wrd.cm/15fP7B7…
🔥13🤔4
📌 Диаграммы в Python ↩️
Это, конечно, дело вкуса и привычки, кому-то больше нравится создавать визуализации вручную. Но я, например, люблю решать с помощью кода любые задачи, которые таким способом можно решить (например, верстка статей или презентаций с помощью latex – улет, по крайней мере с точки зрения визуальной составляющей результата, про сам язык, конечно, этого не скажешь!).
Так вот, новый пакет diagrams для Python (который работает на базе
На сайте примеры диаграмм, которые созданы с помощью этого пакета, как вам?
Это, конечно, дело вкуса и привычки, кому-то больше нравится создавать визуализации вручную. Но я, например, люблю решать с помощью кода любые задачи, которые таким способом можно решить (например, верстка статей или презентаций с помощью latex – улет, по крайней мере с точки зрения визуальной составляющей результата, про сам язык, конечно, этого не скажешь!).
Так вот, новый пакет diagrams для Python (который работает на базе
graphviz) позволяет нарисовать архитектуру облачной системы в коде Python. Изначально, пакет был создан для создания прототипа новой или уже существующей системной архитектуры без каких-либо инструментов проектирования. В настоящее время Diagrams поддерживает такие инструменты как AWS, Azure, GCP, Kubernetes, Alibaba Cloud, Oracle Cloud, а также локальные узлы, SaaS и основные платформы и языки программирования.На сайте примеры диаграмм, которые созданы с помощью этого пакета, как вам?
GitHub
GitHub - mingrammer/diagrams: :art: Diagram as Code for prototyping cloud system architectures
:art: Diagram as Code for prototyping cloud system architectures - mingrammer/diagrams
🔥27👍12😱12