Ну все, теперь Python in Excel. Значит не зря все это время пользователи держались руками и ногами за Excel, они знали, что однажды все поменяется, и они будут выгружать данные в Excel из хранилища или озера данных, подключать Excel к Kafka потоку и крутить модели машинного обучения, запускать MapReduce jobs, делать квантовые вычисления. Microsoft Excel мы в тебе не сомневались!💋
PS С сегодняшнего дня все Excel аналитики стали программистами и должны требовать прибавки, нет, удвоения зарплаты!🥳
PS С сегодняшнего дня все Excel аналитики стали программистами и должны требовать прибавки, нет, удвоения зарплаты!
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Python in Excel: a powerful combination for data analysis and visualization
Python in Excel combines Python's powerful data analysis and visualization libraries with Excel's features you know and love. You can manipulate and explore data in Excel using Python plots and libraries, and then use Excel's formulas, charts and PivotTables…
🍾72🌚16🗿7🦄5❤🔥2⚡2🤷♀2💯2🙈2👾1🤷1
Согласно статистике самый потребляемый контент — это всевозможные гороскопы, смешные видосики с падающими людьми и, конечно, всё с пометкой 18+
Ну что ж, попробуем взорвать этот топ нашим карьерным сайтом job.mts.ru (тоже, кстати, для взрослых). Все вакансии только там. Переходите, наслаждайтесь и откликайтесь — всем будет приятно.
Информация о рекламодателе
Ну что ж, попробуем взорвать этот топ нашим карьерным сайтом job.mts.ru (тоже, кстати, для взрослых). Все вакансии только там. Переходите, наслаждайтесь и откликайтесь — всем будет приятно.
Информация о рекламодателе
🍌7🐳5❤🔥3🤷♂2🗿2😈1
Ваш Airflow-кластер постоянно разваливается?
Попробуйте управляемые кластеры с Managed Apache Airflow от DoubleCloud.
В чем преимущества:
▪️ эффективность и контроль: Managed Airflow берет на себя управление инфраструктурой, чтобы вы сосредоточились на задачах;
▪️ автоматизация: автомасштабирующие рабочие инстансы сделают вашу жизнь проще;
▪️ контроль процесса: мониторинг через интуитивный интерфейс для логов и уведомлений;
▪️ мгновенное создание DAG: предустановленные библиотеки и интеграция с Git для запуска.
Сейчас мы в поиске 10 юзеров для превью. Пишите нам на почту annagrch@double.cloud, если хотите попробовать Managed Apache Airflow первыми.
#реклама
Попробуйте управляемые кластеры с Managed Apache Airflow от DoubleCloud.
В чем преимущества:
▪️ эффективность и контроль: Managed Airflow берет на себя управление инфраструктурой, чтобы вы сосредоточились на задачах;
▪️ автоматизация: автомасштабирующие рабочие инстансы сделают вашу жизнь проще;
▪️ контроль процесса: мониторинг через интуитивный интерфейс для логов и уведомлений;
▪️ мгновенное создание DAG: предустановленные библиотеки и интеграция с Git для запуска.
Сейчас мы в поиске 10 юзеров для превью. Пишите нам на почту annagrch@double.cloud, если хотите попробовать Managed Apache Airflow первыми.
#реклама
DoubleCloud
Build data analytics infrastructure in one day
Save time & costs by streamlining data pipelines with zero-maintenance open-source solutions. From ingestion to visualization - all integrated, fully managed and highly reliable.
🫡5❤🔥2💯1
Товарищ с помощью web scraping собрал большой массив данных, и отсортировал самые популярные скилы - Python & SQL.
Мне кажется во всех вакансия тупо копипастят Python&SQL но в большинстве случаев приходится работать в первую очередь с🔠 🔠 🔠
(ну какой же кайф за 50 баксов в год оживить эмоджи🧑💻 )
Думаете что учить? Выучите SQL, а потом уже все остальное🚌
Мне кажется во всех вакансия тупо копипастят Python&SQL но в большинстве случаев приходится работать в первую очередь с
(ну какой же кайф за 50 баксов в год оживить эмоджи
Думаете что учить? Выучите SQL, а потом уже все остальное
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥49💯10🐳5⚡2🌭2
Учишь алгоритмы сортировки?! Тогда тебе поможет Sort Visualizer.
Sort Visualizer is a web application designed to better understand sorting algorithms by displaying and visualizing them. In the website you can find information and implementations in multiple programming languages of more than 15 sorting algorithms, categorized by their time and space complexity.
The sorting algorithms currently available are:
Quick Sort
Merge Sort
Heap Sort
Bubble Sort
Selection Sort
Insertion Sort
Gnome Sort
Shaker Sort
Odd Even Sort
Pancake Sort
Bitonic Sort
Radix Sort
Shell Sort
Comb Sort
Bogo Sort
А вот есть визуальная сортировка.
Sort Visualizer is a web application designed to better understand sorting algorithms by displaying and visualizing them. In the website you can find information and implementations in multiple programming languages of more than 15 sorting algorithms, categorized by their time and space complexity.
The sorting algorithms currently available are:
Quick Sort
Merge Sort
Heap Sort
Bubble Sort
Selection Sort
Insertion Sort
Gnome Sort
Shaker Sort
Odd Even Sort
Pancake Sort
Bitonic Sort
Radix Sort
Shell Sort
Comb Sort
Bogo Sort
А вот есть визуальная сортировка.
Sortvisualizer
Sort Visualizer
A visualization of 15+ sorting algorithms, including Quick Sort, Merge Sort, Selection Sort and more!
❤🔥39🌭7🗿3
🆕 Воркбуки в Yandex DataLens!
Приглашаем на вебинар, где покажем новинку.
29 августа представим новый подход к организации объектов внутри сервиса. Рассмотрим, как функциональность упростит работу и расширит возможности использования BI-системы.
Вы узнаете:
🔹 что такое воркбуки и как их использовать;
🔹 как устроена новая ролевая модель;
🔹 как работать с группами пользователей;
🔹 какие возможности открывают воркбуки;
🔹 как перейти на воркбуки.
Также в конце спикер проведёт короткую Q&A-сессию. Для автора лучшего вопроса мы приготовили сюрприз! 🎁
Участие бесплатное, нужно только ➡️ зарегистрироваться.
#реклама
Приглашаем на вебинар, где покажем новинку.
29 августа представим новый подход к организации объектов внутри сервиса. Рассмотрим, как функциональность упростит работу и расширит возможности использования BI-системы.
Вы узнаете:
🔹 что такое воркбуки и как их использовать;
🔹 как устроена новая ролевая модель;
🔹 как работать с группами пользователей;
🔹 какие возможности открывают воркбуки;
🔹 как перейти на воркбуки.
Также в конце спикер проведёт короткую Q&A-сессию. Для автора лучшего вопроса мы приготовили сюрприз! 🎁
Участие бесплатное, нужно только ➡️ зарегистрироваться.
#реклама
❤🔥11🗿7
#weeklydatanewsdump
Build your data pipeline in your AWS modern data platform using AWS Lake Formation, AWS Glue, and dbt Core - Теперь в AWS Glue можно использовать dbt core (бесплатный который), как я понимаю для Spark SQL. Я все еще не могу согласиться, что для Spark нужно использовать dbt.😱
Confluent Announces Intent to Acquire Immerok to Accelerate the Development of a Cloud Native Apache Flink Offering - Confluent купила компания, которая продавало другое популярное решение для стриминга Apache Flink.
LLM Apps Are Mostly Data Pipelines - статья написано Meltano. Напомню, что это набор бесплатных connectors для ELT. Я на своем опыте ужезае заколебался использовать этот инструмент для Google Analytics, Google Ads, Google Search Console, Microsoft Bing. Каждый раз как в первый раз. Приходится лезть в source code, создавать баги в репозиторий и искать почему эта хреновина не работает. 👿 А про LLM я бы вообще помалкивал бы🤐
Does your organization have a culture of mediocrity? - про "посредственность" в организации
Schedule and Invoke Notebooks as Web Services using Jupyter API - если вы уж так любите в ноутбуках творить🧐 то можно уже и на расписание поставить ваше творение😙
Advantage Lakehouse - онлайн мероприятие для Databricks и вам еще дадут купон на 100$ для экзамена
Riverbed: Optimizing Data Access at Airbnb’s Scale
Prefect обещает прислать носки и кепку, или даже футболку и кружку, если вы им оставите хороший отзыв. Напоминает накрученный рейтинг от Амазона, где у китайской товара тысячи 5 звезд🫣
Effectively using the MERGE command in Snowflake - пример использования MERGE в Snowflake и возможность оптимизации
Build your data pipeline in your AWS modern data platform using AWS Lake Formation, AWS Glue, and dbt Core - Теперь в AWS Glue можно использовать dbt core (бесплатный который), как я понимаю для Spark SQL. Я все еще не могу согласиться, что для Spark нужно использовать dbt.
Confluent Announces Intent to Acquire Immerok to Accelerate the Development of a Cloud Native Apache Flink Offering - Confluent купила компания, которая продавало другое популярное решение для стриминга Apache Flink.
LLM Apps Are Mostly Data Pipelines - статья написано Meltano. Напомню, что это набор бесплатных connectors для ELT. Я на своем опыте уже
Does your organization have a culture of mediocrity? - про "посредственность" в организации
Schedule and Invoke Notebooks as Web Services using Jupyter API - если вы уж так любите в ноутбуках творить
Advantage Lakehouse - онлайн мероприятие для Databricks и вам еще дадут купон на 100$ для экзамена
Riverbed: Optimizing Data Access at Airbnb’s Scale
Prefect обещает прислать носки и кепку, или даже футболку и кружку, если вы им оставите хороший отзыв. Напоминает накрученный рейтинг от Амазона, где у китайской товара тысячи 5 звезд
Effectively using the MERGE command in Snowflake - пример использования MERGE в Snowflake и возможность оптимизации
Please open Telegram to view this post
VIEW IN TELEGRAM
Amazon
Build your data pipeline in your AWS modern data platform using AWS Lake Formation, AWS Glue, and dbt Core | Amazon Web Services
dbt has established itself as one of the most popular tools in the modern data stack, and is aiming to bring analytics engineering to everyone. The dbt tool makes it easy to develop and implement complex data processing pipelines, with mostly SQL, and it…
🫡12🐳4🍌1
Наконец-то кто-то нормально по зарплатам расписал. Конечно это Калифорния и Фаанги, но все четко. В 2023 году, за 600к$ налог будет 40-43%. А вот в Сиэтле 30-34%.
Если в Канаде в ВС доход 600к CAD будет, то 53%. Я специально не перевожу в US$ так как внутри страны мы живем и платим в локальной валюте. Вероятность получать US$ и тратить их в Канаде близка к 0.
В любом случае средняя зарплата в Канаде тысяч 120к CAD для дата позиций, если фаанг, то уже 200к CAD.
Если в Канаде в ВС доход 600к CAD будет, то 53%. Я специально не перевожу в US$ так как внутри страны мы живем и платим в локальной валюте. Вероятность получать US$ и тратить их в Канаде близка к 0.
В любом случае средняя зарплата в Канаде тысяч 120к CAD для дата позиций, если фаанг, то уже 200к CAD.
🙈26⚡6❤🔥6🐳6🫡2
На Хабре вышла статья – в AppMetrica появились А/Б эксперименты. Теперь можно проверить гипотезы и определить их влияние на такие показатели, как ARPU, Retention, Time Spent.
Основа в виде “Конфигурации флагов” позволяет задавать конкретные параметры тестирования и проводить эксперименты на разных сегментах.
И ясное дело, удобнее, когда успешные результаты тестов можно сразу выгрузить из сервиса и показать пользователям, вместо того, чтобы тратить время на раскатку. Это тоже можно сделать в AppMetrica.
В общем, инфа актуальная, читайте.
Основа в виде “Конфигурации флагов” позволяет задавать конкретные параметры тестирования и проводить эксперименты на разных сегментах.
И ясное дело, удобнее, когда успешные результаты тестов можно сразу выгрузить из сервиса и показать пользователям, вместо того, чтобы тратить время на раскатку. Это тоже можно сделать в AppMetrica.
В общем, инфа актуальная, читайте.
Хабр
В AppMetrica появились А/Б тесты для анализа приложений
В сервисе AppMetrica появились А/Б тесты. Раздел называется «А/Б эксперименты» и теперь в сервисе для аналитики мобильных приложений можно не только анализировать данные работы...
🌚11❤🔥6⚡3🗿1
Мне кажется AI готовит все больше сюрпризов для нас. Пример как на сайте Тинькофф можно ввести текст и услышать его голосом. Но оказывается синтез голоса может быть применен в другой индустрии - Из голоса банка - в п0рнo, и подпортить кому-то жизнь. А вы хотели бы своим голосом озвучить сомнительный контент? А что можно с deep fake сделать🙊
DTF
Из голоса банка - в п0рнo — Holly Forve на DTF
Привет. Меня зовут Алена Андронова, я актриса озвучивания и дубляжа. Однажды я согласилась на заказ озвучки большого массива текста для внутренних нужд банка Тинь кофф, а в итоге - я услышала себя в порно и лишилась части работы. Я подала иск в суд и хочу…
😭8🫡2🤷2
Замечательная статья - Instacart’s IPO filing sparked an online spat between cloud rivals Snowflake and Databricks
В ней прекрасно все. Во-первых очевидно, что Snowflake и Databricks лидеры , и они трутся там, где есть бабло. В доказательство, рассказали, как Instacart тратила 51 млн баксов😱 только на Snowflake, и случайно CEO Snowflake находится в борде Instacart (возможно он просто по-дружески им порекомендовал использовать "лучший" продукт для хранилища и аналитики).
Но проблема, что в последний год Instacart потратил только 15 млн (вот это четкая оптимизация костов, учитесь🧐 ).
А потом оказалось, что интернет пестрил статьями про Instacart и Databricks, и вообще, Snowflake заменили Databricks, поэтому вот чек за снежинку упал. Но статьи эти потерли🫣
Обожаю когда Snowflake и Databricks решают, кто тут лучший. А то давно не было слышно ничего про их спор - кто быстрей. (еще ссылка на benchmark)
В ней прекрасно все. Во-первых очевидно, что Snowflake и Databricks лидеры , и они трутся там, где есть бабло. В доказательство, рассказали, как Instacart тратила 51 млн баксов
Но проблема, что в последний год Instacart потратил только 15 млн (вот это четкая оптимизация костов, учитесь
А потом оказалось, что интернет пестрил статьями про Instacart и Databricks, и вообще, Snowflake заменили Databricks, поэтому вот чек за снежинку упал. Но статьи эти потерли
Обожаю когда Snowflake и Databricks решают, кто тут лучший. А то давно не было слышно ничего про их спор - кто быстрей. (еще ссылка на benchmark)
Please open Telegram to view this post
VIEW IN TELEGRAM
CNBC
Instacart's IPO filing sparked an online spat between cloud rivals Snowflake and Databricks
After Instacart published its IPO prospectus on Monday, a disclosure regarding the company's use of Snowflake technology created an unexpected controversy.
⚡11🐳3
Forwarded from SmartData — конференция по инженерии данных
This media is not supported in your browser
VIEW IN TELEGRAM
❤🔥46👨💻5🍾2🗿2🫡1
Forwarded from SmartData — конференция по инженерии данных
Дмитрий Аношин — «Примеры реальных аналитических решений и дата-команд в западных компаниях»
Начало доклада в 20:00, присоединяйтесь!
Начало доклада в 20:00, присоединяйтесь!
❤🔥16🌚2
Slalom - это консалтинг компания, я раньше про нее много писал, из всех компаний это моя самая любимая, даже RYD я многое с них копировал. Кстати они выросли из маленькой компании по бухгалтерии. А потом стали внедрять Snowflake, Tableau и другие современные штуки. Одно время я хотел пойти к ним в Ванкувере на Director Data Practice, но в итоге денег предложили мало ( я еще не знал, что Канада и много денег вещи не сопоставимые).
Все увольнения всегда обходили стороной консалтинги, но вот и до Slalom добралось, возможно причина таже - наняли много народу в ковид. Возможно сейчас компании стали экономить на подрядчиках.
Компания всегда славилась хорошей корпоративной культурой, и возможно там даже кто-то говорил, что они одна большая "семья". Но как обычно бывает:
After extensively exploring and debating every option possible with our senior leaders, executive committee, and board of directors on how to best position our company during this time of significant shifts within our industry and to plan for the future, we have made the painful decision to restructure COMPANY NAME. This will result in approximately XX% of our team members leaving the company.
Интересно конечно что за изменения в индустрии консалтинга он имеет ввиду. Но в целом, Бред подтвердил еще раз не принимайте близко к сердцу любой корпоративный bullshit. В первый день работы уже можно начинать поиск новой работы и изучать востребованные скилы на рынке, а то потом нечем будет платить за Flat White в Starbucks.
Все увольнения всегда обходили стороной консалтинги, но вот и до Slalom добралось, возможно причина таже - наняли много народу в ковид. Возможно сейчас компании стали экономить на подрядчиках.
Компания всегда славилась хорошей корпоративной культурой, и возможно там даже кто-то говорил, что они одна большая "семья". Но как обычно бывает:
After extensively exploring and debating every option possible with our senior leaders, executive committee, and board of directors on how to best position our company during this time of significant shifts within our industry and to plan for the future, we have made the painful decision to restructure COMPANY NAME. This will result in approximately XX% of our team members leaving the company.
Интересно конечно что за изменения в индустрии консалтинга он имеет ввиду. Но в целом, Бред подтвердил еще раз не принимайте близко к сердцу любой корпоративный bullshit. В первый день работы уже можно начинать поиск новой работы и изучать востребованные скилы на рынке, а то потом нечем будет платить за Flat White в Starbucks.
💯36🌚9
Как продвигается Surfalytics? Пока никак, но есть немножко фоток.
Идея простоя сделать глобальное сообщество, с контентом datalearn и фокусом на людей кто хочет:
1. Начать карьеру в дата и находится в Северной Америке (стек для Европы и Азии тоже подойдет, но не знаю как там с доходами) или планирует там оказаться (мир большой и только в Индии и Китае 3млрд людей, надо выбрать тех кто хочет жить в западной части мира и заразить их идеей красивой жизни)
2. Помочь подняться на следующий уровень с фокусом на доход, а не условный титул в вакансии.
3. Собрать маленькое сообщество high performers and achievers, чтобы создать благоприятную среду для своего развития. Доход тут имеет большое значение, или хотя бы планы его иметь, это про работу 7 дней в неделю, и долгие часы, не для всех, но reward должен быть соответствующий. И обязательно реинвестировать доход. Все должно быть направлено на личный (семейный) рост. Нужно знать чего хотеть и добиваться этого. Большинство предпочитает комфорт и их все устраивает, но есть люди кто тянется вверх и тянет других за собой, вот с такими и хочется общаться но в рамках схожей специализации вокруг данных, условное стартап сообщество где люди много работают но шансы заработать хорошие деньги очень маленькие и не предсказуемые.
4. Просто собрать большую аудиторию и попробовать монетизировать ее через вендоров.
5. Помогать компания внедрять лучшие решения (типа консалтинг и advisory)
6. Замутить реальный boot camp по серфингу в Тофино (на фотках). В этом году было только 3 человека на моем 3х дневном буткемпе и только один из них работает с данными.
7. Ну и самое главное заниматься тем чем нравится - учить других и помогать им быть успешными.
Вот разгребусь и займусь всем этим, советы легко раздавать другим, а вот самому начать сложней.
Идея простоя сделать глобальное сообщество, с контентом datalearn и фокусом на людей кто хочет:
1. Начать карьеру в дата и находится в Северной Америке (стек для Европы и Азии тоже подойдет, но не знаю как там с доходами) или планирует там оказаться (мир большой и только в Индии и Китае 3млрд людей, надо выбрать тех кто хочет жить в западной части мира и заразить их идеей красивой жизни)
2. Помочь подняться на следующий уровень с фокусом на доход, а не условный титул в вакансии.
3. Собрать маленькое сообщество high performers and achievers, чтобы создать благоприятную среду для своего развития. Доход тут имеет большое значение, или хотя бы планы его иметь, это про работу 7 дней в неделю, и долгие часы, не для всех, но reward должен быть соответствующий. И обязательно реинвестировать доход. Все должно быть направлено на личный (семейный) рост. Нужно знать чего хотеть и добиваться этого. Большинство предпочитает комфорт и их все устраивает, но есть люди кто тянется вверх и тянет других за собой, вот с такими и хочется общаться но в рамках схожей специализации вокруг данных, условное стартап сообщество где люди много работают но шансы заработать хорошие деньги очень маленькие и не предсказуемые.
4. Просто собрать большую аудиторию и попробовать монетизировать ее через вендоров.
5. Помогать компания внедрять лучшие решения (типа консалтинг и advisory)
6. Замутить реальный boot camp по серфингу в Тофино (на фотках). В этом году было только 3 человека на моем 3х дневном буткемпе и только один из них работает с данными.
7. Ну и самое главное заниматься тем чем нравится - учить других и помогать им быть успешными.
Вот разгребусь и займусь всем этим, советы легко раздавать другим, а вот самому начать сложней.
❤🔥129⚡21🎄7🍾5🌚2🫡2
Understanding the Experience of Code Review.pdf
603.4 KB
Небольшое чтиво про code review - Understanding the Experience of Code Review:
Misalignments, Attention, and Units of Analysis
Code review is a common practice in software development and
numerous studies have described different aspects of the process;
its characteristics, the expectations on that process, issues around
reviewer allocation, and more. However, one aspect that has not
been studied to a large extent is the experience of the developers
in the code review process. This is unfortunate given the signifi cant amount of time that developers spend on this activity, where
problems that degrade developers’ experience on a daily basis can
create work environment issues.
In this paper, we present an extended analysis of an exploratory
mixed-method study where we focus on developers’ experience of
code review. We use semi-structured interviews to gather data from
two multi-national companies and conduct a follow-up survey. Our
results suggest that developers are frequently bothered by misalign ments in the code review tooling and process which is hindering
them in carrying out their code review tasks effectively. We present
an initial characterization of misalignments that may hamper the
developer experience. Based on our findings, we propose directions
for further exploration to improve the developer experience.
Misalignments, Attention, and Units of Analysis
Code review is a common practice in software development and
numerous studies have described different aspects of the process;
its characteristics, the expectations on that process, issues around
reviewer allocation, and more. However, one aspect that has not
been studied to a large extent is the experience of the developers
in the code review process. This is unfortunate given the signifi cant amount of time that developers spend on this activity, where
problems that degrade developers’ experience on a daily basis can
create work environment issues.
In this paper, we present an extended analysis of an exploratory
mixed-method study where we focus on developers’ experience of
code review. We use semi-structured interviews to gather data from
two multi-national companies and conduct a follow-up survey. Our
results suggest that developers are frequently bothered by misalign ments in the code review tooling and process which is hindering
them in carrying out their code review tasks effectively. We present
an initial characterization of misalignments that may hamper the
developer experience. Based on our findings, we propose directions
for further exploration to improve the developer experience.
⚡7🌚1👨💻1👾1
Недавно я подписался на рассылку от Олега про dbt tips. Все четко и по делу, если вы используете dbt, то вам пригодятся его советы.
Substack
#dbtips | Oleg Agapov | Substack
Tips on Analytics Engineering. Click to read #dbtips, by Oleg Agapov, a Substack publication with thousands of subscribers.
❤🔥26🙈1
На edX появилось 2 новых курса от Databricks:
Databricks: Large Language Models: Application through Production
Databricks: Large Language Models: Foundation Models from the Ground Up
Теперь вы сможете удивлять своими познаниями на собеседованиях про LLM из 🧱
PS Databricks готов к новому раунду инвестиций и они планируют выйти в положительный кэш фло в 2025. Думаю многие сотрудники databricks неплохо обкешатся рано и поздно.
Вот у snowflake тоже акции были дорогие на IPO но потом упали (явно были переоценены), посмотрим как у databricks.
Databricks: Large Language Models: Application through Production
Databricks: Large Language Models: Foundation Models from the Ground Up
Теперь вы сможете удивлять своими познаниями на собеседованиях про LLM из 🧱
PS Databricks готов к новому раунду инвестиций и они планируют выйти в положительный кэш фло в 2025. Думаю многие сотрудники databricks неплохо обкешатся рано и поздно.
Вот у snowflake тоже акции были дорогие на IPO но потом упали (явно были переоценены), посмотрим как у databricks.
edX
Computer science courses | edX
With computer science courses on edX, you can study the industry essentials alongside Harvard’s experts. Explore CS50 courses and sign up today.
❤🔥17🐳2😭2