AI помощник по анализу данных: Microsoft представила Copilot для Power BI

3 дня назад Microsoft анонсировала Copilot - искусственный интеллект, встроенный в виде чата в Power BI. Он помогает с анализом данных и освобождает от рутины. Вам нужно просто описать свои требования - Copilot сделает все остальное:

📊 Строит визуализации
🔑 Выявляет ключевые влияния, выбросы, создает прогнозы
💡 Находит инсайты в данных и подводит итоги

Примеры запросов из видео презентации:

- Помоги построить отчет, суммирующий ключевые показатели и отображающий тенденции
- Какие есть основные факторы, влияющие на метрику?
- Добавь краткое саммари, описывающее инсайты в данных

Выглядит так, что теперь не нужно тратить часы и дни на создание дашбордов и отчетов, а значительную часть работы сделать за считанные секунды. Как работает на деле - не проверяла.

Новость

Ребята из Авито ищут аналитиков в кластеры Trust and Safety и Business Security.

Открыты позиции:
➡️ Команда жилой недвижимости
➡️ Команда модерации
➡️ Команда рейтингов и отзывов

Из приятного:
• Много качественных данных, мощная инфраструктура и инструменты, любое необходимое железо — всё готово для продуктивной работы;
• Возможность влиять на бизнес и развитие продукта;
• Прозрачная система премий, достойная зарплата — размер обсудим на собеседовании;
• Личный бюджет на обучение — книги, курсы и конференции;
• ДМС со стоматологией с первого дня, в офисе принимают терапевт и массажист;
• Возможность совмещать работу из дома и комфортного офиса в 2 минутах от «Белорусской» с панорамным видом на центр города, местами для уединенной работы, двумя спортивными залами, зонами отдыха и гамаками.

Не откладываем (а то мы вас знаем), а сразу переходим по ссылкам и откликаемся!

Готовимся к собеседованию и улучшаем навыки со Stratascratch и Hakerrank

HackerRank и StrataScratch - это те платформы, которые использовала для оценки и улучшения практических навыков, подготовки к собеседованиям и которые могу рекомендовать.

Обе платформы работают по принципу - дается задача, есть окошко для решения, есть вкладки с решениями и обсуждением от пользователей. Можно фильтровать по сложности и другим параметрам.

Но у каждой есть свои преимущества.

StrataScratch - создана для специалистов по данным

Что тренируем: PostgreSQL, Python, MySQL, R, MS SQL Server, также есть вопросы “на подумать” без написания кода.

1. Все вопросы от реальных работодателей - известных компаний: Google, Twitter, Uber, Microsoft, Netflix и др. И, как заявляет платформа, они постоянно обновляются.

2. Также недавно появился раздел “Data Projects”. Например, проект “Анализ информации о невыполненных заказах”. Этот проект использовался в качестве домашнего задания в процессе найма на должности специалистов по данным в Gett. Здесь есть задание, датасет и его описание.

🆓 Многие вопросы и задачи на платформе бесплатны. А вообще платные и бесплатные отличаются только тем, что в платных нет решения, а в проектах нельзя скачать датасет.

HackerRank - подойдет для всех IT-специалистов

Что тренируем: SQL, Python и другие языки программирования. Недавно добавили математику, структуры данных, базы данных, алгоритмы, искусственный интеллект.

1. Здесь можно пройти бесплатную сертификацию, подтвердить свои знания и прикрепить к резюме. Есть 3 уровня сертификатов - Basic, Intermediate, Advanced. Перед прохождением сертификации есть пробный предварительный тест.

2. Еще одна хорошая штука - это наборы для подготовки к интервью: задачи и тесты на 1 неделю, 1 месяц и 3 месяца. Каждый день вы решаете по 1-2 задачи и тем самым готовитесь к интервью, в конце ждет проверочный тест.

🆓 HackerRank на 100% бесплатен для обычного пользователя.

Как практиковать навыки А/Б тестирования?

Вопрос возникает не только у новичков, но и у опытных аналитиков данных, которые на своей текущей работе а/б тесты не проводят (такое бывает). Но при этом отсутствие знаний и практики а/б тестирования может быть препятствием на пути получения новой работы.

При этом самостоятельно практиковать навыки а/б тесты кажется невозможным, так как это требует наличие продукта, трафика и денег. Но я считаю, что можно.

Вот мои мысли:

1) Изучить теорию а/б тестирования

Для этого есть много бесплатной информации в виде курсов, статей. Также о практическом опыте проведения а/б тестов рассказывают Яндекс, Авито, Lamoda, Циан и другие компании. Подборка материалов есть тут.

2) Самостоятельно спланировать а/б тест

С этого момента уже начинается практика. Про планирование, дизайн а/б теста на этом моменте вы уже должны знать из теории. Можете выбрать любой существующий продукт/бизнес и попрактиковаться в планировании а/б теста для него.

Такое задание "спланировать эксперимент для нашего продукта", кстати, встречала в некоторых тестовых задачах на аналитика данных.

2) Реализация и запуск теста

Чтобы реализовать и запустить тест, используются различные платформы а/б тестирования. Если научитесь настраивать любую из них, то при необходимости быстро освоите и любую другую. У всех платформ для а/б тестирования есть собственные мануалы по использованию, которые помогут разобраться в настройке.

Платформы а/б тестирования с бесплатным планом: Google Optimize, в Яндекс Метрике также недавно появился инструмент а/б тестирования.

3) Анализ и интерпретация результатов

Это самое интересное, что (кажется) нельзя сделать без реального запуска а/б теста. Потому что только после завершения реального экперимента у вас будет набор данных, который можно анализировать.

Но это не так, так как в интернете много наборов данных по а/б тестированию. Вы можете брать любой и проводить анализ.

Например, на Kaggle есть специальные датасеты, где собраны данные по результатам а/б тестов по раличным сферам и продуктам. Там же во вкладке Code есть примеры от пользователей, если по началу вам нужен образец перед глазами. Примеры "для вдохновления" есть также по этой ссылке.

Таким образом вот полный цикл, как можно практиковать а/б тестирование.

Конечно, в реальном а/б тестирования могут возникать вопросы, которые в такой практике вы не увидите. Но базовое понимание и базовые навыки получите.

Если пост был полезен, поставьте 🔥.

Как учиться бесплатно на Coursera без привязки карты и пробных периодов?

Когда публикую в канале курсы на Coursera, поступают сообщения, что они не полностью бесплатны и имеют только 7-дневный бесплатный период и нужно привязать карту.

Это не так и курсы можно прослушать бесплатно без карты и пробных периодов и даже получить сертификат.

Для Coursera

1) Прослушать бесплатно без сертификата

- Вам нужно открыть курс и спуститься ниже, вы увидите подразделы (подкурсы).
- Откройте каждый такой раздел отдельно, просто нажав на этот раздел.
- Нажмите "Участвовать бесплатно"
- В открывшемся окне нажмите внизу (очень мелким шрифтом) "Прослушать курс" и "продолжить" (можно ничего не заполнять).
- Все, можете изучать курс бесплатно.

Если вы нажмете "Участвовать бесплатно" на главной странице курса, то там "Прослушать курс" вы не найдете. Нужно открывать именно каждый подкурс отдельно.

Если "Прослушать курс" не появился, то попробуйте с другого аккаунта. Так как Coursera проводит а/б тесты и у части "Прослушать курс" может не показываться.

Стоит отметить, что в данном случае сертификата не будет, но он и не нужен в большинстве случаев.

2) Получить курс бесплатно с сертификатом

Вы можете получить сертификат, если подадите на финансовую помощь (Financial Aid).

Coursera спонсирует учебу всем, кто не может позволить себе оплату курса или специализации. Еще в 2015 году они одобрили 100 тысячную заявку на финансовую помощь.

Возле большинства курсов есть мелким шрифтом “Доступна финансовая помощь”, после ее нажатия, вам предложат заполнить краткую анкету и описать причину запроса финансовой помощи. Заявление рассматривается до 16 дней.

Учитывайте, что в одном курсе несколько подкурсов и подавать на финансовую помощь нужно на каждый подкурс отдельно.

Полные условия получения Financial Aid, статья-гайд на Habr.

Никогда не пользовалась такой опцией, но в комментариях к посту был человек, который получал ее. И читала, что получают ее практически все, кто подает.

Для EdX

Скажу также про EdX. Здесь большинство курсов бесплатны, но за сертификат нужно заплатить. Поэтому если он вам нужен, также есть финансовая помощь.

EdX предлагает скидку до 90 % на сертификаты, помощь доступна на большинстве курсов. Схема получения схожа с Coursera и подробно описана на сайте EdX. Одобрение или отказ приходят в течении 2-4 дней.

Если у вас есть возможность оплатить - оплачивайте. Но если такой возможности нет - пользуйтесь бесплатно, тем более что вышеприведенные способы абсолютно легальны.

Новая библиотека Pandas AI делает анализ за аналитика

Появилась новая библиотека Pandas AI - надстройка над популярной библиотекой для анализа данных Pandas, использует для работы ИИ. Стоит ли ее пробовать?

Принцип работы: в редакторе кода задаете любой вопрос про данные на естественном языке и без написания кода получаете готовый ответ по вашим данным.

Например, если спросить про данные о зарплате: "Кто в компании зарабатывает больше?". Pandas AI ответит: "Оливия зарабатывает больше".

Вот еще примеры: пример использования библиотеки Pandas AI в Google Colab, пример запроса на визуализацию и ответ на картинке выше.

Как установить? Как и любую другую библиотеку, инструкции на github и в статье. Отличие в том, что вам понадобится ключ API OpenAI. API платное, да, но есть бесплатный период на 1 месяц без привязки карты.

По поводу безопасности данных - в случае подключения API Open AI клянется не использовать ваши данные для обучения.

Почему я не спешу устанавливать Pandas AI?

- Сами разработчики предупреждают, что весь фрейм данных каждый раз передается вместе с вопросом, поэтому решение не идеально для обработки больших наборов данных.

- Pandas AI дает готовый ответ без кода и пояснений. Сомнительно, правда? Мне кажется, разработчики не разобрались, кто является их целевой аудиторией.

- Можно спросить у ChatGPT почти тоже самое.

- API OpenAI платное.

А вообще сама идея мне нравится, но сейчас как всегда сыро и надо дорабатывать.

Если вы пробовали - поделитесь, как вам?

toPandas тормозит на больших датасетах? Это типичная боль аналитика

А вот вам исчерпывающая инструкция, как устранить эту проблему. Выгрузка данных через консоль, обход ограничений Arrow, исправление ошибок настройки памяти — обо всем этом рассказывает Александр Ледовский — тимлид команды аналитики и DS. Он строит рекламные аукционы в Авито, так что про большие массивы данных знает как никто другой.

Так что если у вас все падает с ошибками, не мучайтесь: берите инструкцию — и вперед!

Как определить, какая версия сайта работает лучше? Что изменилось после рефакторинга бэкенда и удалось ли отделу логистики ускорить доставку?

Точные ответы на эти вопросы позволяют получить A/B-тесты. На нашем симуляторе вы поработаете с нетривиальными кейсами и разберёте полный пайплайн тестирования на реальных задачах бизнеса — всё под руководством экспертов из X5 Retail Group и Blockchain.com.

Вы поймёте, какие метрики нужно измерять, как улучшать их с помощью экспериментов и как получить качественный результат даже на небольшой выборке.

Если вы хотите научиться принимать решения на основе data-driven не погружаясь в программирование и сложную математическую статистику — вам подойдёт базовая версия программы. Все задачи вы будете решать в Google Sheets, а запускать эксперименты — на уже готовой инфраструктуре.

А если вы уже знаете основы Python и математической статистики, и вам важно на практике разобраться во всех тонкостях A/B-тестирования — приходите на продвинутую версию.

Обучение на симуляторе позволит вам вывести карьеру на новый уровень и заранее отработать на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.

Присоединяйтесь по ссылке! Ждем вас!

#реклама

Бесплатный курс по аналитике данных с сертификатом

freeCodeCamp.org - это платформа с полностью бесплатными курсами и гайдами. Причем на курсах можно получить абсолютно бесплатный сертификат. Никаких платных вариантов, живут только на донатах.

На днях увидела, что у них появился курс "Анализ данных с помощью Python".

В теоретической части курса рассказывают весь процесс анализа данных, как использовать библиотеки, такие как Numpy, Pandas, Matplotlib и Seaborn. Кроме того, в курсе есть Jupyter Notebook и кратко основы Python.

В практической части дают 5 проектов для самостоятельной работы, но со всей нужной информацией и примерами: анализ демографических данных, визуализация медицинских данных, прогнозированиt уровня моря, калькулятор отклонения, визуализация временных рядов.

По завершении можно получить сертификат бесплатно.

Плюс также в том, что в данном курсе Python изучается применительно к анализу данных, а также много практики, которую можно положить в портфолио.

У них есть и другие курсы с сертификатами, которые могут расширить знания: Алгебра с использованием Python (даст более глубокое понимание математики и науки о данных) и Машинное обучение (для аналитика данных может быть полезно, тк знания машинного обучения уже требуют во многих компаниях).

Как использовать многоруких бандитов на практике | Гайд для аналитиков, продакт менеджеров и ML-специалистов

Это руководство разработала ведущая аналитическая система MyTracker. Они используют многоруких бандитов в инструментах предиктивной аналитики и в гайде делятся своим опытом.

Что интересного есть в гайде?

Вы узнаете, что такое многорукие бандиты и как они применяются в различных сферах, в том числе в рекомендательных системах. А также про различные алгоритмы бандитов: жадный, алгоритм UCB, алгоритм сэмплирования Томпсона и контекстуальные многорукие бандиты.

Гайд пригодится аналитикам для определения оптимальных стратегий тестирования, продуктовым менеджерам - для тестирования новой функциональности, а ML-специалистам - для настройки моделей машинного обучения.

Скачайте бесплатное практическое руководство от команды предиктивной аналитики MyTracker и узнайте, как многорукие бандиты могут увеличить прибыль вашего проекта и улучшить продуктовые метрики.

Примеры реальных проектов для усиления портфолио

📊 Проекты в открытой базе конкурса “Карьерный цех”

Карьерный цех - это бесплатные конкурсы для аналитиков, продактов, дизайнеров.

Задачи для конкурса предоставляют компании или аналитики данных, а решения победителей и других участников находятся в открытом доступе. Можно изучить, вдохновиться и сделать подобное для своего портфолио.

Примеры задач для аналитиков из базы: “Оптимизация онбординга в первую сессию”, “Построить сквозную маркетинговую отчетность”, “В какой продукт выгоднее вкладывать деньги, чтобы быстрее дойти до IPO”, “Исследование результатов A/B эксперимента для Сбермаркета” и т.д.

📊 Проекты исследовательского анализа данных

Исследовательский анализ данных - это процесс, когда мы изучаем данные, чтобы найти в них интересные факты, идеи и закономерности. Можно сказать база аналитики данных и для портфолио аналитика. Примеры анализа можно посмотреть на Kaggle по запросу “Exploratory data analysis”.

📊 Проекты визуализации

Демонстрация того, что вы можете создавать эффективные и привлекательные визуализации произведет впечатление на потенциального работодателя. Примеры с использованием Python и R можно посмотреть на Kaggle по запросу "vazualization". В Tableau Public в разделе “Trending” есть популярные примеры дашбордов и отчетов пользователей. Также в галерее темплейтов Google Data Studio.

📊 Проекты А/б тестирования

Навыки а/б тестирования требуют практически все работодатели и такой проект будет преимуществом для портфолио. Но практиковать самостоятельно кажется невозможным, так как требует наличие сайта, на который нужно пустить трафик, а для этого нужны деньги. В этом посте я подробно расписала со всеми ссылками, как практиковать самостоятельно и соответственно включить а/б тестирование в портфолио.

P.S. Также неплохо будет добавить проекты машинного обучения, тк запрос от аналитиков данных уже есть на рынке, но об этом в другом посте.

Только что прочитала результаты исследования, в котором продакты рассуждали о карьере, о сфере и об HR-бренде компаний. Теперь можем понять температуру по палате и нарисовать в голове портрет среднестатистического продакта 👻

📌 Итак, сейчас на рынке почти нет людей, которые пришли из внешней по отношению к IT сфере.
📌 Рост в уровне должности напрямую связан с количеством опыта в IT.
📌 Чем сеньорнее продакт, тем чаще он работает с b2b-продуктами. Начинающие менеджеры в основном работают с b2c. Или просто пока не очень хорошо понимают, куда себя отнести 🙃
📌 Авито оказался в топе сразу трех рейтингов — среди компаний с сильной продуктовой культурой, в числе самых желанных работодателей, а еще в списке организаций с самой заметной активностью в сообществе.
📌Всего перечислили 20 компаний, в том числе Яндекс, Озон, Сбер, Тинькофф.

Работаешь продактом? Ставь лайк, если умеешь кодить, активно ходишь на собесы и мечтаешь попасть куда-нибудь в Авито.

Получаете готовый анализ в считанные секунды: новая функция ChatGPT

Новая функции ChatGPT - "Code Interpreter" на этой неделе появится в открытом доступе для всех пользователей с подпиской Plus (20$ в месяц).

Как это работает?

1) Загружаете файл с данными (размер до 100 МБ)
2) Даете простые инструкции на естественном языке, задаете интересующие вопросы к данным
3) ChatGPT с помощью Code Interpreter за считанные секунды подготовит данные, визуализирует их и сделает выводы. По завершении можно скачать результаты.

Пример, как это работает, можно посмотреть тут у пользователя твиттер. А также у пользователя Medium.

—————

Я так и не могу оплатить ChatGPT даже с зарубежных карт, поэтому буду оценивать новинку позже.

Ранее я уже тестировала ChatGPT на то, как он справляется с разными задачами аналитика. Но тогда файлы с данными загружать было нельзя, кроме того это был ChatGPT, а не GPT-4 и с тех пор прошло уже несколько месяцев, за которые ИИ по логике должен был продвинуться.

Как убедиться, что мидл стал сеньором?

Помогает грамотно выстроенный процесс ревью — особенно если вы большая команда. Вот здесь подробный гайд от Авито: их директор по аналитике Илья Гуров рассказывает, как определиться со своими ожиданиями и донести их до каждого сотрудника, не вдаваясь в микроменеджмент.

Что советуют:

— формализовать грейды;
— описывать компетенции так, чтобы они были доказуемы и сфокусированы на результате, а не процессе;
— выстроить цикл ревью, который будет регулярным;
— четко регламентировать дискуссии между руководителями.

Что думаете про такую систему? Рассказывайте, как у вас это работает👇

Абьюз аналитик, кто это?

Новички говорят, что у них голова кругом от видов аналитиков, сегодня я добавлю еще один😊.

Нет, это не аналитик, который занимается ситуациями абьюза в отношениях между людьми (как кто-то мог подумать).

Abuse Analyst - это специалист по анализу случаев злоупотреблений и мошенничества на онлайн-платформах. Он отвечает за сбор, анализ и интерпретацию данных о злоупотреблениях, чтобы помочь организации защититься от будущих атак.

Аналитики злоупотреблений обычно требуются в компаниях, которые имеют большое количество пользователей и данных, и которые подвержены риску киберугроз (Google, Facebook и Amazon, Министерство обороны), либо в компаниях, которые имеют чувствительную информацию, такую как медицинские записи, финансовые данные или персональные данные.

Например, в Youtube Abuse Analyst:

- Проводит анализ с использованием различных источников данных и выявляет уязвимости и тенденции злоупотреблений
- Создает дашборды для отслеживания злоупотреблений
- На основе данных дает рекомендации по предотвращению злоупотреблений

Из инструментов обычно требуется знание SQL и Python.