Ограничения и ошибки в работе ChatGPT (которые я заметила)

Чем больше использую ChatGPT для аналитики, написания кода, личных вопросов, тем больше вижу в нем ограничений.

Это не означает, что инструмент плох. Но ограничения важно понимать, чтобы использовать его эффективно.

№1. Потенциальная систематическая ошибка в обучающих данных

ChatGPT был обучен на большом наборе текстовых данных из различных источников, включая книги, статьи и веб-сайты, но эти данные могут содержать ошибки. Основываясь на некорректных данных, ChatGPT может ответить неверно.

Поэтому я использую ИИ как еще один источник, но не как единственный источник, подвергаю критике его высказывания.

№2. Сам ChatGPT пишет, что у него “Ограниченное знание мира и событий после 2021 года”

Это значит, что если вы попросите что-то после 2021 года, вряд ли ChatGPT это знает. Хотя на некоторые вопросы, связанные с 2022 и 2023 годом он отвечает. Именно поэтому некоторые ссылки, которые он выдает, уже устарели.

№3. Если в одном диалоге вы постоянно переключаетесь с темы на тему, то ChatGPT может с трудом отслеживать контекст и генерировать неточные или нерелевантные ответы

Хорошее правило — поддерживать разговор на одну тему в одном чате. Если вы хотите спросить что-то кардинально отличающееся, используйте другой чат.

№ 4. Галлюцинации — когда модель уверенно сообщает полностью неверную информацию

Это часто происходит, когда вы пытаетесь превзойти пределы знаний или возможностей ChatGPT. Например, когда я пыталась попросить ChatGPT сделать краткое содержание видео, которое вышло недавно, он “сочинил” текст, который никак не относится к запрашиваемому видео.

№5. Также пока не совсем понятно, что с правами собственности и юридическими последствиями

Этот вопрос вызывает обсуждения и споры у юристов.

И еще: на один и тот же запрос выдавал абсолютно разную информацию. При использовании его в качестве инструмента самопроверки говорил, что мои ответы верные, когда они были неверные и наоборот. Лил много воды и ничего по существу.

Мой вывод - полноценно доверять не следует, как и к любой информации из интернета должно быть применено критическое мышление.

Google выпустил продвинутое обучение по аналитике данных на Coursera

Кто не знает, у Google есть свой обучающий центр “Grow with Google”. Ранее писала про их начальное обучение "Аналитика данных от Google”.

На днях вышло 2 новых курса:

📊“Расширенная аналитика данных Google”. В этом курсе появляется Python и статистика, машинное обучение для анализа и интерпретации данных.

📊“BI аналитика от Google”. Этот курс посвящен основам бизнес аналитики, моделям данных, ETL, дашбордам и отчетам.

Если сертификат не нужен, то можно прослушать курс бесплатно. Для этого выбирайте в курсе отдельный подкурс, после нажатия на "Участвовать бесплатно" в самом низу появится “Прослушать курс”. Также можно запросить финансовую помощь у Coursera, при ее одобрении сертификат будет бесплатным (полное объяснение в комментариях).

Обучение на английском, но у Яндекс Браузера специально для Coursera синхронный перевод на русский.

Коллега из Lamoda Рома Смирнов написал 2 статьи по теме A/B тестирования:

1) Как же мощно я провел A/B-тест, или почему не стоит сравнивать наблюдаемый аплифт с MDE

2) Как определить размер выборки для бутстрэпа старым дедовским способом

Ну а если вам нужны базовые знания по A/B тестированию, то вот некоторые бесплатные курсы:

🚩A/B Testing от Udacity в коллаборации с Google
🚩A/B Testing for Business Analysts от Udacity
🚩Data Wrangling, Analysis and AB Testing with SQL от UCDAVIS University of California на Coursera

Советы LinkedIN: как эффективно общаться с ChatGPT

Создание подсказок (промтов) - это тщательный выбор слов, фраз, предложений, чтобы направить ChatGPT в определенном направлении и получить желаемый результат.

Специалисты LinkedIn предлагают фреймворк CREATE.
Суть его в том, чтобы давать ChatGPT как можно больше деталей, в том числе примеры (на которых ИИ отлично учится и может давать ответы в похожем стиле). Подробно LinkedIn рассказывают в своем бесплатном (до июня) курсе.

P.S. На видео ничего необычного, просто ChatGPT подключили к человекоподному роботу Ameca и теперь он может давать осмысленные ответы и копировать мимику человека.

Выше проводила опрос, в котором выяснилось, что ежедневно используют ChatGPT только 14% опрошенных.

Я осознала, что использую ChatGPT ежедневно и регулярно. Сейчас работаю над проектом, в котором нужно делать абсолютно новое для меня. Купила VPS, установила на него веб-сервер Apache, настроила Python, разбираюсь с конфигурационными файлами. Делаю это сама, во все вникаю, но ChatGPT при этом выступает помощником.

Однако не стоит его идеализировать - ошибки он выдает регулярно. Также не забывайте, что все, что чем вы делитесь с ChatGPT - сохраняется и используется для дальнейшего обучения модели. Например, сотрудники Samsung недавно случайно поделились конфиденциальной информацией, используя ИИ.

Сеньор от мидла отличается как минимум несколькими цифрами в зарплате

Максимум — целой кучей скиллов, которые можно прокачать только на практике. Авито в хорошем тексте (без воды!) рассказывает, как на собеседованиях вычисляют аналитиков-сеньоров и как вы близко к тому, чтобы перепрыгнуть на следующий грейд.

👉 Статья на Хабре и матрица компетенций по уровням

В аналитический работе есть шаг, который часто упускают из виду или игнорируют

Чтобы добиться успеха в "марафоне аналитики", ваши усилия должны соответствовать бизнес-стратегии. Если вы не разговариваете с заинтересованными сторонами вашего бизнеса и четко не понимаете их бизнес-вопросы или приоритеты, вам будет сложно создавать ценность.

❌ Вы будете измерять не те вещи.
❌ Вы будете создавать дашборды, которыми не будут пользоваться.
❌ Вы будете проводить анализ, который никому не интересен.
❌ Вы будете сообщать «инсайты», которые не побуждают к действию.

Олимпийский марафонец из Танзании Джума Икангаа сказал: «Воля к победе ничего не значит без подготовки». Подготовка важна и для аналитических марафонов. Я рассматриваю подготовку перед гонкой как работу, которая должна быть выполнена до того, как вы начнете собирать, визуализировать и анализировать данные.

Brent Dykes, автор "Effective Data Storytelling".

AutoGPT: личный ИИ помощник, решает задачи за человека или сырой продукт?

Ставишь задачу (например, сделать анализ), уходишь пить чай, возвращаешься - задача сделана.

Англоязычный интернет взорвался после недавнего появления AutoGPT: ИИ сам заказал пиццу, заменил целый отдел продаж (нашел ЛПР и их контакты, составил для них письмо, разослал и назначил встречи в календаре с теми, кто ответил), написал сайт (попутно устанавливая на компьютер ПО, которое не было установлено).

ChatGPT - уже старая школа, а AutoGPT - будущее, говорят энтузиасты ИИ.

В чем отличие AutoGPT от ChatGPT?

🤖 AutoGPT не требует подсказок человека, работает автономно. Ставлю задачу, AutoGPT над ней работает, а я ухожу пить чай.
🤖 AutoGPT может ходить по компьютеру, читать файлы, устанавливать программы.
🤖 AutoGPT подключен к интернету и может находить информацию даже за текущий день.

Я начала тестировать AutoGPT неделю назад и вот выводы кратко:

✅ Хорош в задачах, связанных с актуальной информацией, тк подключен к интернету.
❌ С другими задачами он не справился: в процессе выполнения столкнулся с проблемами, зациклился на них, используя один и тот же метод решения, который не срабатывал. Например, анализ данных в csv файле, расположенном на моем компьютере, я так и не получила.
❌ Пиццу он мне не заказал, написал что не имеет такой возможности.

Чуть более подробно написала на сайте.

Стоит отметить, что “настоящий” AutoGPT сейчас работает только через командную строку и потребуются небольшие технические знания для его установки. Я установила примерно за час. Инструкция, ссылка на github.

Есть и веб-версии Godmode и AgentGPT, но по мне так это еще хуже, чем в командной строке (обрезают текст, зацикливаются, не могут читать и записывать файлы на вашем компьютере).

Почему аналитику данных нужно разобраться, что такое Github?

Github - это международная платформа, которую используют не только разработчики, но и специалисты по данным (аналитики данных, data scientists).

1) Как хранилище резервных копий

Если что-то случится с вашим компьютером и код будет утерян, версия вашего кода всегда будет жить онлайн на Github.

Git - это система контроля версий, которая используется для управления изменениями в коде.

2) Как социальную сеть для технических специалистов с большим количеством бесплатных примеров проектов

Одной из лучших особенностей GitHub является то, что он содержит проекты людей со всего мира, которые сосредоточены на множестве различных областей технологий. Многие из этих людей являются специалистами по данным и бесплатно делятся своими проектами с остальным сообществом.

Это отличный способ вдохновиться чужими проектами. Точно так же, как прокручивая Pinterest или Instagram.

Для аналитиков данных и data scientists могут быть полезны следующие темы:

📊Визуализация данных
🤖Машинное обучение
🛠Анализ данных

3) Вы можете создать портфолио на Github

Публичное портфолио демонстрирует вашу работу, особенно потенциальным работодателям. Можно рассматривать это как публичное доказательство того, что у вас есть навыки и опыт, указанные в вашем резюме. Портфолио особенно важно, если опыт работы небольшой.

Пример - AlextheAnalyst.

4) Работа над проектами с открытым исходным кодом

Это проекты, которые владельцы сделали доступными для бесплатного публичного использования. Вы можете внести свой вклад, дополнив их написанным вами кодом и тем самым добавить строчку опыта в свое портфолио. Не уверена, что такие проекты есть для аналитиков данных, но для data scientisct и разработчиков видела.

5) Для совместной работы с другими специалистами по данным

GitHub предоставляет функции для управления проектами и совместной работы, такие как отслеживание ошибок (issue tracking), запросы на объединение (pull requests), возможность вносить комментарии к коду и многое другое.

Чтобы разобраться в Github, вот бесплатные материалы:

Документация Github
Git Started with GitHub (Udemy)
Introduction to Git and GitHub (Google)
Getting Started with Git and GitHub (IBM)

*Все курсы на Coursera можно пройти бесплатно без привязки карты и в обход 7дневного периода, просто нажав "Прослушать" (мелким шрифтом), подробнее смотрите в комментариях к этому посту.

В Yandex Cloud нужен аналитик-разработчик

Ребята срочно ищут специалиста, вот описание вакансии:

Монорепозиторий Аркадии хранит исходный код большинства сервисов Яндекса. Каждый день разработчики Яндекса создают в нём тысячи пул-реквестов. Для репозиториев такого масштаба не существует готовых решений, и мы развиваем свои: систему контроля версий, веб-портал разработчика, плагины для среды разработки, сервис для разработки в облачном окружении. Наша служба постоянно работает над тем, чтобы делать наши системы удобнее, надёжнее, быстрее и понятнее.

Мы ищем опытного аналитика, который поможет разработать систему метрик для наших внутренних продуктов и внедрить A/B-эксперименты, найдёт пути улучшения наших систем.

📌Что нужно делать:

- разрабатывать систему метрик качества для инструментов репозитория;
- анализировать и улучшать продуктовые метрики наших систем;
- внедрять метрики качества и A/B-эксперименты в наши продукты;
- помогать строить хранилища данных репозитория и смежных систем для разработки метрик личной и командной активности и производительности.

📌Мы ждем, что вы:

- работали продуктовым аналитиком не менее трёх лет;
- хорошо знаете Python и SQL;
- знаете математическую статистику и теорию вероятностей;
- проводили A/B-эксперименты и анализировали их результаты;
- самостоятельны и не боитесь нестандартных задач;
- готовы быстро усваивать много новой информации.

📌Условия:

- команда экспертов, которые любят своё дело;
- выстроенные процессы взаимодействия и планирования;
- работа над проектами, которые отражены в общих целях бизнеса;
- прозрачная коммуникация, возможность влиять на процесс и результат;
- расширенная программа ДМС: оплата 80% стоимости ДМС для супругов и детей;
- гибкий график;
- работа из офисов в Москве, Санкт-Петербурге, Сербии, Армении.

📥Откликнуться: @Oksidgi

AI помощник по анализу данных: Microsoft представила Copilot для Power BI

3 дня назад Microsoft анонсировала Copilot - искусственный интеллект, встроенный в виде чата в Power BI. Он помогает с анализом данных и освобождает от рутины. Вам нужно просто описать свои требования - Copilot сделает все остальное:

📊 Строит визуализации
🔑 Выявляет ключевые влияния, выбросы, создает прогнозы
💡 Находит инсайты в данных и подводит итоги

Примеры запросов из видео презентации:

- Помоги построить отчет, суммирующий ключевые показатели и отображающий тенденции
- Какие есть основные факторы, влияющие на метрику?
- Добавь краткое саммари, описывающее инсайты в данных

Выглядит так, что теперь не нужно тратить часы и дни на создание дашбордов и отчетов, а значительную часть работы сделать за считанные секунды. Как работает на деле - не проверяла.

Новость

Ребята из Авито ищут аналитиков в кластеры Trust and Safety и Business Security.

Открыты позиции:
➡️ Команда жилой недвижимости
➡️ Команда модерации
➡️ Команда рейтингов и отзывов

Из приятного:
• Много качественных данных, мощная инфраструктура и инструменты, любое необходимое железо — всё готово для продуктивной работы;
• Возможность влиять на бизнес и развитие продукта;
• Прозрачная система премий, достойная зарплата — размер обсудим на собеседовании;
• Личный бюджет на обучение — книги, курсы и конференции;
• ДМС со стоматологией с первого дня, в офисе принимают терапевт и массажист;
• Возможность совмещать работу из дома и комфортного офиса в 2 минутах от «Белорусской» с панорамным видом на центр города, местами для уединенной работы, двумя спортивными залами, зонами отдыха и гамаками.

Не откладываем (а то мы вас знаем), а сразу переходим по ссылкам и откликаемся!

Готовимся к собеседованию и улучшаем навыки со Stratascratch и Hakerrank

HackerRank и StrataScratch - это те платформы, которые использовала для оценки и улучшения практических навыков, подготовки к собеседованиям и которые могу рекомендовать.

Обе платформы работают по принципу - дается задача, есть окошко для решения, есть вкладки с решениями и обсуждением от пользователей. Можно фильтровать по сложности и другим параметрам.

Но у каждой есть свои преимущества.

StrataScratch - создана для специалистов по данным

Что тренируем: PostgreSQL, Python, MySQL, R, MS SQL Server, также есть вопросы “на подумать” без написания кода.

1. Все вопросы от реальных работодателей - известных компаний: Google, Twitter, Uber, Microsoft, Netflix и др. И, как заявляет платформа, они постоянно обновляются.

2. Также недавно появился раздел “Data Projects”. Например, проект “Анализ информации о невыполненных заказах”. Этот проект использовался в качестве домашнего задания в процессе найма на должности специалистов по данным в Gett. Здесь есть задание, датасет и его описание.

🆓 Многие вопросы и задачи на платформе бесплатны. А вообще платные и бесплатные отличаются только тем, что в платных нет решения, а в проектах нельзя скачать датасет.

HackerRank - подойдет для всех IT-специалистов

Что тренируем: SQL, Python и другие языки программирования. Недавно добавили математику, структуры данных, базы данных, алгоритмы, искусственный интеллект.

1. Здесь можно пройти бесплатную сертификацию, подтвердить свои знания и прикрепить к резюме. Есть 3 уровня сертификатов - Basic, Intermediate, Advanced. Перед прохождением сертификации есть пробный предварительный тест.

2. Еще одна хорошая штука - это наборы для подготовки к интервью: задачи и тесты на 1 неделю, 1 месяц и 3 месяца. Каждый день вы решаете по 1-2 задачи и тем самым готовитесь к интервью, в конце ждет проверочный тест.

🆓 HackerRank на 100% бесплатен для обычного пользователя.

Как практиковать навыки А/Б тестирования?

Вопрос возникает не только у новичков, но и у опытных аналитиков данных, которые на своей текущей работе а/б тесты не проводят (такое бывает). Но при этом отсутствие знаний и практики а/б тестирования может быть препятствием на пути получения новой работы.

При этом самостоятельно практиковать навыки а/б тесты кажется невозможным, так как это требует наличие продукта, трафика и денег. Но я считаю, что можно.

Вот мои мысли:

1) Изучить теорию а/б тестирования

Для этого есть много бесплатной информации в виде курсов, статей. Также о практическом опыте проведения а/б тестов рассказывают Яндекс, Авито, Lamoda, Циан и другие компании. Подборка материалов есть тут.

2) Самостоятельно спланировать а/б тест

С этого момента уже начинается практика. Про планирование, дизайн а/б теста на этом моменте вы уже должны знать из теории. Можете выбрать любой существующий продукт/бизнес и попрактиковаться в планировании а/б теста для него.

Такое задание "спланировать эксперимент для нашего продукта", кстати, встречала в некоторых тестовых задачах на аналитика данных.

2) Реализация и запуск теста

Чтобы реализовать и запустить тест, используются различные платформы а/б тестирования. Если научитесь настраивать любую из них, то при необходимости быстро освоите и любую другую. У всех платформ для а/б тестирования есть собственные мануалы по использованию, которые помогут разобраться в настройке.

Платформы а/б тестирования с бесплатным планом: Google Optimize, в Яндекс Метрике также недавно появился инструмент а/б тестирования.

3) Анализ и интерпретация результатов

Это самое интересное, что (кажется) нельзя сделать без реального запуска а/б теста. Потому что только после завершения реального экперимента у вас будет набор данных, который можно анализировать.

Но это не так, так как в интернете много наборов данных по а/б тестированию. Вы можете брать любой и проводить анализ.

Например, на Kaggle есть специальные датасеты, где собраны данные по результатам а/б тестов по раличным сферам и продуктам. Там же во вкладке Code есть примеры от пользователей, если по началу вам нужен образец перед глазами. Примеры "для вдохновления" есть также по этой ссылке.

Таким образом вот полный цикл, как можно практиковать а/б тестирование.

Конечно, в реальном а/б тестирования могут возникать вопросы, которые в такой практике вы не увидите. Но базовое понимание и базовые навыки получите.

Если пост был полезен, поставьте 🔥.

Как учиться бесплатно на Coursera без привязки карты и пробных периодов?

Когда публикую в канале курсы на Coursera, поступают сообщения, что они не полностью бесплатны и имеют только 7-дневный бесплатный период и нужно привязать карту.

Это не так и курсы можно прослушать бесплатно без карты и пробных периодов и даже получить сертификат.

Для Coursera

1) Прослушать бесплатно без сертификата

- Вам нужно открыть курс и спуститься ниже, вы увидите подразделы (подкурсы).
- Откройте каждый такой раздел отдельно, просто нажав на этот раздел.
- Нажмите "Участвовать бесплатно"
- В открывшемся окне нажмите внизу (очень мелким шрифтом) "Прослушать курс" и "продолжить" (можно ничего не заполнять).
- Все, можете изучать курс бесплатно.

Если вы нажмете "Участвовать бесплатно" на главной странице курса, то там "Прослушать курс" вы не найдете. Нужно открывать именно каждый подкурс отдельно.

Если "Прослушать курс" не появился, то попробуйте с другого аккаунта. Так как Coursera проводит а/б тесты и у части "Прослушать курс" может не показываться.

Стоит отметить, что в данном случае сертификата не будет, но он и не нужен в большинстве случаев.

2) Получить курс бесплатно с сертификатом

Вы можете получить сертификат, если подадите на финансовую помощь (Financial Aid).

Coursera спонсирует учебу всем, кто не может позволить себе оплату курса или специализации. Еще в 2015 году они одобрили 100 тысячную заявку на финансовую помощь.

Возле большинства курсов есть мелким шрифтом “Доступна финансовая помощь”, после ее нажатия, вам предложат заполнить краткую анкету и описать причину запроса финансовой помощи. Заявление рассматривается до 16 дней.

Учитывайте, что в одном курсе несколько подкурсов и подавать на финансовую помощь нужно на каждый подкурс отдельно.

Полные условия получения Financial Aid, статья-гайд на Habr.

Никогда не пользовалась такой опцией, но в комментариях к посту был человек, который получал ее. И читала, что получают ее практически все, кто подает.

Для EdX

Скажу также про EdX. Здесь большинство курсов бесплатны, но за сертификат нужно заплатить. Поэтому если он вам нужен, также есть финансовая помощь.

EdX предлагает скидку до 90 % на сертификаты, помощь доступна на большинстве курсов. Схема получения схожа с Coursera и подробно описана на сайте EdX. Одобрение или отказ приходят в течении 2-4 дней.

Если у вас есть возможность оплатить - оплачивайте. Но если такой возможности нет - пользуйтесь бесплатно, тем более что вышеприведенные способы абсолютно легальны.

Новая библиотека Pandas AI делает анализ за аналитика

Появилась новая библиотека Pandas AI - надстройка над популярной библиотекой для анализа данных Pandas, использует для работы ИИ. Стоит ли ее пробовать?

Принцип работы: в редакторе кода задаете любой вопрос про данные на естественном языке и без написания кода получаете готовый ответ по вашим данным.

Например, если спросить про данные о зарплате: "Кто в компании зарабатывает больше?". Pandas AI ответит: "Оливия зарабатывает больше".

Вот еще примеры: пример использования библиотеки Pandas AI в Google Colab, пример запроса на визуализацию и ответ на картинке выше.

Как установить? Как и любую другую библиотеку, инструкции на github и в статье. Отличие в том, что вам понадобится ключ API OpenAI. API платное, да, но есть бесплатный период на 1 месяц без привязки карты.

По поводу безопасности данных - в случае подключения API Open AI клянется не использовать ваши данные для обучения.

Почему я не спешу устанавливать Pandas AI?

- Сами разработчики предупреждают, что весь фрейм данных каждый раз передается вместе с вопросом, поэтому решение не идеально для обработки больших наборов данных.

- Pandas AI дает готовый ответ без кода и пояснений. Сомнительно, правда? Мне кажется, разработчики не разобрались, кто является их целевой аудиторией.

- Можно спросить у ChatGPT почти тоже самое.

- API OpenAI платное.

А вообще сама идея мне нравится, но сейчас как всегда сыро и надо дорабатывать.

Если вы пробовали - поделитесь, как вам?