ChatGPT в массы!

OpenAI только что написали, что теперь ChatGPT доступна по API, то есть каждый разработчик может добавить её в своё приложение буквально за один вечер. Из интересного - пишут, что с декабря достигли 90% снижения трат через разные оптимизации.
Цена в 10 раз ниже самой мощной GPT-3.5, которая была доступна для этого. Вероятнее всего, модель уменьшили в размерах (то есть это может быть условно не 175B, а 6.7B модель, которая тоже очень неплоха).

Еще объявили о нескольких интеграциях, например, в Quizlet -сервис, способствующий обучению и изучению новых тем. Теперь будет доступен персональный AI-преподаватель, который подскажет и объяснит.

Instacart позволить покупателям задавать вопросы о еде («Как приготовить рыбные тако?» или «Предложи здоровый обед для моих детей») и получать вдохновляющие ответы, содержащие ссылки на товары, которые можно купить в один клик. Пока из того что видел - первая подобная интеграция, некоторого рода "продукт-плейсмент". Вижу применение этого и в поисковых чатботах - когда в выдачу подмешиваются ссылки, за которые заплатили.

Техническая инфа: теперь для запроса в модель нужно указывать не только текст для продолжения, но и дополнительные штучки - их перечень сведён в Chat Markup Language (“ChatML”). В частности, предполагаются "роли", так как модель была заточена под диалог - есть AI-ассистент, который пишет ответы, и есть "человек", пишущий сообщения с вашей стороны.

И напоследок важное:
> Data submitted through the API is no longer used for service improvements (including model training) unless the organization opts in

Теперь данные клиентов не будут использоваться для дообучения в будущем!

Быстрый тест: если думаете, что знаете в продакт-аналитике все — вы точно еще мидл

Если серьезно, определить, что пора идти на позицию повыше, сложно. А эйчары в процессе найма вряд ли намекнут, что готовы вам дать оффер побольше.

Но тут Авито на Хабре рассказали, как они отличают аналитиков-мидлов от сеньоров и что стоит подтянуть перед собесом (спойлер: не только штаны).

А еще держите ссылку на матрицу скиллов по грейдам.

В дополнение к предыдущему посту, поделюсь ещё одним способом использовать ChatGPT в обход официального интерфейса от OpenAI

Антон Жиянов (@dangry) сделал замечательную библиотеку Pokitoki, которая позволяет поднять своего бота с ChatGPT в Телеграме. Её к тому же можно подключать к групповым чатам в Телеге, чтобы можно было обращаться к боту сразу из группового чатика

Всё, что требуется:
- Ключ OpenAI API (можно взять свой или купить, пользуясь инструкцией из предыдущего поста)
- Сервер
- Сделать клон репозитория на сервер
- Запустить бота из докера

Кстати, если вы не знаете как создать сервер, клонировать репозиторий на сервер или поднять на сервере сборку из докера, то спросите у ChatGPT. Он с подобного рода вопросами справляется «на ура» 🙃

Наткунлся на статью про экономику больших языковых моделей (LLMs)

Что интересного:

💰 LLM-поиск уже экономически целесообразен: ориентировочно, стоимость LLM-поиска составляет всего ~15% от оценочной рекламной выручки с одного запроса сегодня, сверх существующих затрат на поиск

🤔 Однако экономическая целесообразность не означает экономическую разумность: для крупных поисковиков с $100 млрд выручкой от поиска добавление такого функционала может обойтись в $10 млрд дополнительных издержек

📈 Другие LLM-проекты высокоприбыльны: например, Jasper.ai , который недавно был оценен в 1,5 миллиарда долларов и использует LLM для генерации текстов, берет с пользователя примерно 82 доллара за 100 тысяч слов (эквивалент ~ 1,09 доллара за 1000 токенов). При использовании API от OpenAI по цене 0,02 доллара за 1000 токенов прибыль значительно превысит 75%

🏭 Обучение LLM (даже с нуля) не требует колоссального бюджета для крупных компаний: обучение GPT-3 обойдется в ~$1.4 млн в публичном облаке, а даже самые передовые модели, вроде PaLM, стоят ~$11.2 млн

⬇️ Стоимость LLM скорее всего значительно снизится: затраты на обучение и вывод модели с производительностью, сравнимой с GPT-3, упали на ~80% с момента выхода GPT-3 2,5 года назад

🔐 Ограничивающим фактором для LLM становятся данные: увеличение количества параметров модели может дать меньший эффект по сравнению с увеличением размера высококачественного набора обучающих данных

Текст статьи: https://sunyan.substack.com/p/the-economics-of-large-language-models

🚀 Поговорим немного про важность насмотренности на тестовые (mock) собеседования для джуниор-специалистов при трудоустройстве на позиции аналитика данных и data scientist.

❗️ Тестовые собеседования - это отличный способ подготовиться к реальным интервью, понять свои сильные и слабые стороны и узнать о ключевых аспектах, на которые следует обратить внимание во время реального собеседования.

🎯 Смотря такие собеседования, можно оценить свой уровень знаний и точно знать, что нужно улучшить для успешного прохождения интервью. 🚀

Я собрал список полезных видео с тестовыми собеседованиями на разные позиции в сфере работы с данными :

🔹 Тестовое собеседование на позицию Junior Data Analyst

🔹 Собеседование на позицию аналитика данных

🔹 Собеседование на позицию продуктового аналитика

🔹 Собеседование на позицию Data Scientist

🔹 Собеседование на позицию Junior Data Scientist

🌟 Успешного прохождения собеседований и карьерного роста! 🐝

Запись вебинара «Коллективное использование аналитики в Yandex DataLens»

На вебинаре Роман Бунин, BI-евангелист Yandex DataLens и автор Telegram-канала Reveal the Data, поделился паттернами проектирования системы дашбордов и организации контента для компаний разного размера. Роман разобрал как теорию, так и практические советы по разработке системы отчётности в Yandex DataLens.

Темы для обсуждения:
🔹 права, доступы и сохранение нужного уровня безопасности;
🔹 работа и настройка доступа на уровне строк (RLS) в Yandex DataLens;
🔹 карта и система дашбордов для подразделений;
🔹 типы дашбордов и почему важно их разделять;
🔹 настройка кросс-ссылок между дашбордами;
🔹 будущая система управления контентом.

Ссылка на запись вебинара

Запись вебинара «Потоковый анализ данных с использованием serverless-технологий»

Анализ данных — не всегда про тяжеловесные корпоративные системы. Оперативная аналитика данных нужна для событий безопасности, алертинга в приложениях, реакции на действия пользователей.

На вебинаре рассказывается о подходах к построению систем потокового анализа с помощью serverless-сервисов Yandex Cloud, на реальных примерах показано, как сократить издержки на разработку таких систем и ускорить их внедрение.

Вы узнаете, как решать бизнес-задачи, не тратя при этом ресурсы на обслуживание инфраструктуры. На вебинаре рассматривается использование сервисов:
* Yandex Data Streams;
* Yandex Query;
* Yandex API Gateway;
* Yandex Cloud Functions.

Запись вебинара

Для всех, кто интересуется AI, нейронными сетями, машинным обучением, - мы собрали папку с материалами, как для новичков, так продвинутых датасаентистов.

Мы с авторами известных каналов, на каждый из которых я подписан более года подготовили для вас вот эту прекрасную ссылку: https://news.1rj.ru/str/addlist/2Ls-snqEeytkMDgy

Полезные материалы от разбора алгоритмической базы до продвинутых гайдов по нейроесетям, лайфаками с кодом.

Сохраняйте себе и отправляйте друзьям, в этой подборке каждый найдет что-то для себя: https://news.1rj.ru/str/addlist/2Ls-snqEeytkMDgy

Принёс вам подборку каналов и чатов с вакансиями для аналитиков, data scientists и дата-инженеров

🟢 Datalytics Jobs — Канал с вакансиями для DA, DS, DE
🟢 Работа ищет аналитиков — Пожалуй, самый большой чат с вакансиями для аналитиков. Не только вакансии, но и чат, где можно обсудить наболевшие вопросы
🟢 Business Intelligence HeadHunter — Вакансии для BI-аналитиков и не только
🟢 Job for Analysts & Data Scientists — Вакансии для Digital-аналитиков и Data scientists от NewHR

Ещё больше каналов доступно в папке — https://news.1rj.ru/str/addlist/5bF19kBJLrI0NTQy

Привет!
Предлагаем вашему вниманию подборку интересных статей из области Анализа данных:

▪︎ Какая бывает аналитика: предиктивная, описательная и еще 2 вида аналитики больших данных
▪︎ 10+ книг по аналитике данных для начинающих и не только
▪︎ Анализ больших данных в Excel: используем сводную таблицу для работы с BigQuery, Snowflake и ClickHouse
▪︎ Технологии big data: как анализируют большие данные, чтобы получить максимум прибыли
▪︎ Что такое бессерверный SQL? И как использовать его для анализа данных?
▪︎ 30 лучших инструментов больших данных для анализа данных
▪︎ БАЗОВЫЕ ВОЗМОЖНОСТИ ЯЗЫКА PYTHON ДЛЯ АНАЛИЗА ДАННЫХ
▪︎ Как создать простой SQL запрос на выгрузку данных из базы
▪︎ Сбор, консолидация и анализ данных - "Бизнес-аналитика и KPI"
▪︎ Тест Шапиро-Уилка является тестом на нормальность
▪︎ Факторный анализ для интерпретации исследования клиентского опыта
▪︎ Почему ваш анализ данных может быть обречен с самого начала
▪︎ Что читать аналитику данных: 7 современных книг для начинающих специалистов

❗️Ещё больше полезной информации про сбор, анализ и обработку данных, смотрите на канале: @data_analytics_it

Как аналитику выгружать большие датасеты? Как исправлять ошибки настройки памяти? И когда нужна выгрузка через консоль?

На эти и другие вопросы отвечает Александр Ледовский — тимлид команды аналитики и DS, который строит рекламные аукционы в Авито. В своем гайде он подробно рассказывает, как выгружать данные через toPandas и когда лучше воспользоваться его альтернативами.

👉 Если вы периодически работаете с большими датасетами, такая инструкция вам просто необходима: подробно описанный путь, подводные камни и рекомендации опытного специалиста. Жмите по ссылке и пользуйтесь!