В дополнение к предыдущему посту, поделюсь ещё одним способом использовать ChatGPT в обход официального интерфейса от OpenAI

Антон Жиянов (@dangry) сделал замечательную библиотеку Pokitoki, которая позволяет поднять своего бота с ChatGPT в Телеграме. Её к тому же можно подключать к групповым чатам в Телеге, чтобы можно было обращаться к боту сразу из группового чатика

Всё, что требуется:
- Ключ OpenAI API (можно взять свой или купить, пользуясь инструкцией из предыдущего поста)
- Сервер
- Сделать клон репозитория на сервер
- Запустить бота из докера

Кстати, если вы не знаете как создать сервер, клонировать репозиторий на сервер или поднять на сервере сборку из докера, то спросите у ChatGPT. Он с подобного рода вопросами справляется «на ура» 🙃

Наткунлся на статью про экономику больших языковых моделей (LLMs)

Что интересного:

💰 LLM-поиск уже экономически целесообразен: ориентировочно, стоимость LLM-поиска составляет всего ~15% от оценочной рекламной выручки с одного запроса сегодня, сверх существующих затрат на поиск

🤔 Однако экономическая целесообразность не означает экономическую разумность: для крупных поисковиков с $100 млрд выручкой от поиска добавление такого функционала может обойтись в $10 млрд дополнительных издержек

📈 Другие LLM-проекты высокоприбыльны: например, Jasper.ai , который недавно был оценен в 1,5 миллиарда долларов и использует LLM для генерации текстов, берет с пользователя примерно 82 доллара за 100 тысяч слов (эквивалент ~ 1,09 доллара за 1000 токенов). При использовании API от OpenAI по цене 0,02 доллара за 1000 токенов прибыль значительно превысит 75%

🏭 Обучение LLM (даже с нуля) не требует колоссального бюджета для крупных компаний: обучение GPT-3 обойдется в ~$1.4 млн в публичном облаке, а даже самые передовые модели, вроде PaLM, стоят ~$11.2 млн

⬇️ Стоимость LLM скорее всего значительно снизится: затраты на обучение и вывод модели с производительностью, сравнимой с GPT-3, упали на ~80% с момента выхода GPT-3 2,5 года назад

🔐 Ограничивающим фактором для LLM становятся данные: увеличение количества параметров модели может дать меньший эффект по сравнению с увеличением размера высококачественного набора обучающих данных

Текст статьи: https://sunyan.substack.com/p/the-economics-of-large-language-models

🚀 Поговорим немного про важность насмотренности на тестовые (mock) собеседования для джуниор-специалистов при трудоустройстве на позиции аналитика данных и data scientist.

❗️ Тестовые собеседования - это отличный способ подготовиться к реальным интервью, понять свои сильные и слабые стороны и узнать о ключевых аспектах, на которые следует обратить внимание во время реального собеседования.

🎯 Смотря такие собеседования, можно оценить свой уровень знаний и точно знать, что нужно улучшить для успешного прохождения интервью. 🚀

Я собрал список полезных видео с тестовыми собеседованиями на разные позиции в сфере работы с данными :

🔹 Тестовое собеседование на позицию Junior Data Analyst

🔹 Собеседование на позицию аналитика данных

🔹 Собеседование на позицию продуктового аналитика

🔹 Собеседование на позицию Data Scientist

🔹 Собеседование на позицию Junior Data Scientist

🌟 Успешного прохождения собеседований и карьерного роста! 🐝

Запись вебинара «Коллективное использование аналитики в Yandex DataLens»

На вебинаре Роман Бунин, BI-евангелист Yandex DataLens и автор Telegram-канала Reveal the Data, поделился паттернами проектирования системы дашбордов и организации контента для компаний разного размера. Роман разобрал как теорию, так и практические советы по разработке системы отчётности в Yandex DataLens.

Темы для обсуждения:
🔹 права, доступы и сохранение нужного уровня безопасности;
🔹 работа и настройка доступа на уровне строк (RLS) в Yandex DataLens;
🔹 карта и система дашбордов для подразделений;
🔹 типы дашбордов и почему важно их разделять;
🔹 настройка кросс-ссылок между дашбордами;
🔹 будущая система управления контентом.

Ссылка на запись вебинара

Запись вебинара «Потоковый анализ данных с использованием serverless-технологий»

Анализ данных — не всегда про тяжеловесные корпоративные системы. Оперативная аналитика данных нужна для событий безопасности, алертинга в приложениях, реакции на действия пользователей.

На вебинаре рассказывается о подходах к построению систем потокового анализа с помощью serverless-сервисов Yandex Cloud, на реальных примерах показано, как сократить издержки на разработку таких систем и ускорить их внедрение.

Вы узнаете, как решать бизнес-задачи, не тратя при этом ресурсы на обслуживание инфраструктуры. На вебинаре рассматривается использование сервисов:
* Yandex Data Streams;
* Yandex Query;
* Yandex API Gateway;
* Yandex Cloud Functions.

Запись вебинара

Для всех, кто интересуется AI, нейронными сетями, машинным обучением, - мы собрали папку с материалами, как для новичков, так продвинутых датасаентистов.

Мы с авторами известных каналов, на каждый из которых я подписан более года подготовили для вас вот эту прекрасную ссылку: https://news.1rj.ru/str/addlist/2Ls-snqEeytkMDgy

Полезные материалы от разбора алгоритмической базы до продвинутых гайдов по нейроесетям, лайфаками с кодом.

Сохраняйте себе и отправляйте друзьям, в этой подборке каждый найдет что-то для себя: https://news.1rj.ru/str/addlist/2Ls-snqEeytkMDgy

Принёс вам подборку каналов и чатов с вакансиями для аналитиков, data scientists и дата-инженеров

🟢 Datalytics Jobs — Канал с вакансиями для DA, DS, DE
🟢 Работа ищет аналитиков — Пожалуй, самый большой чат с вакансиями для аналитиков. Не только вакансии, но и чат, где можно обсудить наболевшие вопросы
🟢 Business Intelligence HeadHunter — Вакансии для BI-аналитиков и не только
🟢 Job for Analysts & Data Scientists — Вакансии для Digital-аналитиков и Data scientists от NewHR

Ещё больше каналов доступно в папке — https://news.1rj.ru/str/addlist/5bF19kBJLrI0NTQy

Привет!
Предлагаем вашему вниманию подборку интересных статей из области Анализа данных:

▪︎ Какая бывает аналитика: предиктивная, описательная и еще 2 вида аналитики больших данных
▪︎ 10+ книг по аналитике данных для начинающих и не только
▪︎ Анализ больших данных в Excel: используем сводную таблицу для работы с BigQuery, Snowflake и ClickHouse
▪︎ Технологии big data: как анализируют большие данные, чтобы получить максимум прибыли
▪︎ Что такое бессерверный SQL? И как использовать его для анализа данных?
▪︎ 30 лучших инструментов больших данных для анализа данных
▪︎ БАЗОВЫЕ ВОЗМОЖНОСТИ ЯЗЫКА PYTHON ДЛЯ АНАЛИЗА ДАННЫХ
▪︎ Как создать простой SQL запрос на выгрузку данных из базы
▪︎ Сбор, консолидация и анализ данных - "Бизнес-аналитика и KPI"
▪︎ Тест Шапиро-Уилка является тестом на нормальность
▪︎ Факторный анализ для интерпретации исследования клиентского опыта
▪︎ Почему ваш анализ данных может быть обречен с самого начала
▪︎ Что читать аналитику данных: 7 современных книг для начинающих специалистов

❗️Ещё больше полезной информации про сбор, анализ и обработку данных, смотрите на канале: @data_analytics_it

Как аналитику выгружать большие датасеты? Как исправлять ошибки настройки памяти? И когда нужна выгрузка через консоль?

На эти и другие вопросы отвечает Александр Ледовский — тимлид команды аналитики и DS, который строит рекламные аукционы в Авито. В своем гайде он подробно рассказывает, как выгружать данные через toPandas и когда лучше воспользоваться его альтернативами.

👉 Если вы периодически работаете с большими датасетами, такая инструкция вам просто необходима: подробно описанный путь, подводные камни и рекомендации опытного специалиста. Жмите по ссылке и пользуйтесь!

Решил записывать свои мысли о рабочем и не только в формате видео.

Начну с темы рабочих созвонов и того, что часто на них бывает много людей, но не все из них нужны для продуктивной встречи

Открыт к комментариям, лайкам и подпискам)
#простые_мысли

Хорошая карта компетенций для аналитиков в Авито

Карты компетенций позволяют понять какие требования предъявляются к аналитикам данных на разных уровнях. Можно понять какие навыки и качества необходимы для достижения каждого уровня

Обычно рост по карьерной лестнице внутри компании предполагает, что для того, чтобы перейти на следующий уровень, необходимо выполнить определенные условия. Например, для перехода от Junior до Middle необходимо провести исследование уровня Middle и получить значимый результат, а для перехода от Middle до Senior необходимо выполнить аналитический проект уровня Senior или запустить аналитический продукт, систему или фичу в рамках OKR-инициативы продуктовой команды

Отдельно описан менеджерский трек, который предполагает умение работать в команде, разницу в зонах ответственности, подходы к мотивации команды, умение управлять аналитикой как функцией

По моим наблюдениям, у аналитиков на рынке не всегда есть понятная картинка как расти в карьере. Такие документы — полезная штука для формирования представления о карьерном росте и необходимых критериях внутри организации

https://github.com/avito-tech/playbook/blob/master/analytics-levels.md

Я выступал на конференциях и митапах и публичные выступления для меня это не что-то новое

Но вот формат начинать «что-то говорить ртом» на камеру без особой подготовки и выкладывать это в эти ваши интернеты — это прям интересно и ново, но вместе с тем тревожно. Так что чтобы снизить градус тревожности, я решил сначала попросить ChatGPT почелленджить мою точку зрения, чтобы быть психологически готовым к мнениям других

Об этом и рассказываю в следующем видео под тегом #простые_мысли

Конечно, это не подготовило меня к контраргументам про мою внешность, но это уже совсем другая история 😂

Всем привет! Меня зовут Алексей Макаров, я автор этого канала

Сейчас я занимаюсь исследованием сложностей и проблем, с которыми сталкиваются специалисты в сфере анализа данных. В рамках этого исследования я хочу провести опрос, который позволит мне лучше понять, с какими трудностями вы сталкиваетесь чаще всего.

Опрос задуман в формате парного выбора из списка высказываний о сложностях, с которыми могут столкнуться аналитики данных. Вам будет предложено выбрать одну сложность из пары, которая кажется вам наиболее актуальной или остро стоящей в вашей карьере.

Я уверен, что исследование этих вопросов позволит мне эффективнее подойти к разработке ресурсов и материалов, которые смогут облегчить вашу работу и решение возникающих трудностей.

Для участия в опросе просто переходите по ссылке. Всего будет 14 вопросов, заполнение займет примерно 5-7 минут. Никакие персональные данные не собираются. Заранее благодарю вас за предоставленное время и содействие! Ваши ответы помогут улучшить качество поддержки и помощи специалистам по анализу данных в будущем.

https://forms.gle/CzLoNhfD4SSVRU6S6

По поводу опроса прилетела обратная связь от нескольких участников о том, что дизайн опроса с парным сравнением — странно и непривычно, а местами даже неудобно.

Это действительно необычно: такие опросы чаще реализуют через множественный выбор. Это можно сказать мой эксперимент, как мне кажется, парное сравнение решает несколько задач:

1️⃣ Парный выбор позволяет определить относительную важность и актуальность различных сложностей, с которыми сталкиваются респонденты, при этом уделить внимание каждому вопросу, избежав селективного восприятия. Если показать весь список — значимыми могут стать те проблемы, которые расположены в начале списка.

Я понимаю, что при этом для кого-то пара предложенных проблем может быть одинаковой важности или одинаковой неважности. Я рекомендую выбирать ту сложность из пары, которая более всего затрагивает вас на текущий момент или которая кажется вам наиболее значимой. Если ни одна из предложенных сложностей не является проблемой для вас, я бы попросил выбирать ту, которая, по вашему мнению, может стать проблемой для других аналитиков данных (например, ваших коллег). Либо если проблемы для вас одинаково неважны, то можно скипнуть вопрос.

2️⃣ Другой причиной использования парного выбора в этом опросе является снижение когнитивной нагрузки на участников. Процесс принятия решения облегчается при ограничении альтернатив до двух вариантов. Если бы я предложил респондентам оценивать или ранжировать все сложности из длинного списка, это могло бы вызвать значительную когнитивную усталость и снизить качество получаемых данных. Парный выбор позволяет сосредоточиться на сравнении двух конкретных сложностей, что делает процесс принятия решения более точным и менее утомительным.

3️⃣ И ещё один важный момент — вовлеченность и желание пройти до конца. При попарном сравнении, когда пара вопросов показывается на одном экране, а следующие вопросы не видны сразу, у участников возникает больше мотивации пройти опрос (плюс в этом помогает индикатор прогресса), чтобы ознакомится со всеми вариантами. Есть гипотеза, что если бы я показывал их все сразу, то больше людей бы отваливалось увидев 28 вопросов и испугавшись, что придется потратить некоторое количество времени на вдумчивую оценку.

Если у вас есть идеи/предложения как можно было бы ещё организовать такой опрос — буду рад прочитать их в комментариях.

Кстати, результатами опроса я обязательно поделюсь в канале.