Детектив данных – Telegram
Детектив данных
2.46K subscribers
234 photos
4 videos
3 files
53 links
Канал про "Аналитику Данных" и мой путь в профессию.
Вкатился после 33
Ныне работаю BI аналитиком в "Комусе"
Бывший промышленный альпинист, военный юрист, оперуполномоченный, директор, торг представитель, супервайзер и даже HR BP.
Связь: @data_hunter_slc
Download Telegram
Бывший коллега прислал классику тестового задания на которое убилась неделя времени.
Кстати задание местами оказалось интересным, думаю будет небольшой эксель разбор некоторых блоков.

Приятно все таки променять вечерние дела и отдых, на "коллеги высоко оценили".
😭31🙈12😱8🤷‍♂5😁3💯3
В таком отпуске и не грех поработать.

Шучу, я чисто для кадра сфоткал)
👍20😱6🤩5🆒3💯1
Сад совсем скоро.
Первое сентября неизбежно.
Радость удаленной работы.
Тишина. Покой. Счастье.
23🔥14👍6😁4😎4😱3🐳2💯2🆒2
💰Все мы работаем конечно же за деньги и всё такое.

Но как же приятно, чёрт возьми, получать подобные сообщения от заказчиков после досрочного успешного закрытия проекта. 🐳

🎶 И как-то пятница сразу играет новыми красками)
🔥42👍8🐳5💯3😢1
Детектив данных
Photo
#Воспоминания:
🧦Пост для милениалов 35+

Утроился я в снежную королеву, моя вторая, хоть и не долгая работа аналитиком.

Первая неделя, молоденькая hr💃, назначает мне встречу вместе с другими новичками в компании. 👯‍♀👯‍♂

Идёт встреча, нам показали как выглядит на фото генеральный директор, все знакомятся, очередь доходит до меня и у меня спрашивают:
- Виталий, что Вы знаете о компании?
- Снежная королева, модные куртки справа и слева, есть подешевле, есть подороже, королевский выбор кожи! Метро Войковская, снежная королева.
-...

Вообще никто ничего не понял.
Ни hr, ни новые сотрудники.
И как с вами работать, дорогие зумеры?
Please open Telegram to view this post
VIEW IN TELEGRAM
😁80🤪9👍3🐳3🗿2💯1🤣1
📎Автоматизируем подготовку промтов для GPT: Python-функция для детального описания DataFrame

🕵‍♂️Следствие установило, что для получения качественного ответа (без загрузки базы в чат) часто приходится потратить довольно много времени на описание таблицы, где какой тип данных, примеры, формат, количество nan значений, диапазон дат и прочие нюансы.
Будто при допросе вместо описания преступника, следователь внимательно изучает все родинки у допрашиваемого лица. И у адвоката.
В качестве жертвы у нас рабочее время, которое можно потратить на описание задачи.

В какой то момент я подумал, а почему бы не сделать универсальную функцию которая будет собирать эту информацию за меня, и до кучи сразу писать какой-нибудь усредненный промт (обычно писать мне его лень, и вы можете его подкорректировать под себя)

⬇️ В общем вашему вниманию представляю эту функцию.

Всё что нужно, это вставить код в ячейку, и в следующей команде указать ваш датафрейм. Принт выведет вам готовый промт с описанием вашей таблицы, расскажет тип данных каждого столбца, покажет примеры значений, диапазоны и количество пропусков, а заодно проверит датафрейм на дубликаты.

Простой пример на основе календаря, но в функции учитываются и числа с точкой.
prompt = generate_df_prompt(calend, "calend")  # Второй аргумент имя таблицы
print(prompt)

Сама функция в первом комментарии к посту

✏️ А как вы готовите промты для анализа данных? Делитесь вашими лайфхаками в комментариях. И ставьте 🐳 если используете ИИ.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥15👍8🐳32🥰1
Детектив данных pinned «Приветствую всех участников группы! Меня зовут Виталий, и я рад поделиться с вами увлекательным путешествием в мир аналитики, Excel, SQL, Python через мой личный блог 📚 и небольшой YouTube канал! (Пост в ближайшее время будет редактироваться, создам расписание…»
Детектив данных
Неделю назад статья на Хабре по суперсету, а сегодня онлайн доклад в Комусе по самостоятельному ограничению доступа к данным на суперсет с помощью Jinja, без использования групп и ролей. Пока готовился и статейка небольшая насобиралась. Волнуюсь жуть. UPD:…
🕵‍♂️ С удивлением обнаружил свою статью на хабре, которую я не выложил в тг канал,
как в суперсете нестандартно выполнить фильтрацию данных не с помощью ролей, а с помощью джинджы, мы будем смотреть на логин пользователя, и уже на основании этого выставлять фильтр на уровне датасета.

https://habr.com/ru/articles/938924/

Про этот придуманный способ, я провёл своё первое выступление на мини кофе в Комусе почти год назад 📚
#хабр #superset
🔥12👍4🐳3
Я один так останавливаю код, или вы нормальные?
🤪14🫡7😁3🎃2🤝2🐳1
🕵‍♂️Сегодня питон поломал мне логику (снова)

Почему раунд(0) не округляет 2.5 до 3, а до 2 - и все вокруг молчат?
И вам всем нормально в пятницу вечером?
🙈

Ставь 🐳 если ты мидл который не знает как питон округляет числа

Банковское округление
Заходи в комментарий, чтобы прочитать почему.
🐳23🦄6😁5🤷‍♂31👍1
Forwarded from Виталий
📚 Есть такой замечательный канал Data-comics
И я буквально не понимаю как на него нельзя быть подписанным. Всё что я люблю - исследования, визуал и юмор конечно.

Есть большой шанс на небольшую совместную коллабу, в скором времени будут новости.

Ну и по традиции подборки постов с канала:
- Данные о мировом неравенства в виде ожерелья:
- Паттерны дашбордов
- Подборка материалов про применение АИ в датавизе -
- Данные о ДТП - в виде смертельных цветов
#рекомендации
👍7😁63🔥21🍌1
🕵‍♂ Сегодня у меня полтора года работы в Комусе.
Питон, sql, excel и Fine bi. Стали моими ежедневными друзьями, и я вспомнил как три года назад весной 2022 года, я вообще узнал о профессии аналитика данных.

Это было видео Андрея Noukash на Ютубе "Кем работать в айти на удалёнке?" которое и определило профессию в которую я решил вкатываться.
В 2022 году я ещё не знал, чем я буду заниматься, какую профессию выбрать и изредка баловался в Экселе, в эйфории от того, что знаю формулу ВПР.

В общем крутой канал, слежу четвертый год, а многие видео достойны чтобы их пересмотрели и по несколько раз, потому что даже через года не сильно потеряли свою актуальность, например:
Инструменты Ананалитика

🔍А когда и как вы первый раз узнали про профессию аналитика данных? Было бы круто почитать ваши истории.
#рекомендации #воспоминания
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥33👍8🙈32🐳1🤝1
1️⃣ Первый всероссийский конкурс по визуализации данных для детей

📎 А вот и коллаба о которой я говорил:
🤩 Пост для всех тех у кого есть дети (племянники) 6-11 лет.
🕵‍♂️ Буду в составе жюри и я рад участвовать в таком замечательном мероприятии!

Номинации:
Рисунок, Поделка, Диджитал

Сроки отправки работ:
до 30 октября

Что ждёт участников:
• крутые подарки - iPad, LEGO и ещё много всего классного
• обучающие эфиры, где диаграмму можно построить из игрушек или конфет (первый эфир на 20 минут уже в субботу)
• бонусы каждому ребёнку
• детский гайд по диаграммам при регистрации

Погнали вместе с детьми превращать сухие цифры в креатив!

Регистрация
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥10🔥7👍4👏2🐳2
Наконец-то нормальные исследования

🏃‍♂‍➡️ Арахис vs Молочный шоколад 🏃

Залетаем на конкурс, для детей 6-11 лет по визуализации данных

ПС: а кто нибудь объяснит почему в жёлтой упаковке больше коричневого, а в коричневой наоборот перекос в желтую?
😁27👍108🔥3🐳1😎1
Возвращаюсь к вам с крутой рекомендацией — канал «Зачем мне эта математика» от Яндекс Образования 🧩

Авторы пишут про применение математики в реальных задачах: от архитектуры и искусства до машинного обучения и аналитики. Команда доступно объясняет и показывает, как строгая наука работает в реальных кейсах.

Эти посты показались мне особенно полезными:

- метрики и правила, которым они подчиняются
- линейная регрессия в работе ML-моделей
- откуда к нам пришли знаки =, +, –

А еще редакция регулярно публикует задачки для разных уровней: есть и попроще, и посложнее. Главное — всегда можно прочитать подробное решение и обсудить его в комментах.

Читайте, прокачивайте мозги и замечайте больше математики в повседневности!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥5🐳51
😴Новый навык разблокирован

Я сопротивлялся этому.
Я избегал это.
И сегодня я сдался.
Сегодня я открыл для себя бездну.

Power Pivot

Нужно было дать бизнесу сводную, в привычном формате, но количество строк стремилось к 10 млнам 🫡

Я сначала упорно строил сводные на питоне, и давал данные в агрегированном виде, но запрос был, чтобы фильтрация работала.
Раньше в подобных случаях я делал мини датасет на файне, в целом нормальная замена, но не самая быстрая. И хорошо работает если будет периодичность, и для разового запроса городить меры и новую таблицу на хд не хотелось.

Выход:
сохраняем данные в ткст, привязываем к Экселю как источник данных, добавляем в модель данных, и упарываемся в DAX который на первый взгляд больше похож на Файн биай, чем на Эксель.
Размер файла улетает в космос, но сводные строются, все корректно считается

➡️ В целом плюс строчка в резюме - специалист с опытом 5 лет, а там разберемся 😁

Ставьте 👍 если используете power Pivot в работе. Пишите комментарии
Ставьте 🙈 если из принципа не используете эксель и все что с ним связано.
Ставьте 🐳 если вы ничего не понимаете

PS: Уже ищу курсы, которые оплачу и брошу после трёх лекций 🫥
Please open Telegram to view this post
VIEW IN TELEGRAM
👍35🐳32🔥76🙈6🤯2😱2🫡2
⬆️Продолжение

➡️DAX НЕ НУЖЕН
➡️СВОБОДУ АНАЛИТИКАМ
➡️МОДЕЛИ ДАННЫХ В EXCEL ПЕРЕОЦЕНЕНЫ*

роме моментов чтобы удобно и быстро посчитать в сводной "число разных элементов"


Сегодня утром перегрузил данные, добавил пару полей, Захожу в квери, проверил тип столбцов и понимаю, что в целом можно всю эту махину (с увеличенным количеством строк) загрузить без галки "загрузить в модель данных"
И да - всё заработало. И вычисляемое поле сводной таблицы активно, привычный синтаксис экселя, без лишних агрегативных функций, и пара миллионов строк под капотом

Ну всё думаю, можно писать пост опровержение - и написал его

⬇️
Довольный, создал нужные мне поля
построил сводную, накинул срез, включил и.....
📉Быстродействие...
как бы я не хотел этого видеть - я не смог это игнорировать.
с моделью и DAX'ом таблица работала куда шустрее 📈
пришлось переключаться обратно на модель

👎Так что поста-опровержения не получилось)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥15👍10🐳5
🍺 На днях залил сладким газированным напитком свою любимую клавиатуру Leopold FC900R на ультра тихих свичах и как следствие получил залипающие клавиши и в целом невозможностью печатать. 😱

😥 Самостоятельная чистка не помогла, и клавиатуру решил отдать на полноценную чистку, тем более за пару лет, вид у неё подустал. Позвонил в geekboards (не реклама), где я клавиатуру и покупал. Мне сказали везите - 2400 и мы спасём вашу клавиатуру за пару дней чистки и сушки, будет как новая.
По приезду в магазин, спросил могут ли они дать что-нибудь на замену, пока идёт чистка, мне ответили "легко" и бесплатно предложили модный последние пару лет 60% формат клавиатуры. "А и давай" - подумал я, оценив доброжелательность сотрудника магазина.😉

📎 Уж без цифрового блока я как нибудь поживу пару дней, люди то пользуются. Первое впечатление, вроде прикольно, чуть неудобно, но в целом и ладно. Чтобы нажать F4 нужно дополнительно зажать функциональную клавишу и использовать обычные верхние цифры. "Терпимо" - подумал я. До того момента когда мне не понадобились стрелки:
🫦 Тут их нет!
Первая мысль: "дооптимизировались!"

🧐 В общем чтобы включить стрелки - нужно тоже нажать на функциональную клавишу, и клавиши правее пробела превращаются в стрелки.

🥸 Я всё понимаю - но это было мучение. И как люди идут на это добровольно!
Помню кучу клавиатур перерыл, чтобы найти 100% блютус формат механики, очень уж люблю когда есть нампад, но избавится от стрелок- по моему это уже противоречит здравому смыслу)

👀 Очень интересно посмотреть на ваши клавиатуры, слышал что большинство пользуются клавиатурами ноутбуков! Удобство или привычка?

📱 Кидайте ваши печатные машинки в комментарии!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
4👀4👍3😁3🔥2🐳1👨‍💻1