Делаю BI – Telegram
Делаю BI
386 subscribers
104 photos
1 video
41 links
Рассуждаю про BI
Размышляю про ценность BI
Собираю мемасики про BI


О себе: TL Core BI Авито
@astigo
Download Telegram
Ну а пока меня забанили в linkedin (да, такое тоже бывает если из-под впн забыть закрыть страницу с лентой - то она начинает обновляться и линк думает что я бот который накручивает просмотры) можно подвести итоги 2024 года в линке.
Ребята из cleve.ai сделали сервис с визуализациями в git-like стиле для подведения итогов "блогерства" в ликедине - в кавычках потому что я тот еще блогер😁
На графике отчетливо видно как падает мой энтузиазм что-то писать к концу года)
В 2025 году буду чаще радовать мир репостами настоящих блогеров интересным контентом= )
🔥4
Женя Мичурин написал классную статью про свой классный инструмент, который он сделал для всех аналитиков Авито) Регулярно пользуюсь и вам советую (устраиваться в Авито и пользоваться😁
Если вкратце, то это система навигации по отчетности компании для пользователей, что очень полезно как для аналитиков так и для конечных пользователей отчетности

https://vc.ru/avito/1729661-kak-my-v-avito-sdelali-kartu-dashbordov-i-izbavilis-ot-haosa-v-otchetah
🥰5🔥31
О, моя любимая пирамида на фоне неба (в этот раз небо желтое правда, стопроцентной отсылки не получилось)

https://habr.com/ru/specials/863290/
👍3
А я оказывается точен глазомером= )
Забавная игра, где надо найти "на глазок" центр окружности, построить параллелограмм, найти центр масс треугольника и так далее. Дается три попытки на каждое из 7 упражнений и оценивается ошибка попадания
🔥21👌1
Всем привет) Мой хороший товарищ (не из Авито) попросил поделиться вакансией. Он ищет аналитика по названию, но BI разработчика по сути.

Требуется аналитик в сфере работы с инфраструктурой. Компания занимается комплексным развитием среды проживания, входит в топовые рейтинги работодателей.
Формат работы - офис в Москве, возможен гибрид 2/3. Полностью белое оформление.
Уровень ЗП: 200 тыс. руб. на руки + бонусы

Что ждем:
Опыт работы с SQL (PostgreSQL)
Понимание теории СУБД
Опыт работы построения и поддержки дашбордов PowerBI
Excel, Pivot, PowerQuery, Visio на продвинутом уровне

Что надо будет делать:
Анализ и сопоставление данных в сфере ЖКХ
Сбор требований и разработка аналитических справок, отчетности, презентаций
Развитие автоматизации проверок качества данных
Написание концепций по доработкам

Все не влезло, дополнюю в комментах

Картинка как всегда потому что я люблю нейрогаллюцинации на тему биайщиков= )
❤‍🔥1
Сегодня открыл для себя очень интересного автора в Tableau Public - Ellen Blackburn . К сожалению, в redash с помощью штатных инструментов не получится повторить примеры на скриншоте (замечу, что можно заморочиться и сделать что-то близкое в python и добавить на дашборд в редаше). Но главное не это, предлагаю вам просто походить по ее профилю и вдохновиться на используемые палитры (палитры то никто не мешает делать красиво в любом инструменте).
🔥21
Хочется пересмотреть бегущего

- Ваша контрольная фраза
- Кроваво-черные правки от заказачика, поступили в пятницу вечером. Правки, непонятные и бессмысленные. И ужасающе явственно на фоне тьмы ввысь белым бил фонтан..
- Вы рисуете графики?
- Развитие системы отчетности и разработка дашбордов.
- Дашбордов.
- Дашбордов.
- Что вы чувствуете когда смотрите на RU BI? Дашборды.
- Дашборды.
- Вас учили взаимодействию со стейкхолдерами? Дашборды.
- Дашборды.
- Как вы им помогали? Дашборды.
- Дашборды.
- Data governance?
- Data governance.
- Что вы чувствуете держа за руку того кого любите? Стайлгайд.
- Стайлгайд.
- Знаете гештальт принципы? Дашборды.
- Дашборды.
- Вы жаждете построить Data governance? Дашборды.
- Дашборды.
- Вам снится кастдев? Datamart.
- Datamart.
- Что вы думаете, когда заходите в Miro? Data governance.
- Data governance.
- Вы чувствуете, что вам чего-то не хватает на текущей работе?
- Datamart.
- Правки в пятницу вечером.
- Правки в пятницу вечером.
- Повторите три раза "Правки в пятницу вечером"
- Правки в пятницу вечером. Правки в пятницу вечером. Правки в пятницу вечером.
😁8👍1
По крайней мере мы точно знаем о каком тысячелетии речь
😁8
Уже второй год работаю в Авито. И недавно пытался вспомнить, а как же давно я с Авито как пользователь - и отправился искать в базе (а потом обнаружил что мог не включать аналитика а просто посмотреть в разделе "Управление профилем" личного кабинета) Оказывается, я пользуюсь Авито как пользователь уже на протяжении 14 лет (с ноября 2010 года) - когда это еще не было мейнстримом так сказать= )

И в какой-то момент я начал обращать внимание на то, что если я что-то не могу найти на Авито, надо просто пару дней пообновлять рекомендации и нужный мне товар или услуга найдется, немного не такое как я искал (а иногда вообще не такое как я искал). Иногда вообще возникает чувство что Авито лучше знает что мне нужно)

Каким же для меня открытием было, что есть конкретные специалисты, которые делают Авито таким сообразительным и залипательным, и имя им дата сайентисты (ребят, не пинайте - я знаю что рекомендации это только один из множества продуктов где они участвуют). Ну и собственно к чему подводка - Авито активно развивает это направление и нанимает новых DS.

Вас ждет продукт с 50+ миллионами пользователей в месяц, удаленка по всей России, сильное IT-комьюнити, которое любит опенсорс, а также возможность попасть в одну из пяти команд.

Использовать опыт в Big Data можно на одном из масштабных проектов:

развивать умный алгоритм проверки объявлений;
внедрять ML-модели в процессы монетизации;
писать микросервисы для улучшения поискового ранжирования;
оказывать DS-поддержку всем командам Авито.
Ищите точки роста бизнеса и развивайте крупнейший в мире сервис объявлений! Пройдите ускоренный отбор и выходите на работу уже в начале марта.

Как говорится "У самурая нет цели, ссылка туть"
4🔥1😁1
Быший коллега скинул отличный пример использования правила близости в форматировании таблиц. Обратите внимания насколько проще стало соотносить абсолютные и процентные значения друг с другом, но при этом значения в соседних колонках не слипаются, как если бы мы отформатировали одну колонку от левого края а другую от правого.
Если что речь идет о принципах гештальта в визуализации)
👍7
Заказчик - А давай визуализируем наши процессы
Тем временем процессы:
😁6🤣2🔥1
Нашел в старых заметках классную статью про корректный выбор градиентов. Рекомендую к использованию, чтобы не сваливаться в цветовое пюре в середине градиентной шкалы= )
👍5❤‍🔥2🔥1
Сижу, читаю свой код и пытаюсь разобраться "что имел ввиду автор и почему в комнате синие шторы". Промежуточный (хоть и банальный) вывод - комментариев к коду никогда не бывает мало...
😁11
Открывем поиск нового middle BI разработчика в мою команду (Core BI Avito). Если вкратце - надо будет делать дэши для топов компании, кросс-функциональных дэши для всего Авито и вносить свой вклад в развитие BI и его процессов всей компании. Вобщем делать прекрасное и полезное)
В чем интерес?
1) Делать ключевую отчетность для менеджмента и аналитиков.
2) Стоять у истоков развития крутого BI, который мы сейчас реализуем под руководством нашего Head of BI Саши Баракова (думаю вы знаете его в том числе по каналу Data Nature)
Подробное описание можно посмотреть на нашем карьерном портале или поспрашивать меня в личке @astigo
9🆒1
Если вы все еще путаете барчарт и горизонтальный барчарт, то я спешу на помощь)
В русскоязычной литературе приняты более интуитивно понятные названия - столбчатая диаграмма и линейчатая диаграмма (столбики сверху вниз или линии слева направо, изи)
Но когда мы переходим к принятым в англоязычной среде терминам, то там скорее встретите bar chart (bar graph, column chart) и horizontal bar chart, horizontal bars (или просто bar chart, без указания подробностей - как правило нет никаких уточнений, барчарт и барчарт). И horizontal это именно направление элементов графика, то есть "горизонтальные столбики"
В качестве иллюстрации приложил именно горизонтальный барчарт (просто потому что использую их чаще)
Есть еще гистограммы как близкий родственник барчарта предназначенный для отображения непрерывных данных, но это совсем другая история..
Источники из которых уточнял англоязычную терминологию: Stephen Few "Show me your numbers", Tufte E.R. "The visual display of quantitative information", блог Aurélien Vautier
👍12
Недавно была на работе нестандартная задача - сделать дашборд с максимально закрытым доступом. Настолько закрытым чтобы ни один инженер/админ bi системы/аналитик (включая автора) не смог увидеть что там.
Было у меня несколько предварительных вариантов, например питоновский скрипт в файле, в который кидаешь таблицу с данными а он на выходе отправляет рассылку по заданному списку адресов, или отдельный лендинг развернутый на изолированной виртуалке, но все упиралось в то, что с ростом сложности обеспечения доступа и сложности продукта в целом естественно росли возможные затраты на его поддержку и соответственно появлялись дополнительные люди в починке задействованные.
В итоге я вспомнил что все новое это хорошо забытое старое и предложил заказчику максимально секьюрный вариант - эксель с шаблоном дашборда, в который будут забивать данные, потом распечатывать/делать скрин и адресно отдавать пользователю😅
Неканонично и нетипично? Да.
Заказчик доволен при минимальных вложениях ресурса аналитиков? Тоже да.

Конечно в полной мере реализовать принцип «лучший дашборд это отсутствие дашборда» не получилось, но все равно опыт интересный:)
👍8❤‍🔥2
Просто интересный пример скаттерплот диаграммы)

Но было бы интересно иметь подобный источник данных и визуализировать свою активность (писать в твиттер для этого N раз в час я конечно не буду)
4👍2
Хочу поделиться опытом проведения собеседований по SQL в формате лайфкодинга. За последний год у меня была возможность оценить множество кандидатов, и я заметил несколько общих признаков, которые бы хотел обсудить и дать небольшие советы.
Дисклеймер: Я понимаю скептицизм многих по поводу корректности проверки навыков SQL путем лайфкодинга на нескольких задачах. Мы в Авито на основании SQL скоринга не выставляем грейд, а просто принимаем решение hire/no hire. Соответственно и оцениваем мы больше подход к решению, а не знание синтаксиса

По части софт скиллов: зачастую кандидаты не слишком внимательно читают условия задач. Вместо того чтобы потратить немного времени на понимание всех условий, накидывание вопросов - они спешат писать код. В реальной работе же никто не сядет за клавиатуру без пытки заказчика уточнениями пока не станет все ясно (духота спасает аналитика от переработок). В большинстве задач (как реальных, так и тех что я встречал на собесах) есть подводные камни и формулировки которые можно понять неоднозначно. Может быть здесь будет полезный такой подход - представьте что это не собеседование а созвон с заказчиком какого-то странного эдхока.

По части хард скиллов: многие не очень хорошо ориентируются в теории SQL, часто просто механически используют функции, но не задумываются о том, как и почему они работают.
Например группировка. Часто ее рассматривают как некое следствие (группировка нужна для агрегации и расчета значений) а не как механизм -в котором расчет это последний этап, а один из первых - сбор уникальных групп. Когда задумываешься с этой стороны, можно найти группировке много интересных применений.

Иногда ставит в тупик кандидатов вопрос "Как ты думаешь, какой способ решения задачи будет оптимальнее?" Тут основной пункт - просто почитать статьи о том как работают разные СУБД и какие есть основные ошибки и альтернативные решения. Почитайте про индексацию и анализ планов выполнения запросов. Попробуйте использовать на практике если не пользовались раньше. Но конечно все зависит от СУБД.

Вобщем советы избитые, но думаю полезные - читайте документацию и практикуйтесь,
не стесняйтесь задавать вопросы,
представляйте что это реальный кейс с эдхок задачей.

Что вообще думаете про sql- скрининг биайщиков?
👍15👌1🫡1