Всем привет! Со старта канала прошло 2 месяца и с нами уже больше 800 подписчиков, спасибо вам!❤️

Делимся подборкой лучших публикаций:

📊 #BI #Redash
- Переосмысливаем BI в большой компании
- Сложности перехода из Tableau в Redash (part 1)

🆎 #AB #Trisigma
- Как масштабировать A/B-эксперименты
- Самый важный SQL-запрос в моей карьере или как посчитать MDE правильно

💾 #Databases #Vertica
- Что посмотреть про внутренности распределенных СУБД
- Как OOM киллер Vertica убивал
- Как база может проиграть алгоритму на коленке
- Конкурентная работа с памятью или загадка потерянного времени

🔎 #DQ
- Риск-ориентированный подход к DQ
- Что можно узнать из анализа инцидентов логирования критических событий

🌊 #Clickstream
- Платформа логирования аналитических событий
- Как можно анализировать внутренний продукт с использованием логирования

🕸 #Airflow
- Airflow Declarative: как не дать себя опутать

🤝 Общее
- О чем этот канал
- Записи подкаста про аналитическую платформу
- Как мы мониторим аналитическую платформу

Поделитесь, какие темы были бы интересны вам?

Всем привет!

Сегодня расскажем о том, как мы обновляли версию ОС на кластере вертики, и почему это стало целым приключением.

Зачем мы это делали? Мы хотели полечить баг с падением из-за старой версии glibc, и у нас есть требования к минимальной поддерживаемой версии софта в компании. Погнали!

#Vertica

Привет, меня зовут Илья, я тимлид команды, которая разрабатывает BI в Авито!

Мы каждый спринт выкатываем новые фичи для наших пользователей, и сегодня хочу продолжить рассказ про большие фичи, что мы реализовали.

#BI #Redash

Всем привет!

Как думаете, какой должна быть скорость загрузки дашборда? Мне кажется, что максимальной 🙂 Но быстро извлекать данные из источников получается не всегда: иногда БД находятся под нагрузкой, а иногда ваш запрос громоздкий и сложный. Лидеры рынка предлагают функционал по извлечению данных в собственное быстрое хранилище, например, в Tableau есть функционал Exctract.

В нашей BI-системе мы сделали свои extract'ы, а для наглядности записали короткое видео, как они работают и как наши пользователи могут их создавать. Ставь лайк, если хочешь больше лайф демо наших систем 😉

#Redash

Всем привет! Сегодня мы побольше расскажем о себе: поделимся нашей ролью в компании, вызовами и попробуем найти новых коллег 😊

Организационная структура Авито состоит из множества кросс-функциональных команд (юнитов), которые соединяются в кластеры. Analytics Platform — это кластер из сотни человек, который разрабатывает платформу для упрощения решения аналитических задач в компании.

Аналитическая платформа — ядро развития бизнеса Авито с 2013 года. Тогда в компанию пришел Иван Гуз и внедрил data-центричный подход*. С тех пор на аналитическую платформу завязаны многие процессы компании: от А/Б тестов и принятия решений на метриках до процессов маркетинга и продаж, а Иван стал управляющим партнером компании.

Ядровые пользователи платформы — более 300 аналитиков, которые ежедневно 80% рабочего времени проводят в ней. При этом «на чтение» с платформой работают все сотрудники: от управляющих директоров до специалистов операционных подразделений (технической поддержки, модерации). Таких пользователей уже тысячи.

Мы выделяем у платформы 3 ключевых направления развития до 2026 года:

🕘 Стабильность.
Аналитика в Авито зарождалась в централизованном DWH, на котором строились как критичные для бизнеса процессы, так и исследовательская работа. Это позволило сделать быстрый старт и было эффективно на первых этапах, но теперь мы хотим перейти на следующий уровень. Мы внедряем распределенный Data LakeHouse с хранением данных в Ceph и вычислении в Trino. Образ результата — платформа для платформ с прозрачными SLA для бизнес-потребителей, изолированными контурами и владельцами. Главная метрика на текущий момент — суммарное отставание по готовности данных отчета с ключевыми метриками компании от 09:00. Суммарное отставание в квартал мы хотим сократить с дней до часов.

😄 Упрощение аналитических задач.
Долгое время нашей целью было развитие подхода self-service, когда каждый аналитик способен пройти весь процесс от сбора данных, проведения анализа и до создания финального регулярно обновляемого отчета без дополнительного привлечения дата инженеров. И мы добились этого, сейчас доля решаемых самостоятельно задач выше 90%! Теперь мы фокусируемся на снижении доли времени работы аналитика, которое он тратит на технические задачи: написание и оптимизация кода, поиск и валидация данных, создание отчетов и документирование исследований. В платформе зародилось более 30 инструментов, заточенных под конкретные задачи, мы делаем ставки на продуктовизацию и демократизацию - хотим прийти к ограниченному набору продуктов, решающих сквозные пользовательские сценарии. Главная метричная цель - менее 20% времени аналитика на технические задачи.

🚀 Вывод продукта на внешний рынок.
С 2013 года мы накопили в компании серьезную экспертизу по развитию инструментов для аналитики. Мы видим, что многие компании решают похожие проблемы, но не готовы инвестировать в большую in-house разработку (это долго и сложно), при этом хорошие вендорские решения дорогие и ушли из РФ. Мы уже начали пилоты с компаниями по интеграции платформы Trisigma. Цель — подключить 50 клиентов и выйти на окупаемость B2B value-стрима.

Для достижения этих больших целей мы ищем инженеров разных уровней (от Junior до Senior) и профилей (Data Engineer, SRE, Backend, Frontend, QA), а также технических руководителей (команды от 5 до 25 чел).

💌 Смотрите вакансии по ссылке, откликайтесь или пишите мне @nikolaevgenii и нашему рекрутеру @aerfulix!

*пожалуйста, воспользуйтесь VPN, чтобы открыть статью

Сегодняшний пост снова на волнующую многих тему A/B-тестов.

Пару месяцев назад мы поделились лайфхаком: как посчитать MDE без python на чистом SQL. В этот раз Данила Леньков развивает тему: как в SQL проанализировать результаты эксперимента и посчитать t-test.

#AB

Как строить план развития, когда ты тимлид?

Всем привет, я Денис Пехтерев, руководитель команды аналитики в блоке монетизации.

Сегодня я решил поделиться с вами тем, как подхожу к формированию своего индивидуального плана развития (ИПР) как менеджер.

Зачем я это делаю?

Это регулярный процесс рефлексии, который заставляет меня собрать обратную связь, переработать её и наложить на свои будущие проекты. Следовательно помогает мне куда эффективнее реализовывать те проекты, в которых я заинтересован, а значит и расти в компании.

Что конкретно делаю?

1. Собираю обратную связь у руководителя и бизнес партнёров (UL, CL) по тому, чего мне не хватает и наоборот, где мои сильные стороны.
У ребят на моей роли и следующей узнаю, что полезного они проходили, слушали, читали за последние 2 года, что им помогло в работе;

2. Смотрю на карту компетенций менеджеров, а именно, какие вещи мне нужно прокачивать на следующей роли vs моя текущая роль;

3. Накладываю п.1 и п.2 на тот список проектов, который у меня есть в OKR. Это помогает мне понять, а как я могу реализовать недостающие компетенции и прокачать свои слабые/сильные стороны через призму имеющихся на столе проектов;

4. Вместе с руководителем (или сам) структурирую получившееся в п.1/п.2/п.3 и стараюсь выделить общие паттерны.

Пример: мне с руководителем предстоит написать стратегию + моему бизнес партнёру, продуктовому лиду, нужен будет кусок аналитической стратегии. Окей, записываю в свой план: стратегическое мышление/видение, составление стратегии.

Пример 2: Люблю делиться знаниями, т.к. это помогает их лучше переварить. Соответственно собирался выступать во вне в этом полугодии (ведущим, подкаст и ост) - прошёл курс по Публичным выступлениям (внутренний Авито, он реально топ).

5. Обращаюсь к TnD партнёру, у нас это прекрасная Аня. К ней я прихожу с:
a. С названием курсов, если сам собрал у коллег ОС, что они крутые;
b. С названием компетенций, которые я хочу прокачать;
c. С общими проблемами, которые я хочу закрыть.

6. Далее Аня уходит за подбором курсов/менторов под те точки роста, которые я выделил выше. Когда Аня возвращается со списком, мы вместе определяем:
— Их приоритетность, т.к. решать в итоге мне, что выбирать из меню тех возможностей, которые TnD партнёр мне озвучил;
— Понимаю их влияние на рост людей по отзывам/комментариям тех, кто их проходил. Отсюда понимаю, подходит ли формат лично мне;
— Оцениваю вместимость этих активностей в меня - успею ли я везде со всеми проектами.

7. Выбираю курсы и прохожу до конца!
Если я понимаю из п.1-п.4 свою мотивацию (= новые навыки, рост в компании), в п.5/6 мне их подобрали, и я подписался - значит теперь я комичусь их проходить и выносить максимальную пользу.
При этом бывают и случаи, когда из всего курса я не слушал только 2 модуля из 4. Да, значит я послушаю только их, остальные закрою на прошлых навыках, ведь время у меня не резиновое.

Поделюсь подборкой курсов для аналитиков в следующем посте, до встречи!

#analytics

Запуск нового продвижения с красными тестами на пилоте, ещё и на 500 пользователей — как это было? Ответ на нашем НЕмитапе!

В программе доклад двух старших аналитиков продукта из команды Analytics&Monetisation, Юлии Голубевой и Евгении Мурзаевой. Расскажут обо всём в подробностях: от первых A/В-тестов в ситуациях, когда цена ошибки высока, до отслеживания результатов после масштабирования.

Полезные материалы для изучения:
Доклад «Как мы используем теорию игр и data science в монетизационных продуктах»
Доклад «Как мы запускали новую модель продвижения — матчинг»
Доклад «Аналитика нового продукта под ключ»
Статья «Causal Inference for The Brave and True - Propensity Score»
Статья «A Review of Propensity Score Modeling Approaches»
Статьи «Как улучшить ваши A/B-тесты: лайфхаки аналитиков Авито» — Часть 1 и Часть 2

Команда Trisigma в Авито развивает свою платформу проведения A/B-тестов. Мы прошли большой путь: вышли на темп 4000+ экспериментов в год, из них 350+ одновременно, обрабатывая 18B+ событий в день.

А знаете, сколько времени тратят на анализ экспериментов наши аналитики? Нисколько.

Никаких секретов, только Trisigma. Это платформа автоматизации A/B-тестирования, созданная нашими инженерами. Подробнее о преимуществах и алгоритме работы Trisigma — в обзоре аналитика Артёма Дронова.

Вопросы, предложения, заявки на демо — всё принимается.