Привет, на связи команда Datamart аналитической платформы Авито.

В этой статье я расскажу о том, как мы нашли одну из причин деградации наших аналитических расчетов. Конкурентная работа с памятью или загадка потерянного времени

#Vertica #Databases

Привет, сегодня обзорно расскажем про платформу сбора аналитических данных в Авито.

#Clickstream

Всем привет! Сегодня, в продолжение предыдущего поста, разберем, как можно анализировать внутреннний продукт и какие инсайты из этого мы получили.

#Clickstream

Наш Senior SRE, Виктор Еремченко, рассказал, как мы повышали стабильность аналитической платформы. В докладе вы узнаете про, то на каких метриках мы сфокусировались, какие инструменты для мониторинга выбрали и каких результатов добились.

Выступление будет полезно SRE и всем заинтересованным в повышении стабильности хранилищ данных.

При переходе на open source BI в 2022 году мы столкнулись с целой кучей трудностей, сегодня я расскажу, как мы допиливали open source Redash под себя.

Статья будет полезна тем, кто уже работает с Redash или смотрит в сторону open source

#BI #Redash

Всем привет! Со старта канала прошло 2 месяца и с нами уже больше 800 подписчиков, спасибо вам!❤️

Делимся подборкой лучших публикаций:

📊 #BI #Redash
- Переосмысливаем BI в большой компании
- Сложности перехода из Tableau в Redash (part 1)

🆎 #AB #Trisigma
- Как масштабировать A/B-эксперименты
- Самый важный SQL-запрос в моей карьере или как посчитать MDE правильно

💾 #Databases #Vertica
- Что посмотреть про внутренности распределенных СУБД
- Как OOM киллер Vertica убивал
- Как база может проиграть алгоритму на коленке
- Конкурентная работа с памятью или загадка потерянного времени

🔎 #DQ
- Риск-ориентированный подход к DQ
- Что можно узнать из анализа инцидентов логирования критических событий

🌊 #Clickstream
- Платформа логирования аналитических событий
- Как можно анализировать внутренний продукт с использованием логирования

🕸 #Airflow
- Airflow Declarative: как не дать себя опутать

🤝 Общее
- О чем этот канал
- Записи подкаста про аналитическую платформу
- Как мы мониторим аналитическую платформу

Поделитесь, какие темы были бы интересны вам?

Всем привет!

Сегодня расскажем о том, как мы обновляли версию ОС на кластере вертики, и почему это стало целым приключением.

Зачем мы это делали? Мы хотели полечить баг с падением из-за старой версии glibc, и у нас есть требования к минимальной поддерживаемой версии софта в компании. Погнали!

#Vertica

Привет, меня зовут Илья, я тимлид команды, которая разрабатывает BI в Авито!

Мы каждый спринт выкатываем новые фичи для наших пользователей, и сегодня хочу продолжить рассказ про большие фичи, что мы реализовали.

#BI #Redash

Всем привет!

Как думаете, какой должна быть скорость загрузки дашборда? Мне кажется, что максимальной 🙂 Но быстро извлекать данные из источников получается не всегда: иногда БД находятся под нагрузкой, а иногда ваш запрос громоздкий и сложный. Лидеры рынка предлагают функционал по извлечению данных в собственное быстрое хранилище, например, в Tableau есть функционал Exctract.

В нашей BI-системе мы сделали свои extract'ы, а для наглядности записали короткое видео, как они работают и как наши пользователи могут их создавать. Ставь лайк, если хочешь больше лайф демо наших систем 😉

#Redash

Всем привет! Сегодня мы побольше расскажем о себе: поделимся нашей ролью в компании, вызовами и попробуем найти новых коллег 😊

Организационная структура Авито состоит из множества кросс-функциональных команд (юнитов), которые соединяются в кластеры. Analytics Platform — это кластер из сотни человек, который разрабатывает платформу для упрощения решения аналитических задач в компании.

Аналитическая платформа — ядро развития бизнеса Авито с 2013 года. Тогда в компанию пришел Иван Гуз и внедрил data-центричный подход*. С тех пор на аналитическую платформу завязаны многие процессы компании: от А/Б тестов и принятия решений на метриках до процессов маркетинга и продаж, а Иван стал управляющим партнером компании.

Ядровые пользователи платформы — более 300 аналитиков, которые ежедневно 80% рабочего времени проводят в ней. При этом «на чтение» с платформой работают все сотрудники: от управляющих директоров до специалистов операционных подразделений (технической поддержки, модерации). Таких пользователей уже тысячи.

Мы выделяем у платформы 3 ключевых направления развития до 2026 года:

🕘 Стабильность.
Аналитика в Авито зарождалась в централизованном DWH, на котором строились как критичные для бизнеса процессы, так и исследовательская работа. Это позволило сделать быстрый старт и было эффективно на первых этапах, но теперь мы хотим перейти на следующий уровень. Мы внедряем распределенный Data LakeHouse с хранением данных в Ceph и вычислении в Trino. Образ результата — платформа для платформ с прозрачными SLA для бизнес-потребителей, изолированными контурами и владельцами. Главная метрика на текущий момент — суммарное отставание по готовности данных отчета с ключевыми метриками компании от 09:00. Суммарное отставание в квартал мы хотим сократить с дней до часов.

😄 Упрощение аналитических задач.
Долгое время нашей целью было развитие подхода self-service, когда каждый аналитик способен пройти весь процесс от сбора данных, проведения анализа и до создания финального регулярно обновляемого отчета без дополнительного привлечения дата инженеров. И мы добились этого, сейчас доля решаемых самостоятельно задач выше 90%! Теперь мы фокусируемся на снижении доли времени работы аналитика, которое он тратит на технические задачи: написание и оптимизация кода, поиск и валидация данных, создание отчетов и документирование исследований. В платформе зародилось более 30 инструментов, заточенных под конкретные задачи, мы делаем ставки на продуктовизацию и демократизацию - хотим прийти к ограниченному набору продуктов, решающих сквозные пользовательские сценарии. Главная метричная цель - менее 20% времени аналитика на технические задачи.

🚀 Вывод продукта на внешний рынок.
С 2013 года мы накопили в компании серьезную экспертизу по развитию инструментов для аналитики. Мы видим, что многие компании решают похожие проблемы, но не готовы инвестировать в большую in-house разработку (это долго и сложно), при этом хорошие вендорские решения дорогие и ушли из РФ. Мы уже начали пилоты с компаниями по интеграции платформы Trisigma. Цель — подключить 50 клиентов и выйти на окупаемость B2B value-стрима.

Для достижения этих больших целей мы ищем инженеров разных уровней (от Junior до Senior) и профилей (Data Engineer, SRE, Backend, Frontend, QA), а также технических руководителей (команды от 5 до 25 чел).

💌 Смотрите вакансии по ссылке, откликайтесь или пишите мне @nikolaevgenii и нашему рекрутеру @aerfulix!

*пожалуйста, воспользуйтесь VPN, чтобы открыть статью

Сегодняшний пост снова на волнующую многих тему A/B-тестов.

Пару месяцев назад мы поделились лайфхаком: как посчитать MDE без python на чистом SQL. В этот раз Данила Леньков развивает тему: как в SQL проанализировать результаты эксперимента и посчитать t-test.

#AB