Forwarded from [30/100] Витя Тарнавский
Иду вчера по Льва Толстого, смотрю в случайное окно, а там...
Спасите роботов из офиса Яндекса! Свободу железным пацанам!🤖
Спасите роботов из офиса Яндекса! Свободу железным пацанам!
Please open Telegram to view this post
VIEW IN TELEGRAM
😁7💯3
Если твои пайплайны ощущаются так:
то проблема чаще не в инструментах, а в отсутствии простых стандартов моделирования.
Представь жизнь дата-инженера, где:
В ближайших постах — 6 конкретных техник, которые позволяют:
Будет без воды: только то, что реально можно утащить к себе в проект и начать применять.
#dev #de #dwh
Please open Telegram to view this post
VIEW IN TELEGRAM
2 11
Бизнесу пофиг на "fact_orders" и "dim_customer". Ему важны процессы: продажи, возвраты, конверсия, отток.
Bus matrix — это одна табличка, которая переводит:
мы сделали ещё одну факт-таблицу
в
мы покрыли ещё один бизнес-процесс, и вот какие разрезы вы теперь можете видеть
Пример (Bike Parts магазин, упрощённо):
То есть ты буквально показываешь:
Что даёт bus matrix:
Такую матрицу можно держать в Notion / Confluence и тыкать в неё на всех созвонах:
Смотрим сюда: мы закрыли ещё 2 процесса и добавили 3 измерения
Для усиления всестороннего эффекта, можешь добавить подпись:
Всё, что мы делаем в DWH, должно быть видно в bus matrix. Если в матрице не видно пользы — мы делаем фигню
Порядок в DWH
#dev #de #dwh
Please open Telegram to view this post
VIEW IN TELEGRAM
5 8😁1
Каждый раз, когда кто-то строит дашборд на твоей таблице, у тебя по сути покупают продукт. Только большинство команд этот продукт никак не описывает.
Data contract — это простой документ, который отвечает на вопрос аналитика/продукта:
Что я могу ожидать от этой таблицы, чтобы не накосячить?
Минимальный набор, который уже делает магию:
Что означает ОДНА строка?
Кратко и по делу, без воды.
Команда/человек, кто отвечает за таблицу + канал коммуникации.
Важно: data contract — это документ, а не тулза.
Фактическое соблюдение (валидации, алерты) — это уже вопрос инструментов.
Что меняется, когда у таблицы есть контракт:
Порядок в DWH
#dev #de #dwh
Please open Telegram to view this post
VIEW IN TELEGRAM
Большинство бизнес-вопросов в нормальных компаниях решается через обычные fact + dimension таблицы в стиле Кимбелла. Без извращений.
Предлагаю тебе практичный сетап:
Простое правило:
Вставили строку в факт — больше её не обновляем (кроме осознанного backfill).
Плюсы:
Вместо сложных SCD2 везде:
Никаких "и по пользователю, и по заказу, и по клику в одной таблице". Только один чёткий grain.
Если колонка зависит от какого-то флага — лучше разнести в явно названные колонки, а не "если flag = 1, тогда тут другое значение".
Для пользователей всегда отдаём view, а не саму таблицу:
Это очень скучные правила, но именно они позволяют делать модели быстро и не умирать от рефакторинга каждые 3 месяца.
Порядок в DWH
#dev #de #dwh
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Dealer.AI
Про разработку и AI-специалистов.
Дядя открывает рубрику #холиварвыходногодня. На рынке найма сталкиваюсь с заблуждением, что MCP должны создавать MLE или DS спецы. На самом деле, это придумано на замену API, для более нативной интеграции LLM и агентов с сервисами, т.к. обычные стандартные API для этого не подходят AS IS. А их доработки всеравно приведут вас к MCP-like. И делать это должны не ML-only спецы, а бэкендр разработчики, пусть и совместно с MLE, но при необходимости. При этом же я вижу кругом евангелистов агентов, которые вчерашние swe и другие представители разработки, и это, на мой взгляд, не с проста.
Действительно агентные системы это прикладной инструмент, который использует апи и AI-технологии вокруг, без необходимости знать детали работы LLM под капотом. Надо разделять разработку core технологий которые ложатся в основу agents и сами конструкторы агентных систем, для создания которых с уже готовыми блоками в виде библиотек, MCP, LLM ds/MLE уже не нужны. Свою работу они сделали, дали то, на чем это строится в лице моделей.
Моя позиция в том, что MCP и агентные системы, как прикладные решения, удел вчерашних разработчиков, когда как технологии (модели, алгоритмы консенсуса и др) в основании этого под капотом, удел ML/DL спецов. Причём, обратите внимание, как агентные системы нативны с тч зрения алгоритмики и архитектуры построения, что делает их проектирование разрабами более удобным и нативным для этих спецов.
Конечно все кругом хотят единорогов, которых очень мало, да ещё они имеют биас - или они больше разрабы или больше математики, редко когда они одинаково хороши в обоих местах.
А что думаете вы? Пишите в комментариях.👇 👇 👇 👇
Дядя открывает рубрику #холиварвыходногодня. На рынке найма сталкиваюсь с заблуждением, что MCP должны создавать MLE или DS спецы. На самом деле, это придумано на замену API, для более нативной интеграции LLM и агентов с сервисами, т.к. обычные стандартные API для этого не подходят AS IS. А их доработки всеравно приведут вас к MCP-like. И делать это должны не ML-only спецы, а бэкендр разработчики, пусть и совместно с MLE, но при необходимости. При этом же я вижу кругом евангелистов агентов, которые вчерашние swe и другие представители разработки, и это, на мой взгляд, не с проста.
Действительно агентные системы это прикладной инструмент, который использует апи и AI-технологии вокруг, без необходимости знать детали работы LLM под капотом. Надо разделять разработку core технологий которые ложатся в основу agents и сами конструкторы агентных систем, для создания которых с уже готовыми блоками в виде библиотек, MCP, LLM ds/MLE уже не нужны. Свою работу они сделали, дали то, на чем это строится в лице моделей.
Моя позиция в том, что MCP и агентные системы, как прикладные решения, удел вчерашних разработчиков, когда как технологии (модели, алгоритмы консенсуса и др) в основании этого под капотом, удел ML/DL спецов. Причём, обратите внимание, как агентные системы нативны с тч зрения алгоритмики и архитектуры построения, что делает их проектирование разрабами более удобным и нативным для этих спецов.
Конечно все кругом хотят единорогов, которых очень мало, да ещё они имеют биас - или они больше разрабы или больше математики, редко когда они одинаково хороши в обоих местах.
А что думаете вы? Пишите в комментариях.
Please open Telegram to view this post
VIEW IN TELEGRAM
💯4 1
Если ты когда-либо видел, как неверные цифры попадают в отчёт к C-level — ты понимаешь, какой это треш. Доверие ломается мгновенно.
Важно фокусироваться на 4 типах DQ-проверок с максимальным ROI:
лучше иметь эти 4 хороших типа проверок, чем 40 рандомных, которые никто не смотрит.
Отдельно рекомендую использовать WAP-паттерн (write-audit-publish): сначала загрузили и проверили данные, потом только опубликовали конечную таблицу потребителям.
Порядок в DWH
#dev #de #dwh
Please open Telegram to view this post
VIEW IN TELEGRAM
2 10😁1💯1
Баг в отчёте — классика. Вопросы всегда одни и те же:
Без data lineage всё это — ручной форензик в стиле "гуляем по кодовой базе и гадаем".
Что даёт нормальная линейность:
Многие современные тулзы уже умеют в lineage из коробки (dbt, SQLMesh и не только).
Но главный пойнт такой:
Если у тебя нет наглядной lineage-картинки, каждая проблема в данных будет стоить тебе или твоей команде человеко-дней, а не часов.
Порядок в DWH
#dev #de #dwh
Please open Telegram to view this post
VIEW IN TELEGRAM
1 6 3❤🔥1
Со временем в компании становится:
Без единого источника правды ты получаешь войну дашбордов: у маркетинга один LTV, у продукта другой, у финансов третий.
Критически важно держаться одной из двух стратегий (или гибрида):
Общее правило:
Порядок в DWH
#dev #de #dwh
Please open Telegram to view this post
VIEW IN TELEGRAM
1 8 1
Нейродроны от neiry
🚀 Новая эра дронов — живых дронов. Neiry представила своих первых "птиц-биодронов" — реальных голубей с вживлёнными нейроинтерфейсами.
🧠 Как это работает: в мозг птицы имплантируют электроды, подключённые к контроллеру и стимулятору, который размещается в маленьком рюкзачке на спине. С его помощью оператор может задавать маршрут — и птица летит туда, куда нужно.
🌍 Зачем это нужно: такие живые дроны могут использоваться для мониторинга инфраструктуры (линии электропередач, газовые узлы), экологического и промышленного контроля, поисково-спасательных операций, охраны и наблюдения.
🔥 Преимущества перед обычными БПЛА: биодроны автономны — птица ведёт обычную жизнь, а электроника питается от солнечных батарей. Дальность полётов, выносливость и скрытность сильно выше.
❗️ По словам Neiry, проект уже переходит к реальным испытаниям и внедрению — возможно, подобные живые беспилотники мы увидим в деле совсем скоро.
#pigeon #drone #biodrone #bird #neiry
#pigeon #drone #biodrone #bird #neiry
Please open Telegram to view this post
VIEW IN TELEGRAM
neiry.ru
Neiry представляет птиц-биодронов