Архитектор Данных – Telegram
Архитектор Данных
1.08K subscribers
142 photos
8 videos
2 files
113 links
Алексей, архитектор данных из ВК.

Большие данные и облака.

Для связи @alexbelozersky
Download Telegram
Forwarded from LEFT JOIN
Почему Text 2 SQL не работает?
Ко мне иногда приходят разные знакомые и говорят, что у них есть концепция Text 2 SQL или LLM-генератора SQL-кода — мол, классная идея для бизнеса, можно ее попродавать.

И вот наконец я понял, почему идея «пусть бизнес пишет запросы на естественном языке» не взлетает и не взлетит.

На бумаге все красиво. Даешь ИИшке команду: «Покажи выручку за август по городам», получаешь результат.

На практике же имеем несколько иной сетап: никто из бизнес-менеджеров не хочет и не может задавать правильные вопросы к данным.

Причина кроется в подмене понятий, за которую сами бизнес-менеджеры обычно аналитика и ругают. Так вот, написание SQL — это не основная работа аналитика. На самом деле аналитик занимается мыслительным трудом: как раз пытается разобраться, какие вопросы вообще стоит задать, чтобы понять, что там у бизнеса пошло не так. SQL — лишь удобный интерфейс для формулировки гипотез. Его просто изучить, но логика за пределами SQL.

И, соответственно, вторая часть проблемы: многие бизнес-менеджеры в большинстве случаев не обучены мыслить аналитически, эту часть работы они делегировали аналитику, чтобы он за них подумал. Они сами не думают в контексте данных, структур или понимания взаимосвязей. Именно поэтому LLM-промпты в виде «SQLGPT для маркетологов» и не взлетают.

🔜 AI может перевести вопрос в SQL, но не может придумать сам вопрос, который имеет смысл для бизнеса.

Сейчас мы на этапе следующего шага — передать LLM формирование вопросов и гипотез, а затем уже написание необходимого кода и SQL-запросов для решения аналитической задачи.

А пока просто осознаем, что произошла гиперинфляция хардскиллов. А вот мыслить и генерировать ценные инсайты — тот самый навык, который был и есть востребован в аналитиках.
Please open Telegram to view this post
VIEW IN TELEGRAM
💯14👍322
Forwarded from topdatalab (Roman Zykov)
Две плохие новости за последний месяц: Fivetran купила SQLMesh и dbt.

Почему это плохо.
SQLMesh относительно молодая компания, ей около трех лет. То, что ее продали, означает, что они не смогли сделать выручку или не хватило амбиций фаундеров.
Думаю, что сейчас фаундеры SQLmesh ходят грустные.

Про dbt не скажу, но SQLMesh наступала ей на пятки.
И такая консолидация плохо повлияет на развитие инструментов.
💯84🤔2
topdatalab
Две плохие новости за последний месяц: Fivetran купила SQLMesh и dbt. Почему это плохо. SQLMesh относительно молодая компания, ей около трех лет. То, что ее продали, означает, что они не смогли сделать выручку или не хватило амбиций фаундеров. Думаю, что…
DBT - один из самых полезных инструментов для инжиниринга данных.

Видимо, пришло время сделать свой аналог, свободный от окукливания большими жадными корпорациями. Заодно проделать работу над ошибками, потому как некоторые вещи ужас как неудобно делать.

Расскажите, что для вас удобно и неудобно в DBT и SQL Mesh.
6👍322
Следующее пристанице самурая данных - Форум "Открытые Данные", Казань 30-31 октября.

Докладываю о современных подходах к построению облаков данных.

https://opendataforum.ru/
👍1132
В музее Москвы нашел занятия для джунов-архитекторов.
😁1952
😭22💯11🤣10
А с типичным российским энтерпрайзом некоторые технологии уйдут в легаси не успев пройти согласование ИБ 😄
😭15💯9🔥6👍3
Гениальная самоирония
😁29🤔42👀2
Хорошая англоязычная картинка про тренды в Лейкхаусе
🔥11👍41
На вот этот вебинар запишитесь!

https://cloud.vk.com/events/migraciya-prilozheniya-kak-perenesti-infrastrukturu-s-monolita-v-upravlyaemyj-kubernetes-v-oblake

Ведут два абсолютных "отца" кубера и облачных миграций.

В прямом эфире показываем на реальном примере перенос приложения в Kubernetes с сервисом Cloud Containers. Разбираем распространенные типичные ошибки при миграции.

Сам точно буду смотреть, так как местами мои познания в кубернетесе оставляют желать, а в Лейкхаусах он ой как нужен.
👍722
Написали большой хабрапост о внутрянке формата айсберг.

Постарался раскрыть вопросы

1️⃣Как перейти от навала файлов в S3/HDFS до хорошего Data Lake[House]

2️⃣Зачем нужны все эти сложности с вложенной древовидной метадатой

3️⃣Откуда берется ACID в не ACID-ном хранилище S3.

4️⃣Какие процедуры поддержки требуется применить к DLH на айсберге.

Вопросы как всегда можно задать в коментах.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1251👍1
Вот так новости

Workspace - корпоративный мессенджер, который ставится в инфраструктуру вашей компании (а еще корп почта, звонки, таск-трекер, облако для файлов, офис и тд)

Макс - все знаем что

Можно будет создать чат с подрядчиком или кандидатом, в котором будут с одной стороны внутри-корповые учетки, доступные из VK Workspace / Teams, а с другой стороны - внешние люди из Макса.

Это как если в корп слак можно было бы добавить по приглашению рандомных людей из телеги и переписываться бесшовно для всех участников.

Как по мне - удобно, я порядком замучался копипастить разную информацию из корпового мессенджера в телегу и обратно 😄
🤡14👏8👍43💩3💊31
Мессенджер Макс как кладбище
Все там будем
11😁23🤨21👌1🤡1
😁28💯92
Разговоры на архитекторском: ML платформа.

13 ноября мы проведем вторую серию «Разговоров на архитекторском» и в этот раз коснемся индустриальных ML платформ.

Эксперт - руководитель разработки и ML OPS в крупной технологичной компании, которую вы все знаете.

Темы.

1️⃣Платформа инференса в 2025 году. Как построить и как грамотно утилизировать большой парк современных GPU

2️⃣Классический ML и трансформерный ИИ. Может ли существовать одно без другого.

3️⃣Если ты стажер или джун и хочешь в ML, на что тебе стоит обратить внимание и что изучить

Всех ждем на стриме 13-го ноября вечером. Приходите и приводите друзей!

—————————————————

Первая часть «разговоров», где мы общались о внедрении Lakehouse с Вадимом, руководителем разработки платформы данных Х5, ждет вас в виде разбора тут или в видео формате в плейлисте
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13👍32😎2
На форуме «Открытые данные» в Казани.

На техническом треке рассказал про гибкие подходы в организации данных, про облака и лейкхаусы.
113👍94
О технологических зонах и цифровых «железных занавесах»

Михаил Токовинин сгущает краски, говоря о том что мир распадается на несколько технологических зон с железными занавесами между.

С точки зрения технологий данных эффект разделения на зоны есть. В западной зоне почти все проблемы решаются Амазоном, Датабриксом и Сноуфлейком. В российской зоне и данных поменьше, и технологии другие, и практики компаний отличаются, к примеру, у всех все еще аллергия на облака. В Китае либо свои опенсорсы, редко применяемые вовне, либо свои реализации вендоров.

Это приводит к тому что если ты специалист в области данных, то еще декаду назад ты мог путешествовать между зонами и твои навыки вполне бы пригождались - всюду были одинаковые ораклы и майкрософт-стеки. А сейчас - нужен ты кому-то там со своим Гринпламом и НайФаем.

Также барьер стоит для компаний, стремящихся вывести свои разработки на соседний рынок. Ты вынужден сделать по сути новый продукт, который должен смочь работать с непривычными для него интеграциями, другой регуляторикой, другими привычками пользователя.

Одним словом, хорошая новость в том что на твой маленький рыночек, где нужна интеграция с 1С и VK/Яндекс-сервисами, никто отбирать твою долю не придет. С другой стороны - вывести свой продукт на рынок сопредельных стран будет кратно сложнее чем раньше.

———————————-

Архитектор данных
👍10🔥43🤔2😱2