На выходных сделал новое видео о продукте.
https://www.youtube.com/watch?v=iybNM8UtQRA

буду рад лайкам на видео!

в последний момент обратил внимание, что не выставил хороший рейт в OBS 🙁

Вот и Andrew Ng выпустил курс по Agentic AI
https://www.deeplearning.ai/courses/agentic-ai/

В чем его крутость - он не привязан к framework (LangChain и пр). И это хорошо!
Думаю пройду его.

Две плохие новости за последний месяц: Fivetran купила SQLMesh и dbt.

Почему это плохо.
SQLMesh относительно молодая компания, ей около трех лет. То, что ее продали, означает, что они не смогли сделать выручку или не хватило амбиций фаундеров.
Думаю, что сейчас фаундеры SQLmesh ходят грустные.

Про dbt не скажу, но SQLMesh наступала ей на пятки.
И такая консолидация плохо повлияет на развитие инструментов.

А кто-нибудь читал эту книгу "Agentic Design Patterns" (Antonio Gulli, Google)?

https://docs.google.com/document/d/1rsaK53T3Lg5KoGwvf8ukOUvbELRtH-V0LnOIFDxBryE/preview?tab=t.0

В компаниях часто нужно ограничить доступ к данным клиентов или филиалов.
Мне это удалось сделать в Metabase Pro, SQLMesh и Postgres.

Я использовал Row Access level в Postgres. Все управляется из кода SQLMesh.
Для это к конце SQLMesh скрипта нужно написать

JINJA_STATEMENT_BEGIN;
-- Enable Row Level Security
ALTER TABLE {{ this_model }} ENABLE ROW LEVEL SECURITY;
ALTER TABLE {{ this_model }} FORCE ROW LEVEL SECURITY;

-- RLS Policy for data_engineer role (full access)
DROP POLICY IF EXISTS rls_data_engineer_all ON {{ this_model }};
CREATE POLICY rls_data_engineer_all ON {{ this_model }} FOR ALL TO data_engineer USING (true) WITH CHECK (true);
GRANT ALL ON {{ this_model }} TO "data_engineer";

-- RLS Policy for general role (full access)
DROP POLICY IF EXISTS rls_general_select ON {{ this_model }};
CREATE POLICY rls_general_select ON {{ this_model }} FOR SELECT TO general USING (true);
GRANT SELECT ON {{ this_model }} TO "general";

-- RLS Policy for germany role (restricted by legal_entity)
DROP POLICY IF EXISTS rls_germany_select ON {{ this_model }};
CREATE POLICY rls_germany_select ON {{ this_model }} FOR SELECT TO eu USING (entity = 'Germany');
GRANT SELECT ON {{ this_model }} TO "germany";

JINJA_END;

-- ACCESS RIGHTS
ON_VIRTUAL_UPDATE_BEGIN;
ALTER VIEW @this_model SET (security_invoker = true);
ALTER VIEW @this_model SET (security_barrier = true);
GRANT SELECT ON @this_model TO "general";
GRANT SELECT ON @this_model TO germany;
ON_VIRTUAL_UPDATE_END;

Здесь используются три роли с разным доступом:
- data_engineer- полный доступ
- general - полный доступ на SELECT
- germany - доступ только к строкам, где в колонке entity написано Germany

К сожалению pre statement макросы, которые генерируют несколько строк SQL работают плохо в SQLmesh, поэтому использовал Jinja.
Также мне не удалось сделать доступы на уровне колонок. Оно заработало, но в Metabase пользователь не может видеть таблицу, если у него ограничен доступ к одной из колонок. Я пытался обойти это, но нарвался на баг в SQlMesh
https://github.com/TobikoData/sqlmesh/issues/5461

В итоге я вынес колонки с персональными данными в отдельные таблицы.

Как работает с этим Metabase: https://www.metabase.com/docs/latest/permissions/impersonation

Примерно с 28 мая DBT запустила новый проект FUSION.
Выглядит как ответ SQLMesh.

https://github.com/dbt-labs/dbt-fusion
Заявили, что пишут на Rust, а не на Python. Не уверен, что это правльное решение для open source проекта.

Скомпилированная версия книги про разработку агентов

Как я пишу код в Cursor!

1) Я использую fdd - feature driven design. Весь код лежит в иерархических папках. Стараюсь строго следовать локальности кода. В одной папке могут быть тесты, python, java scrip, jinja

2) Самое главное в каждой папке держать md файл с описанием фичи. Не больше 500 строк. Что там писать? Как вам фантазия позволяет.

3) Как вносятся изменится:
- пишу текстом что нужно в режиме Plan, auto. Тегаю нужные md файлы
- отвечаю на вопросы, детально проверяю план
- нажимаю кнопку Build, тестирую
- в новых чатах фиксю баги

Фича работает:
- Прошу курсор внести изменения в документацию. Всегда внимательно вычитываю. На мой взгляд, md файлы даже важнее самого кода
- делаю code review в Codex для uncommited изменений

Всё!

У нас получилось завести ducklake!

Catalog в Postgres, данные в S3. Dbt смог залить данные. Удалось также подключить с локальной машины через Dbeaver.
Bueanavista больше не нужна. Как только закончим полный переезд, отпишусь

Про увольнения от AI.
На днях созванивался с рекрутером - внедрить AI в компанию, в корой работает 700 человек.
Цель: сократить персонал до 500 человек.

Я сам работу не ищу, да и задача слишком суровая.
Но имейте ввиду, что спрос на это уже пошел!

Нужны люди, кто занимаются оптовыми продажами, не важно где.

Может есть у меня кто-то тут? Мне нужен звонок на 15 минут

Буду рад, если поделитесь со своими знакомыми

Робо рука, осталось нож научить держать :)
https://github.com/TetherIA/aero-hand-open

Свежее исследование про зарплаты тех специалистов в ФинТехе в UK и USA.

1) текучка высокая - 89% готовы сменить работу
2) Половина недовольны своей текущей ролью - стагнация зарплат и отсутствия роста (91% без повышения).
3) Зарплаты в data особо не растут
4) Тренд на AI - компании активно создают свои команды по работе с ИИ.

Не будь как Cloudflare - проверяй свои коммиты в AI 🙂

В последнее время пишу так:
1) Cursor Auto, Plan mode - рассказываю про то, что нужно сделать. Прошу прочитать нужные MD файлы в проекта (именно прочитать, просто тегнуть не работает). И еще прошу задать вопросы, которые непонятны
2) Cursor пишет план
3) В новом чате тегаю план, прошу его реализовать
4) В codex плагине вставляю план, прошу сравнить его с non-commit изменениями

Немного долго, но хотя бы работает. с MCP я так и не подружился. Пока их больше пишут, чем пользуются

https://antigravity.google кто-нибудь уже пробовал?
Есть отличие от курсора?

UPDATE Оф. видео: https://www.youtube.com/watch?v=nTOVIGsqCuY

Мне в последнее время стал интересен мир лямда-обработки данных.

И это можно делать не только в дорогих AWS или Google cloud.
Hetzner S3 хранилище стоит 5 евро в месяц за терабайт!
Поднимаем там сервер, обрабатываем данные из S3 и кладем в S3 в duckdlake.
Гасим сервер.
Идеальная картинка для медленно меняющихся данных.


У нас это получилось! S3 -> dbt -> ducklake(S3)

PS: собрать конфиг для dbt оказалось непростой задачей, как-нибудь выложу его

Amazon выпустил интересную вещь для RAG - векторные индексы прямо в S3
Я уже писал, что Cursor использует Turbopuffer для индексации кода.
https://turbopuffer.com/customers/cursor

А Amazon решил прийти и на эту поляну
https://venturebeat.com/data-infrastructure/aws-claims-90-vector-cost-savings-with-s3-vectors-ga-calls-it-complementary

И похоже это будет успешно

Мне кажется сейчас интересная ситуация с наймом.

У меня пару друзей в uk искали год работу :(.
И вроде кажется, что стартапам легче нанимать людей стало, потому что рынок стал рынком работодателя.

Но с другой стороны рисковать меньше хочется: уйдешь с текущего места, помучаешься в стартапе пару месяцев, затем сам уйдешь, или тебя. И потом опять много месяцев искать работу.

Когда можно быстро найти работу - рисковать легче.

Что думаете?

Соревнование в стиле Kaggle для LLM агентов - Enterprise RAG Challenge 3

Что там есть:
1) демо бенчмарк - можно быстро проверить, что ваш агент вообще живет, читает задачи и умеет ходить в API
2) бенчмарк интернет магазина - каталог, купоны, корзина. агент должен находить некорректные сценарии и уметь честно завершать задачу отказом
3)тренировочный enterprise бенчмарк

Если хочется попробовать написать своего агета, то ERC3 сейчас один из самых удобных способов это сделать
https://erc.timetoact-group.at