Инжиниринг Данных – Telegram
Инжиниринг Данных
23.5K subscribers
1.99K photos
55 videos
193 files
3.21K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
ФААНГ уже нет… В топе их нет по зарплатам.

В этом плане для меня рынок Северной Америки — это большой непредсказуемый рынок. Тут всё ещё есть надежда найти интересную работу, высокую зарплату, начать что-то совмещать или делать своё. В целом нет предела, и есть рабочие варианты для роста дохода.

В РФ мне всё видится в другой плоскости. Все зарплаты чётко ограничены. Совмещение практически исключено. Главное направление дополнительного дохода — это коучинг, менторинг и курсы. Создать свой сервис или продукт очень сложно.

На рынке работодателей доминируют несколько основных компаний с известными вилками. Если брать дата-инженеров, то это всегда одинаковый доход и схожий стек. Рост только в лидов и руководителей, но сильно на доход не повлияет.

Так как я давно не работал в РФ, я могу ошибаться. Мой основной источник — это вакансии с GetMatch.

Как обстановочка?
😭32🦄10💯8❤‍🔥4🌚2
This media is not supported in your browser
VIEW IN TELEGRAM
Сейчас стараемся изучать каждые выходные проекты. Сегодня Snowflake + Terraform. Очень круто, что ребята выходят из зоны комфорта и учат других!
❤‍🔥32💯84
Как говориться elevate your game with AI - ну то есть пора уже дальше двигаться.

Кто смотрел мое видео как я на работе работаю и задачки закрываю одну за другой с AI, MCP, rulers, repo indexing и тп? Там я показал реальные практические примеры, которые закрывают 90% моих повседневных задач.

Но все это ограничено 1-2 сессиями с AI, где я, как бы контролирую файлы и процесс.

Все пошло дальше. Теперь инженер может запускать 20-50 сессий и агенты работают, каждый в свой git branch и потом все это собирается в pull request.

Я пока еще не приступил к такому, но это следующий шаг в разработке, уже без IDE.

Вот что почитать:
Gastown
Multi-Claude
Claude-flow

Это все будем разбирать на Surfalytics.

Даже уже сейчас вы может через tmux запускать агентов и контролировать план задача через OpenSpec.

PS при этом 98% моих коллег, а их явно очень много практически не используют базовые возможности. На их фоне я просто супер герой производительности, я уже думаю понижать скорость и просить AI помогать мне дозировать мою сверх производительность🙈

PPS: как видите Claude code сейчас number one для разработки.

А как у вас?
17❤‍🔥1510🌚1
Есть интересный концепт про проверку вашей LLM на самостоятельность - Solving a Million-Step LLM Task with Zero Errors


Главная проблема современных языковых моделей (LLM) — «накопление ошибок». Если задача требует 1000 последовательных шагов и на каждом шаге вероятность ошибки всего 1%, то вероятность успешного завершения всей цепочки стремится к нулю.

Авторы представили систему MAKER, которая смогла выполнить задачу, состоящую из более чем 1 000 000 (миллиона!) шагов, не допустив ни одной ошибки.

За счет чего это работает?
🔹 Микроагенты: Задачу дробят на атомарные части, где ошибиться практически невозможно.
🔹 Массовое голосование: Каждый чих нейронки проверяется другими агентами в реальном времени. Если один «галлюцинирует», остальные его поправляют.
🔹 MDAP: Вместо монолитного ИИ используется распределенная сеть процессов (Massively Decomposed Agentic Processes).

Почему это важно?
Это доказывает, что для решения сверхсложных задач (уровня целых корпораций или научных открытий) нам не обязательно ждать GPT-6. Мы можем строить сверхнадежные системы уже сейчас, просто правильно организуя работу существующих моделей.


Как раз gastown это пример такой системы, которая разбивает вашу задачу на подзадачи и справляется с MAKER проблемой.

Мой пост набрал много «кринж», и тут интересно. То есть много людей очень относятся скептично к идеи AI для разработки. Оно понятно, модели не могут дни недели посчитать или кол-во быка R в слове клубника.

Но на самом деле проблема в другом. Многие не хотят учиться (не обязательно вы), я в целом про коллег. И не обязательно про AI, можно так сказать про git, CLI, docker и другие вещи. Это называется growth mindset. Ваша задача все время учиться, пусть и в ущерб личным развлечениям и семейным делам. Вы либо все время качаете навыки и развиваетесь, либо в какой-то момент«давай до свидания».

Я всегда открыт к новому и всегда все пробую, что может повлиять на мою работу, что позволяет быть «в форме». Например на собеседовании вас обязательно спросят про AI use cases, а вы такой им про gastown разложите…шах и мат💡
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥23💯101🐳1🌚1👨‍💻1
Forwarded from Книжный куб (Alexander Polomodov)
Сайт по system design (Рубрика #Architecture)

Многие мои подписчики знают, что я планировал написать книгу ... но я не уточнял какую. Суть была в том, что я параллельно занимался работой над несколькими книгами. Ближе всего к готовности была книга по System Design (с фокусом на подготовке к интервью) - мне просто было проще всего ее собрать из своих материалов. Я работал по стартинке - сделал желаемое оглавление, собрал часть глав из своих материалов и получил большой Google Doc. Но на каникулах меня осенило, что цель-то не в книге, а в удобной компиляции моих мыслей. Поэтому я поменял подход - скормил google doc сервису Lovable для создания интерактивного сайта, а дальше инкрементально начал его дорабатывать. Я этим занимался больше месяца и получился такой вот сайт system-design.space. Конечно, нет предела совершенству и я собираюсь продолжить его наполнение, но думаю, что он уже может принести пользу тем, кто хочет прокачаться в проектировании.

Если найдете какие-то ошибки или опечатки, то пишите - я буду править их по мере своих сил. В ближайшие месяцы я планирую добавить еще рекомендованных книг, поработать над пулом задачек, чтобы тут были не только классические из других книг + сделаю побольше красивых визуализаций. На более далеком горизонте я планирую пойти в стороне не только классическо system design, но и других типов, что описаны в главе про специфику интервью.

#SystemDesign #Interview #Career #Architecture #DistributedSystems #Databases #Engineering #Software
❤‍🔥55👨‍💻41
Давайте проведем опрос про уровень использования AI вами в работе.

Этап 1: Нулевой или почти нулевой ИИ: возможно автодополнение кода, иногда вопросы в чат

Этап 2: Агент для кодирования в IDE с разрешениями. Узкоспециализированный агент для кодирования в боковой панели запрашивает ваше разрешение на запуск инструментов.

Этап 3: Агент в IDE, режим YOLO: Доверие растёт. Вы отключаете разрешения, агент становится более широким.

Этап 4: В IDE, широкий агент: Ваш агент постепенно заполняет весь экран. Код нужен только для просмотра различий (diff).

Этап 5: CLI, один агент. YOLO. Различия (diff) пролетают перед глазами. Вы можете смотреть на них, а можете и нет.

Этап 6: CLI, мультиагентность, YOLO. Вы регулярно используете от 3 до 5 параллельных экземпляров. Вы работаете очень быстро.

Этап 7: 10+ агентов, ручное управление. Вы начинаете достигать пределов ручного управления.

Этап 8: Создание собственного оркестратора. Вы на передовой, автоматизируете свой рабочий процесс.

Я где-то между 4 и 6. Я не использую Cursor, поэтому CLI слово ко мне не очень подходит.

Сегодня у Cursor появилось обновление - CLI Agent. В целом я понимаю, что в IDE намного больше ограничений, так как она занимает весь экран и сложно иметь много окон с IDE, у меня обычно 2-3 сессии параллельно.

В след посте добавлю опрос.
4❤‍🔥2
🎓Старый добрый формат вебинаров 🎓
27 января в 20:00 по мск
Здесь в канале трансляция...

🖥 Тема: Единое пространство аналитики, или просто Тенгри.



Спикер - Голов Николай, последние годы строил аналитические платформы на таких системах как Snowflake и Databricks, о которых часто говорит Дмитрий.
🧩Собрал стартап, вместе с командой запилили аналог, о чем и расскажет нам.

На вебинаре мы попробуем разобраться, почему десятки тысяч компаний выбрали Snowflake, а те, кто хочет локальное развертывание, смогут выбрать Tengri Data Platform ( который доступнен как на своем железе так и в облаках, объединяющий хранение, трансформацию, визуализацию данных, SQL и Python, и все это для десятков и сотен TB).


🧠 Николай неоднократно выступал у нас, легендарные материалы про Data Vault Modeling (Можете найти на ютуб канале)

#Вебинар #datalearn
❤‍🔥30
Live stream finished (1 hour)
Там много классных AI штук появляется на рынке, что и не успеваешь за всем уследить, в Discord Surfalytics у нас даже есть специальные канал dev-boost-with-ai, где я собираю самое важное, что может повлиять на нашу работу.

Буквально на днях увидел про Clawbot. Судя по отзывам топ инструмент, который служит персональным ассистентом и живет на локальной машине (бесплатный и открытый).

Я хотел его попробовать для автоматизации создания и мониторинга задач в Jira, Notion, Asana. У меня всегда с этим проблема, я не создаю и не обновляю задачки.

А сегодня ребята скинули пост - From Clawdbot to Moltbot: How a C&D, Crypto Scammers, and 10 Seconds of Chaos Took Down the Internet's Hottest AI Project

Эта статья рассказывает о драматической истории проекта Clawdbot (теперь Moltbot) — самостоятельно размещаемого AI-ассистента, который за 72 часа пережил настоящий хаос.
Основные моменты:

Взлёт проекта
• Clawdbot набрал 60,800+ звёзд на GitHub за рекордно короткое время
• Это был AI-ассистент с "руками" — не просто чат, а инструмент, который реально выполнял действия (доступ к файлам, браузеру, командной строке)
• Поддерживал 50+ интеграций и работал через WhatsApp, Telegram, Slack, iMessage и другие платформы

Принудительный ребрендинг
• Anthropic (создатели Claude) потребовали сменить название из-за схожести "Clawd" с "Claude"
• Проект переименовали в Moltbot (от слова "molt" — линька у омаров, символ роста)

10 секунд хаоса
• При переименовании аккаунтов GitHub и X/Twitter основатель допустил ошибку
• Криптоскамеры перехватили старые аккаунты за ~10 секунд и начали рассылать мошеннические объявления
• Появились фейковые токены
$CLAWD на Solana с капитализацией до $16 млн, которые затем обрушились

Проблемы безопасности
• Исследователи обнаружили сотни публично доступных экземпляров Moltbot с открытыми учётными данными
• Через Shodan можно было найти API-ключи, токены ботов, историю переписок и возможность удалённого выполнения кода
• Демонстрация показала, как за 5 минут можно перехватить письма пользователя через prompt injection

Вопросы к Anthropic
• Многие пользователи Moltbot использовали Claude как основную модель, фактически продвигая продукт Anthropic
• Сообщество недоумевает: зачем компания преследует проект, который увеличивал продажи их подписок?

Выводы статьи:
История показывает хрупкость экосистемы AI и open-source проектов — один юридический запрос может запустить цепную реакцию из взломов, скамов и хаоса. Проект технически остаётся сильным, но репутационный ущерб огромен.

Будьте аккуратны с новыми инструментами.
❤‍🔥10
А Antropic есть станица с курсами. Я сам не проходил, но дал задание сыну (13 лет)

AI Fluency for Students
Claude 101
Claude Code in Action

Раньше
у него был VSCode + KiloCode, и он создавал простые игры. Я ему настроил Claude Code в CLI, и он сказал ему намного удобней работать в командной строке, чем в VSCode. Для меня это было неожиданно. Мне вот неудобно в CLI работать, я же не вижу файлы, которые меняется. А для него эти файлы были шумом, он сфокусирован на конечном продукте, и всякие там js, css файлы это лишняя абстракция, которую он еще не знает. Я его похвалил, что он делает крутые успехи, ведь даже в этом канале мало кто использует Claude Code😝

Конечно возникает вопрос - как же так, отдать AI весь процесс создания, а самому только смотреть на input/output. Возможно так и будет скоро и новое поколение явно будет использовать AI по другому. Я ему помог нарисовать диаграмму карандашом, что у нас происходит и как можно через API генерить картинки при загрузке страницы. Дальше я хочу, чтобы он загрузил эту игру (продукт) в Netlify (хостинг) и добавь настоящий домен. Таким образом будет пример end-to-end продукта. Я в 8 классе играл в Sims, Fallout 2 и Commandos, а тут такое раздолье. Так же каждый вечер мы слушаем summary книг про компании и бизнес и мой главный point для детей, что важна дисциплина, фокус и consistency.

На подходе у нас Mini Reachy - open source робот (300 деталей), который умеет разговорить и видеть, обязательно напишу про него, когда соберем. Еще детям очень понравились проекты от Mark Robert - Crunch Labs.

Что касается меня, то я решил параллельно работать на Cursor и на Claude Code (CLI), чтобы не отставать от трендов.

PS Вот прям сейчас AI сэкономил мне 150$. На кухне выбило пробки и перестал работать фильтр и половину розеток. В щитке я включал/выключал все - не помогло. Уже думали завтра вызвать мастера. Я сфоткал свои розетки и щиток, рассказал симптомы и получил решение - на одной из розеток на кухне есть circuit breaker, я его нашел и нажал, все заработало! Электрики скоро без работы останутся! 😆

#дети #ai
🙈32👨‍💻16❤‍🔥85🙉43🐳2