Как должна выглядеть идеальная работа дата-инжира в 2026 году
1. Нанимаешь джунов, даёшь им задачу сделать опись данных в дата-каталоге типа Openmetadata. Можно и в эксельке, если совсем уж нет никаких дата-каталогов.
2. Нанимаешь миддлов, чтобы они подключили MCP к Hive, S3, Postgres и другим источникам данных.
3. Приходишь, пишешь промпт "Хочу витрину". GPT6 тебе все собирает, пишет даг, ты пробегаешься глазами, говоришь "Отлично!", деплоишь и идёшь отдыхать.
Можно даже и без джунов и миддлов, сам опись делаешь (но в бигтехе не получится, там таблиц тысячи, нужны джуны).
1. Нанимаешь джунов, даёшь им задачу сделать опись данных в дата-каталоге типа Openmetadata. Можно и в эксельке, если совсем уж нет никаких дата-каталогов.
2. Нанимаешь миддлов, чтобы они подключили MCP к Hive, S3, Postgres и другим источникам данных.
3. Приходишь, пишешь промпт "Хочу витрину". GPT6 тебе все собирает, пишет даг, ты пробегаешься глазами, говоришь "Отлично!", деплоишь и идёшь отдыхать.
Можно даже и без джунов и миддлов, сам опись делаешь (но в бигтехе не получится, там таблиц тысячи, нужны джуны).
Дата-инженер - это умирающая профессия
Я искренне убежден, что дата-инженеры в ближайшие три года станут такими же динозаврами, как админы БД Oracle или BI-разработчики на Power BI.
Наши пайплайны отрисует текстовый процессор с контекстным окном в 2 миллиона токенов с доступом по REST или через CLI в Airflow.
Data quality и сборку витрин сделает он же, если дать ему доступы по MCP ко всей инфраструктуре (с аппрувами команд со стороны человека).
Если выдать текстовому процессору доступы к Confluence и Gitlab, то он поймет что и как в компании работает.
А если контекстное окно расширят до 10 миллионов токенов, то туда влезет вообще вся кодовая база среднестатистической IT-конторы и все знания компании, и он сможет точечно внести изменения в код в любом месте и ничего не сломать.
Профессия будущего с кучей денег - это AI Engineer, то есть текстово-процессорный инжир полного цикла: от деплоя моделей и прочего mlops до тюнинга перфоманса моделей и оптимизации расхода токенов. Такой инженер должен быть как немного дата-систиенсом, так и дата-инжиром и девопсом. При этом уклон, конечно, в ML. Самый богатый AI Engineer - это тот, кто сэкономил компании миллионы на моделях, из чего он сам себе в карман положит полмиллиона-миллион зелёных в год.
#прогнозы
Я искренне убежден, что дата-инженеры в ближайшие три года станут такими же динозаврами, как админы БД Oracle или BI-разработчики на Power BI.
Наши пайплайны отрисует текстовый процессор с контекстным окном в 2 миллиона токенов с доступом по REST или через CLI в Airflow.
Data quality и сборку витрин сделает он же, если дать ему доступы по MCP ко всей инфраструктуре (с аппрувами команд со стороны человека).
Если выдать текстовому процессору доступы к Confluence и Gitlab, то он поймет что и как в компании работает.
А если контекстное окно расширят до 10 миллионов токенов, то туда влезет вообще вся кодовая база среднестатистической IT-конторы и все знания компании, и он сможет точечно внести изменения в код в любом месте и ничего не сломать.
Профессия будущего с кучей денег - это AI Engineer, то есть текстово-процессорный инжир полного цикла: от деплоя моделей и прочего mlops до тюнинга перфоманса моделей и оптимизации расхода токенов. Такой инженер должен быть как немного дата-систиенсом, так и дата-инжиром и девопсом. При этом уклон, конечно, в ML. Самый богатый AI Engineer - это тот, кто сэкономил компании миллионы на моделях, из чего он сам себе в карман положит полмиллиона-миллион зелёных в год.
#прогнозы
❤1
Нормальная зарплата для дата-инженера - это 100 000 рублей в месяц.
Если этих денег тебе не хватает, то нужные средства тебе должна давать твоя женщина. Деньги - это выражение женской любви. Если много даёт, то ей много вернётся. Если хочет обеспеченного, то обеспечит тебя, и ты сразу будешь обеспеченным. А ты будешь ее вдохновлять и одаривать мужскими космическими энергиями, заботой и лаской, будешь радовать ее своим присутствием в ее жизни.
Если у тебя уже есть дети, то настоящей женщине для любви они не помеха, ведь чужих детей не бывает. Если у тебя есть дети, но ещё нет своей квартиры, то настоящей женщине с милым рай в шалаше, если любит, и вообще Бог дал зайку даст и вам лужайку.
Настоящая женщина также должна угадывать твое настроение и твои потребности, ей не надо сообщать "Хочу есть" - она видит что ты голодный вечером после работы дата-инженером и сразу идёт готовить минимум пять разных блюд.
Деньги от женщины - это выражение ее любви к тебе. Причем сумма тоже важна:
- Если ей 18, и у нее не было парня, то можешь и ты оплатить за нее пиво и чипсы в Пятёрочке.
- Если у нее был один парень, то 100 000 рублей в месяц тебе от нее - это базовый минимум.
- Два парня - 200 000 рублей.
- 50 парней - минимум пять миллионов в месяц она должна зарабатывать, чтобы доказать тебе что она тебя любит. Она пойдет на вторую, третью работу, на вахту риэлтором в Дубае лишь бы доказать тебе, что любит тебя. Иначе она тебя не любит, и от нее надо уходить.
- Если у нее уже есть дети, то она идёт на работу и обеспечивает их, а ты вдохновляешь ее на трудовые свершения ради любви.
Вот поэтому 100 тысяч рублей в месяц - это норма, дорогой друг. Расслабься и не парься, все у тебя замечательно, а если нет, то срочно ищи настоящую женщину. Не знаешь как - оставляй заявку в комментариях на курс от админа "Как найти настоящую женщину?", всего за 50 000 рублей по скидке перед новым годом.
#memes#сарказм
Если этих денег тебе не хватает, то нужные средства тебе должна давать твоя женщина. Деньги - это выражение женской любви. Если много даёт, то ей много вернётся. Если хочет обеспеченного, то обеспечит тебя, и ты сразу будешь обеспеченным. А ты будешь ее вдохновлять и одаривать мужскими космическими энергиями, заботой и лаской, будешь радовать ее своим присутствием в ее жизни.
Если у тебя уже есть дети, то настоящей женщине для любви они не помеха, ведь чужих детей не бывает. Если у тебя есть дети, но ещё нет своей квартиры, то настоящей женщине с милым рай в шалаше, если любит, и вообще Бог дал зайку даст и вам лужайку.
Настоящая женщина также должна угадывать твое настроение и твои потребности, ей не надо сообщать "Хочу есть" - она видит что ты голодный вечером после работы дата-инженером и сразу идёт готовить минимум пять разных блюд.
Деньги от женщины - это выражение ее любви к тебе. Причем сумма тоже важна:
- Если ей 18, и у нее не было парня, то можешь и ты оплатить за нее пиво и чипсы в Пятёрочке.
- Если у нее был один парень, то 100 000 рублей в месяц тебе от нее - это базовый минимум.
- Два парня - 200 000 рублей.
- 50 парней - минимум пять миллионов в месяц она должна зарабатывать, чтобы доказать тебе что она тебя любит. Она пойдет на вторую, третью работу, на вахту риэлтором в Дубае лишь бы доказать тебе, что любит тебя. Иначе она тебя не любит, и от нее надо уходить.
- Если у нее уже есть дети, то она идёт на работу и обеспечивает их, а ты вдохновляешь ее на трудовые свершения ради любви.
Вот поэтому 100 тысяч рублей в месяц - это норма, дорогой друг. Расслабься и не парься, все у тебя замечательно, а если нет, то срочно ищи настоящую женщину. Не знаешь как - оставляй заявку в комментариях на курс от админа "Как найти настоящую женщину?", всего за 50 000 рублей по скидке перед новым годом.
#memes
🤡3💊2🥴1
This media is not supported in your browser
VIEW IN TELEGRAM
Вот почему айтишнику нужно работать по ТК РФ и получать минимум 500к в месяц, а лучше 700-900к в месяц
🤡4💊2🥴1🤝1
Интересная статья про то, как AI агенты убивают разработку ПО.
Зачем нужен Power Point, когда AI сгенерирует тебе презентацию в фирменном стиле компании?
Зачем нужны операционные системы, когда OpenAI создаёт генеративную ОС, в которой можно за пару промптов сгенерировать себе видеоредактор или свой личный Photoshop?
SaaS-сервисы пытаются интегрировать AI, но зачем их услуги, если можно сгенерировать свой личный Databricks или AWS?
#технологии
Зачем нужен Power Point, когда AI сгенерирует тебе презентацию в фирменном стиле компании?
Зачем нужны операционные системы, когда OpenAI создаёт генеративную ОС, в которой можно за пару промптов сгенерировать себе видеоредактор или свой личный Photoshop?
SaaS-сервисы пытаются интегрировать AI, но зачем их услуги, если можно сгенерировать свой личный Databricks или AWS?
#технологии
Martin Alderson
AI agents are starting to eat SaaS
Software ate the world. Agents are going to eat SaaS.
Forwarded from Machinelearning
Шейн Легг, сооснователь и главный AGI-сайентист Google DeepMind в свежем видео-подкасте предлагает понятие "минимального AGI".
Это не обязательно "божественный сверхразум", а агент, способный выполнять когнитивные задачи, типичные для человека.
С одной стороны, топовые модели уже владеют 100–150 языками и обладают феноменальной общей эрудицией, зная детали о городах в Новой Зеландии.
С другой стороны, они спотыкаются на базовых вещах, доступных любому ребенку.
Например, в задачах на визуальное мышление модели путаются в перспективе: они могут не понять, что синяя машина на картинке больше красной, просто потому что она находится ближе.
Другой пример - работа с диаграммами: если попросить ИИ посчитать количество ребер, выходящих из узла на графе, он часто ошибается, так как не умеет внимательно пересчитывать объекты так, как это делает человек.
Человеческий мозг - это устройство весом чуть больше килограмма, потребляющее около 20 ватт энергии. Сигналы в нем передаются посредством электрохимических реакций со скоростью примерно 30 метров в секунду, а частота работы нейронов составляет всего около 100 герц.
Сравните это с современным дата-центром: это сооружение весом в сотни тонн, потребляющее 200 мегаватт. Сигналы там "бегают" со скоростью света, а тактовая частота процессоров достигает 10 млрд. герц.
Разница в масштабах — это десятки порядков сразу по нескольким измерениям: энергопотреблению, объему, пропускной способности и скорости. Поэтому считать человеческий интеллект верхним пределом возможного было бы ошибкой.
Критическим барьером остается непрерывное обучение. Люди, приходя на новую работу, не обязаны знать все сразу - они учатся в процессе.
Современный ИИ представляет собой статичные объекты после тренировки. Чтобы это изменить, потребуются архитектурные инновации, например, внедрение систем эпизодической памяти, которые позволят модели запоминать новый опыт и дообучаться на нем в реальном времени, не забывая старое.
В ближайшие годы мы увидим переход от ИИ как инструмента к агентным системам, способным самостоятельно планировать и выполнять сложные цепочки действий, например, написать ПО или спланировать поездку "под ключ".
ИИ не должен просто реагировать инстинктивно; он должен демонстрировать цепочку рассуждений, которую можно промониторить. Это дает возможность проверить, почему модель приняла то или иное этически сложное решение — например, солгать злоумышленнику, чтобы спасти чью-то жизнь.
Если мы сможем видеть этот скрытый процесс размышления, доверие к системе вырастет. Это станет критически важным, когда ИИ начнет трансформировать рынок труда: например, в сфере разработки ПО, где вместо команды из 100 инженеров для той же работы может потребоваться всего 20 специалистов, использующих продвинутые инструменты.
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Топ навыков, которые тебе не нужны в 2025, чтобы получать офферы:
1. Алгосы (если ты не квант и не работаешь близко к железу, то не нужны вообще)
2. Умение кодить (нужно только знать что такое геттеры, сеттеры, фабрики и прочее, а вот писать их уметь не нужно вообще)
Все это можно начитерить на изи. Если в компании есть этап с лайвкодингом, то там сидят ретрограды, к которым идти или не стоит, или туда ломятся вчерашние студенты, готовые работать за еду, и поэтому их этап с лайвкодингом можно и нужно начитерить. В норм компаниях лайвкодинг закончился в 2023-2024 годах, если был вообще.
Топ навыков, которые тебе нужны и которые не начитерить никак даже с транскрибатором:
1. System design и знания на уровне Senior solution architect и старшего системного аналитика.
2. Знание конкретных инструментов: что такое, как работает, как настраивать и где применять, а также какие косяки у инструмента есть.
3. Умение настраивать пайплайны AI-агентов. Новейший скилл чисто чтобы у тебя было время на детальный анализ проблем бизнеса, а не на технические затыки с кодом.
Если ты знаешь каким инструментом закрыть боли бизнеса и что может пойти не так в процессе развертывания этого инструмента, то тебе заплатят уйму денег за это, потому что лучше заплатить миллион в год тебе, нежели потерять десять миллионов на кривой архитектуре и падающих сервисах.
Будь не кодером, а суперпупердупер архитектором с глубокими знаниями каждого инструмента. А для последнего как раз нужно читать книжки и зазубривать вопросы и ответы с собесов.
#карьера #собесы
1. Алгосы (если ты не квант и не работаешь близко к железу, то не нужны вообще)
2. Умение кодить (нужно только знать что такое геттеры, сеттеры, фабрики и прочее, а вот писать их уметь не нужно вообще)
Все это можно начитерить на изи. Если в компании есть этап с лайвкодингом, то там сидят ретрограды, к которым идти или не стоит, или туда ломятся вчерашние студенты, готовые работать за еду, и поэтому их этап с лайвкодингом можно и нужно начитерить. В норм компаниях лайвкодинг закончился в 2023-2024 годах, если был вообще.
Топ навыков, которые тебе нужны и которые не начитерить никак даже с транскрибатором:
1. System design и знания на уровне Senior solution architect и старшего системного аналитика.
2. Знание конкретных инструментов: что такое, как работает, как настраивать и где применять, а также какие косяки у инструмента есть.
3. Умение настраивать пайплайны AI-агентов. Новейший скилл чисто чтобы у тебя было время на детальный анализ проблем бизнеса, а не на технические затыки с кодом.
Если ты знаешь каким инструментом закрыть боли бизнеса и что может пойти не так в процессе развертывания этого инструмента, то тебе заплатят уйму денег за это, потому что лучше заплатить миллион в год тебе, нежели потерять десять миллионов на кривой архитектуре и падающих сервисах.
Будь не кодером, а суперпупердупер архитектором с глубокими знаниями каждого инструмента. А для последнего как раз нужно читать книжки и зазубривать вопросы и ответы с собесов.
#карьера #собесы
👍1
Самый короткий хинт как выучить до уровня гуру любой инструмент
1. Читаешь книгу
2. Видишь, допустим, что в Kafka есть такой параметр как batch size. Просишь текстовый процессор типа Claude или Perplexity раскидать архитектуру условно в трёх разных индустриях с применением Кафки в качестве брокера и придумать сценарии как, к примеру, увеличение батчсайза повлияет на работу всех систем, забирающих данные из Кафки. Так ты не просто знаешь про такой параметр, но и понимаешь как он на деле на что влияет.
#хинты
1. Читаешь книгу
2. Видишь, допустим, что в Kafka есть такой параметр как batch size. Просишь текстовый процессор типа Claude или Perplexity раскидать архитектуру условно в трёх разных индустриях с применением Кафки в качестве брокера и придумать сценарии как, к примеру, увеличение батчсайза повлияет на работу всех систем, забирающих данные из Кафки. Так ты не просто знаешь про такой параметр, но и понимаешь как он на деле на что влияет.
#хинты
👍1🤝1
Деанон гетреджектеда
YouTube
Офферы на миллион в РФ бигтех и x2 от рынка на валютную удаленку. Реальный опыт делает разницу.
Мой клуб АйТи Красавчиков: https://boosty.to/itkrasavchik - подключайся к самым самым 😉
Самое быстрое интервью (TUI на 300 евро в день): https://youtu.be/HBoZsZC56nA
Таблица менторов-красавчиков: https://airtable.com/appFnC9IDuIHIMwMJ/shrvwuQZaX9CT2v76…
Самое быстрое интервью (TUI на 300 евро в день): https://youtu.be/HBoZsZC56nA
Таблица менторов-красавчиков: https://airtable.com/appFnC9IDuIHIMwMJ/shrvwuQZaX9CT2v76…
😁1
Прогноз на 2026 год в сфере занятости: будет все как с брачным рынком. То есть резко сократится число доступных вакансий для джунов, а у сеньоров будет 3-4 работы, чтобы хоть как-то дотягивать до уровня жизни 1950-х годов в Америке (со своим домом и автомобилем) и до уровня жизни "сытых нулевых" в России.
Джуны будут инцелами, сеньоры альфами. Миддлы (беты) будут держаться и трястись за свое место, запивая антидепрессанты литрами кофе и энергетиков.
#прогнозы
Джуны будут инцелами, сеньоры альфами. Миддлы (беты) будут держаться и трястись за свое место, запивая антидепрессанты литрами кофе и энергетиков.
#прогнозы
Даже не знаю как это комментировать цензурными словами. И возмущение тут не столько кабанчиком, сколько работником, который терпит это и радуется, что барин снизошел до холопов и разрешил им спать в офисе в будке для сна (вместо полной удаленки).
Про Комус, кстати, на канале есть кулстори собеса.
#режим_работы
Про Комус, кстати, на канале есть кулстори собеса.
#режим_работы
😁2
Хорошая компания в России - это когда
Anonymous Poll
84%
Есть полная удаленка
12%
Есть крутой офис со спортзалом рядом с Москоу-сити
20%
Есть печеньки/фрукты в офисе
32%
Есть купоны на обеды за счёт компании в пределах 1000 рублей (ни в коем случае не вычет из твоей зп)
28%
Есть дружный коллектив-семья и всякие совместные активности
0%
Есть скидывание всем офисом на подарки на ДР сотрудника Васи Пупкина
20%
Есть будка для сна на работе
Посмотрел видео.
Зашёл в комменты.
Понял что бомбят те, кто годами решал задачки на литкоде, но нашелся кто-то умнее их.
Чувака с видео не осуждаю ни разу.
#собесы
Зашёл в комменты.
Понял что бомбят те, кто годами решал задачки на литкоде, но нашелся кто-то умнее их.
Чувака с видео не осуждаю ни разу.
#собесы
YouTube
Как пройти собеседование на программиста в 2025
Enjoy the videos and music you love, upload original content, and share it all with friends, family, and the world on YouTube.
Душнилы бомбят что они годами сидели на своих местах, а пришли ушлые джуны, подключили всякие AI и сразу сорвали куш.
Я лично знаю одного лида, который работает в одном банке (не скажу каком именно) и который именно так на лида и прошел с зп в 550 на руки. При этом по знаниям чувак дай бог миддл.
Представляю как диванный воин с первого скрина придет такой и харкнет лиду в лицо) Точнее он так никогда не сделает потому что никогда и не узнает даже.
Найм в 2025 году сломан полностью, смиритесь, ребята. Ситуация страшная, ее только глобальный кризис исправит или третья мировая движуха, а пока кандидаты и эйчары продолжают наращивать арсеналы вооружений друг против друга.
#собесы
Я лично знаю одного лида, который работает в одном банке (не скажу каком именно) и который именно так на лида и прошел с зп в 550 на руки. При этом по знаниям чувак дай бог миддл.
Представляю как диванный воин с первого скрина придет такой и харкнет лиду в лицо) Точнее он так никогда не сделает потому что никогда и не узнает даже.
Найм в 2025 году сломан полностью, смиритесь, ребята. Ситуация страшная, ее только глобальный кризис исправит или третья мировая движуха, а пока кандидаты и эйчары продолжают наращивать арсеналы вооружений друг против друга.
#собесы
❤1