DE – Telegram
523 subscribers
314 photos
81 videos
15 files
410 links
Data Engineering Technologies.
SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt, LLM agentic systems, AI, robots, drones etc.

Boost channel - https://news.1rj.ru/str/boost/data_engi
Download Telegram
2😁14👏1
В мире data engineering происходит любопытная штука: джуны одновременно стали редкостью и ценностью.

AI автоматизировал рутину, компании стали осторожнее брать новичков — но объём данных растёт так быстро, что без свежей крови уже не справляются. В итоге рынок внезапно повернулся к тем, кто умеет учиться быстрее, чем обновляется документация к Airflow.

Сегодняшний junior — это не «младший разработчик». Это человек, который уже на старте понимает облака, SQL, пайплайны и не боится просить помощи у ИИ. Такой специалист становится усилителем команды, а не стажёром, за которым нужно присматривать.

И да: джунам стало сложнее входить. Но тем, кто вошёл, стало проще расти.
Мир данных любит смелых — тех, кто строит проекты, ломает ETL, собирает заново и снова идёт вперёд.

Если ты сейчас на пути в data engineering — не тормози. Большие системы данных редко открывают дверь дважды.

#dev #de #junior #AI #LLM
3👏53💯111
8😁103
Forwarded from Сиолошная
🥺 кто бы мог подумать, что из-за больших языковых моделей отложат анонс и, возможно, релиз Half-Life 3...

Мы с Самой больше не друзья 😭

(источник — инсайдеры Tom Henderson и его коллега Mike Straw)

Пояснение:
Valve хотели выпустить игру одновременно с запуском нового мини-компьютера, анонсированного совсем недавно, но теперь из-за подорожания оперативной памяти на сотни процентов сделать продукт доступным тяжело, и компания не уверена в цене/дате запуска. А память подорожала из-за АИ-бума — несколько производителей объявили об уходе с консьюмерского рынка в пользу работы на поставку компонент для дата-центров. Вот буквально сегодня Samsung сказали, что перестанут производить SATA SSD 😢
Please open Telegram to view this post
VIEW IN TELEGRAM
💯33
😁9
Я не так чтобы хорошо знаком с rust, да и на erlang писал всё больше для себя, но модель акторов из него перевернула моё понимание работы с многопоточкой. А вкупе с супервизором (gen_server) - так вообще подход к программированию. Так что категорически приветствую появление ещё одной реализации модели акторов.

https://habr.com/ru/articles/974660/ #rust
5
Если кто-то занимается разработкой агентных приложений (или просто LLM-based) и волнуется на тему безопасности, то у меня для вас есть полезный сканер от NVIDIA

https://github.com/NVIDIA/garak/

Это штука неплохо находит prompt injection, system prompt leaking, jailbreak'и и прочие радости AI-based приложений. И - оно правда работает (парочку уязвимостей мы им нашли😢)

Только не надо его натравливать на приложения вайбкодеров... Пожалуйста
5❤‍🔥11
Forwarded from DataEng
Обновленный мини-курс по Apache Kafka от небезызвестного Тима Бёргланда: Apache Kafka 101 (2025 Edition)
6