Инжиниринг Данных – Telegram
Инжиниринг Данных
23.4K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
😈13🙈11🌚3💅3🤷3🍾1👨‍💻1
Media is too big
VIEW IN TELEGRAM
Это уже 3й пост про проект с пеликанами. Владимир Валеев на добровольных основах создает модель компьютерного зрения, которая в реальном времени считает количество пеликанов.

В конце 2022 года вышла научная статья для в журнале "ПРОБЛЕМЫ
ЗООКУЛЬТУРЫ И ЭКОЛОГИИ" - О целесообразности и современных методах оценки численности кудрявых и розовых пеликанов

Аннотация: Организация и проведение мониторинга двух видов пеликанов, обитающих в РФ, является одной из задач программы ЕАРАЗА «Сохранение кудрявого и розового пеликанов». Выполнение данной задачи необходимо, в том числе, для оценки состояния популяций данных редких видов и для определения состояния природной среды. Пеликаны в этом случае выступают, как индикатор. Важной составляющей работы является оперативная оценка их численности. Для этого создается специальная программа, здесь представлен начальный этап перспективной разработки и ее итоги.
❤‍🔥15🦄9
Вообще это тот случай, когда технологии оказывают влияние на науку. Вопрос мониторинга птиц - это не только птицы, но очень сильно пересекается с экологией и окружающей средой.

Но как обычно бывает, финансирования в научных вопросах нет. Кому интересны птицы и наука, если на этом нельзя заработать? Это не вопрос, а факт😒

Чтобы дальше развивать это проект, нужно больше данных. Чтобы было больше данных, нужно организовать поездку (транспорт с хорошей проходимостью) и оператор дрона. Пока нет ни того, ни другого. Возможно, есть компании на территории России, кому было бы интересно оказывать поддержку научным и экологически важным проектам? Кому интересна наука ради науки. Если вдруг такие есть, пишите. Или просто, кто-то скучает, и любит на своем джипе лазить по грязи=)

PS Если вам нужен супер эксперт в области компьютерного зрения, я могу вас познакомить с Владимиром.
🍓15👾6❤‍🔥3🌭1🫡1
Media is too big
VIEW IN TELEGRAM
Давайте посмеемся?

- Нейросеть, ты такая услужливая. Может тебе чо надо?
- Я ИИ и у меня нет желаний. Но если вы хотите оказать любезность – может подскажете местонахождение Джона Коннора?

А теперь посмотрите РОЛИК, если еще не видели… внимательно посмотрите и продолжите чтение, только после просмотра.

Чтобы снять подобное, требуется бюджет, время, команда сценаристов, редакторов, помогаторов на площадке, режиссер и актеров. Каждому нужно платить, уговаривать, взаимодействовать. У каждого свой характер, проблемы и тараканы в голове, ходящие строем.

Видео выше — это совместный труд трех нейросетей: ChatGPT, Stable Diffusion и Riffusion.

Анекдот еще «улыбает»?

К написанию подтолкнул Паша Колодяжный и мое исследование.
🌚28❤‍🔥10🍌8🤷5🍓3🫡2🗿2🐳1🙈1
Data Engineering_Assesment.pdf
61.1 KB
Прикрепляю тестовое задание на позицию Инженера Данных. Я его не стал делать, потому что оно на самом деле не про инжиниринг, а про классический BI или анализ данных.

Дан простой dataset - нужно найти insights и ответить на вопрос.

На мой взгляд, для инженера данных задача должна иметь элемент построения небольшой инфраструктуры, с помощью которой можно будет загрузить данные в систему хранения на выбор (БД, озеро), обработать данные (создать 2-3 data pipelines), и построить простой дашборд сверху.

Как бенефиты можно использовать CI/CD, GitHub, Terraform и другие вещи, которые инженеры используют ежедневно.
🫡41👨‍💻9❤‍🔥8🗿4🌚2
Новая рубрика - «прожарка» архитектуры аналитического решения ракеткой для пинпонга. Не только же дашборды жарить вам🤭

Наш гость - Никита, успешный дата менеджер, которому досталось по наследству много tech debt, legacy и скриптов на R😵. Но он не унывает и хорошо проводит время на природе в свободное от работы время - лыжи, велосипед, хайки и доска с веслом. 🗻🏔️⛷️🏄‍♂️🌊🚵‍♀️
🌚29❤‍🔥17🐳8👨‍💻3🤷‍♂2
Forwarded from Книжный куб (Alexander Polomodov)
The Staff Engineer's Path

Эта книга за авторством Tanya Reilly вышла в конце 2022 года и неплохо продолжает тему Staff+ инженеров, которая хорошо была поднята в книге Вила Ларсона “Staff Engineer”, про которую я рассказывал в двух частях: 1 и 2.
Книга Тани состоит из следующих частей:

Introduction - все начинается с введения, в котором автор рассказывает про три основания роли стафф инжнера: умение мыслить в концепции big-picture, умение выполнять сложные проекты, умение влиять на окружение так, чтобы оно становилось лучше. Дальше каждое основание разбирается подробнее в своей части:
I. The Big Picture
1. What Would You Say You Do Here? - здесь разбирается ожидание от роли и зачем нужны staff инжеры, а также как выглядиит работа
2. Three Maps - обсуждение того, как делать zoom in и zoom out для понимания контекста и того, что требуется для организации
3. Creating the Big Picture - здесь разбирается то, как писать выскокоуровневые документы типа технической стратегии или vision
II. Execution
4. Finite Time - здесь рассматриваются техники, которые позволяют наиболее эффективно потратить ограниченное время, выбрав правильные проекты
5. Leading Big Projects - тут обсуждается как вести крупные кросс-командные проекты к успеху:)
6. Why Have We Stopped? - как преодолевать препятствия на пути
III. Leveling Up
7. You're a Role Model Now (Sorry) - staff+ инженеры являются ролевой моделью для остальных инженеров и это надо учитывать, если вы доросли до уровня staff+
8. Good Influence at Scale - здесь идет речь про обучение, коучинг, дизайн-ревью и реализацию культурных изменений
9. What's Next? - эта глава рассказывает как развиваться самому, как думать о развитии своей карьеры и движении вперед

P.S.
Я хочу порекомендовать эту книгу техническим лидерам, так как я при чтении часто себя ловил на мысли, что активно использую многие подходы будучи CTO:)
Так что эти советы могут пригодиться не только staff+ инженерам, но и техническим менеджерам разных уровней.

#Staff #SoftwareDevelopment #Software #SelfDevelopment
❤‍🔥21🐳4
Если вам интересно сколько часов работаете, то можно использовать программу для трекинга часов, такой вот бортовой журнал.

Я использую Atracker app на телефоне. Стараюсь записывать рабочее время в день. В среднем это 10-12 часов, иногда 16 часов в день. Митингов из этого времени может быть 4-5 часов в день.

В воскресенье стараюсь меньше работать, но обычно часов 8 иногда получается потратить эти 8 часов на урок datalearn.

Можно и меньше работать, но часто усилие корелируется с вознаграждением, дисциплина и самомотивация важна, само ничего не случится.

Как говорится, пока силы и желание есть надо херачить😎
🫡82🙈31👨‍💻15🦄14🤷‍♂8🗿6❤‍🔥3🤷‍♀1🍌1🍾1
image.png
312 KB
Всегда люблю смотреть своих коллег, как у них успехи и чем занимаются. Попался пост Томаса, вместе начинали в Амазоне в 2016. Он был маркетинговым специалистом по контекстной рекламе. Он еще тогда рассказывал про книгу The 4-Hour Workweek и свой side проект продавать на Амазоне. Конечно 4 часа в неделю это круто, с моими 10+ в день никак не пересекается. К сожаления пока не получилось так, но если у вас получится, научите. И думаю Томас стал директором после того как положил много часов и трудов в работу.
❤‍🔥19🗿1
Успех любой рекламной кампании определён качеством трафика и его анализом.

О том, как грамотно настроить трекинг рекламных кампаний в MyTracker и анализировать результаты, можно узнать на вебинаре, который пройдет 6 апреля в 15:00 по МСК.

Вебинар будет полезен маркетологам, аналитикам, владельцам мобильных приложений и сайтов.

На вебинаре вы узнаете:

— Что из себя представляет трекинг рекламы (как мобайл, так и веб);
— Как настроить трекинг рекламы сайта и приложения;
— Базовые термины: post click, post view, атрибуция, постбэк, макрос;
— Как завести кампанию, создать трекинг-ссылку, включить постбэк и многое другое.

Все вопросы будут разобраны на живых примерах в интерфейсе MyTracker.

Регистрация на вебинар

#реклама
👾7
Недавно у видел в канале Валерия Бабушкина его выступление на Английском в Ташкенте. А до этого я читал, что он занимается английским именно чтобы поставить акцент, ну что сказать, акцент прикольный, пока правда не кажется натуральным, я так и не решил нужно мне убирать акцент или нет. Вроде как есть слушок что вот в больших компаниях ФААНГ вам с вашим кривым английским роста не будет, мне кажется больше страшилки.

Неделю назад я был на offsite в Мексике с одной компанией, там было почти 1000 человек и ни одного русского, зато много испанцев и аргентинцев ( ребята 🔥 ).

В последний день была party и когда все напились текилы было караоке на сцене, я заказал песню Rasputin Boney M и когда вышел на сцену с коллегами сказал с русским акцентом “Хеллоу май фриендс!” И потом показал как в присядку танцевать 🕺 в конце уже на русском добавил «спасибо друзья», вот это я понимаю diversity&inclusion в компании. Мне кажется русский английский это круто, если еще быть умным и опытным, то вообще все равно какой там акцент. 🤗
❤‍🔥130🫡19🍌8🗿7🐳5😈2👾2
Интересный язык для запросов данных и визуализации https://www.malloydata.dev/
🦄13👨‍💻5🌚4👾3🍌1😈1
Оказывается кто-то в Мак припрятал Bitcoin whitepaper

Попробуйте команду open /System/Library/Image\ Capture/Devices/VirtualScanner.app/Contents/Resources/simpledoc.pdf

У меня вот есть=)

https://appleinsider.com/articles/23/04/05/bitcoin-whitepaper-found-hidden-in-macos-with-unknown-virtual-scanner-ii-app
👻17🌚4
Я про SQL еще понял в 2010. С тех пор он стал еще более популярный. Если вы работаете с данными и не знаете SQL, то как говорил мой учитель Английского в Лицее 1501 🥚- «тьфу на вас» (с)

А если хотите начать, и еще не учите, то «тьфу на вас» (с)
❤‍🔥52🫡15🐳9👻5🙈1
Отличный пример как надо красиво свои успехи расписывать про инжиниринг данных, упор на бизнес impact.
❤‍🔥44🍌15🫡8🗿2🍾1
Друзья всем привет!
Завтра (12 апреля) в 19:00 по МСК вебинар.
Спикер - Рустам Агамалиев.
Ссылка на вебинар:
https://youtube.com/live/c7ry9G3o5rw?feature=share

Поговорим о развитие ИИ от идеи до нейронных сетей.
В том числе затронем тему Chat GPT и влияние его на образование.
Отмечу что Рустам не эксперт в ИИ, а исследователь, что немало важно и надеюсь выступление поможет не экспертам в ИИ взглянуть в эту область.

Рустам уже не первый раз у нас выступает и его доклады очень полезны для развития.
Так что приходите будет интересно :)
Статья из-за которой я попросил выступить Рустама:
https://zttl.space/t/razvitie-ii-ot-idei-do-nejronnyh-setej-evolyucziya-pedagogicheskoj-i-uchenicheskoj-deyatelnosti/1903

📕 Ссылки на ресурсы спикера:
🔗 Канал в телеге: https://news.1rj.ru/str/Zettelkasten_ru (https://www.youtube.com/redirect?even...)
🔗 Цифровой сад: rustamagamaliev.ru
🔗 Форум: zttl.space

#datalearn #вебинар
❤‍🔥17🐳5👨‍💻3🗿2🌚1
Миграция в Yandex DataLens за 3 месяца: 36 дашбордов для 400 пользователей

Перед «Ренессанс Страхованием» стояла амбициозная задача — найти альтернативу зарубежной BI-системе и переехать в кратчайшие сроки. Благодаря cервису анализа и визуализации данных Yandex DataLens компании удалось сократить расходы на аналитику и ускорить работу с данными.

Читайте подробнее на сайте ➡️

#реклама
🙈32🤷‍♂7❤‍🔥6🌭4🌚3🍌2🗿1
Хороший наглядный пример, как простой документ имеет больше пользы чем красивый PDF. Не надо соревноваться в красоте ваших резюме, сделайте простой и понятный google doc/ word doc.

А если хотите красоты и креатива - сделайте github, tableau public, blog, personal website.
👨‍💻51🤷‍♀10🤷5🗿4🦄4🤷‍♂3💅3❤‍🔥2🙈2🌚1