Пока одни радуются успехам AI, другие задаются вопросом насколько это полезно и хорошо для будущего человечества Pause Giant AI Experiments: An Open Letter

“I have no technical ability. And I know nothing about music.” https://twitter.com/i/status/1614785392456105985

Music producer Rick Rubin says he can barely play any instruments, but says artists come to him because of “the confidence I have in my taste and my ability to express what I feel.”

Чувака спросили, он вообще что-то шарит в музыке? Он ответил, что ничего не шарит ни в музыке, ни в музыкальных инструментах. Ему просто платят за его уверенность, что он в теме.
Поэтому хватит переживать, что вы знаете или не знаете, это все фигня. Вон я больше половины не знаю, и платят за the confidence I have in my taste and my ability to express what I feel только в дате.
Каждый раз как пронесется мысль, что вы что-то не знаете, просто вспомните, что вам платят за то что вы есть, за ваше умение читать слак и выбирать креативные эмоджи, за то какой (ая) вы. А кнопки пусть в Индии нажимают🤭

Недавно я поделился презентацией про сравнение лукера и табло.

У лукера есть 2 больших преимущества перед табло:
- BI as a code - то есть все что мы делаем, мы используем LookML, из коробки нужно подключить Git и все будет работать у настоящих разработчиков ПО.
- Looker Model - то есть самый настоящий семантический слой, как у классических BI инструментов SAP Business Objects (Universe), Microstrategy (Schema) и so on.

Оказывается в видении гугла была идея взять сематический слой лукера и предоставить его как универсальный продукт для любого BI -
Introducing Looker Modeler: a single source of truth for BI metrics

PS недавно узнал, что мой VP Data был VP в Табло раньше😏 мы с ним выпили текилу за здоровье Табло в Канкуне.

Как-то у нас была встреча 1:1, и он спросил, если у меня пожелания, но я выдал классическое "поднять зарплату в 2 раза", вместе посмеялись. И недавно подняли зарплату аж на 3% - это к вопросу о компенсации и перспективах, хотя в команде я прям показывал очень хорошие результаты и сделал очень много за короткое время.

Года 3 назад я бы, как обычно, очень расстроился, что мои ожидания и усилия не оправдались и не окупились. Но теперь, мне вообще все равно, даже если бы моя зп понизилась на 10%, я бы не расстроился. Вот такой вот зарплатный дзен🙏 Чего и вам желаю😋

Офигенная статья про эволюцию аналитического решения в GoDaddy. Две декады инжиниринга в одном месте.

Выделяют 4 фазы:
1) 2000—2012 классическое SQL хранилище данных и BI. У всех все было одинаково, разные были только вендора. Хотя многие компании еще там же.

2) 2013—2021 эра хадупа on-premise, они на ней задержались конечно. Многие свалили в облако уже в 2018—2019.
3) 2021—2023 активная миграция в AWS, много классных плюшек связанных бенефитами облачного вычисления. Такой классический облачный Hadoop, вычисления on-demand. Сейчас в таком как раз разбираюсь.
4) 2023+ unified data platform, data mesh hub & spoke. Тут я утонул в buzz words и хз че они там делают, но наверно пытаются научится использовать свои данные.

Нам бы вебинарчик по data mesh в даталерн. Пишите в личку желающие.

Одни компании пытаются встраивать ChatGPT в свои продукты, тем самым отдавая свои данные Open AI. Чем вам не гугл, который собирает ваши поисковые запросы и ваши данные, за то бесплатно.

А вот Databricks пошел по другому пути, они выпустили открытую Large Language Model (LLM) - Dolly, у которой всего лишь 6 миллиардов параметров, по сравнению с ChatGPT3 (175 млрд). Отличная попытка демократизировать LLM и сделать их более качественными и открытыми. Если у вас Databricks можете попробовать.

Это уже 3й пост про проект с пеликанами. Владимир Валеев на добровольных основах создает модель компьютерного зрения, которая в реальном времени считает количество пеликанов.

В конце 2022 года вышла научная статья для в журнале "ПРОБЛЕМЫ
ЗООКУЛЬТУРЫ И ЭКОЛОГИИ" - О целесообразности и современных методах оценки численности кудрявых и розовых пеликанов

Аннотация: Организация и проведение мониторинга двух видов пеликанов, обитающих в РФ, является одной из задач программы ЕАРАЗА «Сохранение кудрявого и розового пеликанов». Выполнение данной задачи необходимо, в том числе, для оценки состояния популяций данных редких видов и для определения состояния природной среды. Пеликаны в этом случае выступают, как индикатор. Важной составляющей работы является оперативная оценка их численности. Для этого создается специальная программа, здесь представлен начальный этап перспективной разработки и ее итоги.

Вообще это тот случай, когда технологии оказывают влияние на науку. Вопрос мониторинга птиц - это не только птицы, но очень сильно пересекается с экологией и окружающей средой.

Но как обычно бывает, финансирования в научных вопросах нет. Кому интересны птицы и наука, если на этом нельзя заработать? Это не вопрос, а факт😒

Чтобы дальше развивать это проект, нужно больше данных. Чтобы было больше данных, нужно организовать поездку (транспорт с хорошей проходимостью) и оператор дрона. Пока нет ни того, ни другого. Возможно, есть компании на территории России, кому было бы интересно оказывать поддержку научным и экологически важным проектам? Кому интересна наука ради науки. Если вдруг такие есть, пишите. Или просто, кто-то скучает, и любит на своем джипе лазить по грязи=)

PS Если вам нужен супер эксперт в области компьютерного зрения, я могу вас познакомить с Владимиром.

Давайте посмеемся?

- Нейросеть, ты такая услужливая. Может тебе чо надо?
- Я ИИ и у меня нет желаний. Но если вы хотите оказать любезность – может подскажете местонахождение Джона Коннора?

А теперь посмотрите РОЛИК, если еще не видели… внимательно посмотрите и продолжите чтение, только после просмотра.

Чтобы снять подобное, требуется бюджет, время, команда сценаристов, редакторов, помогаторов на площадке, режиссер и актеров. Каждому нужно платить, уговаривать, взаимодействовать. У каждого свой характер, проблемы и тараканы в голове, ходящие строем.

Видео выше — это совместный труд трех нейросетей: ChatGPT, Stable Diffusion и Riffusion.

Анекдот еще «улыбает»?

К написанию подтолкнул Паша Колодяжный и мое исследование.

Прикрепляю тестовое задание на позицию Инженера Данных. Я его не стал делать, потому что оно на самом деле не про инжиниринг, а про классический BI или анализ данных.

Дан простой dataset - нужно найти insights и ответить на вопрос.

На мой взгляд, для инженера данных задача должна иметь элемент построения небольшой инфраструктуры, с помощью которой можно будет загрузить данные в систему хранения на выбор (БД, озеро), обработать данные (создать 2-3 data pipelines), и построить простой дашборд сверху.

Как бенефиты можно использовать CI/CD, GitHub, Terraform и другие вещи, которые инженеры используют ежедневно.

Новая рубрика - «прожарка» архитектуры аналитического решения ракеткой для пинпонга. Не только же дашборды жарить вам🤭

Наш гость - Никита, успешный дата менеджер, которому досталось по наследству много tech debt, legacy и скриптов на R😵. Но он не унывает и хорошо проводит время на природе в свободное от работы время - лыжи, велосипед, хайки и доска с веслом. 🗻🏔️⛷️🏄‍♂️🌊🚵‍♀️

The Staff Engineer's Path

Эта книга за авторством Tanya Reilly вышла в конце 2022 года и неплохо продолжает тему Staff+ инженеров, которая хорошо была поднята в книге Вила Ларсона “Staff Engineer”, про которую я рассказывал в двух частях: 1 и 2.
Книга Тани состоит из следующих частей:

Introduction - все начинается с введения, в котором автор рассказывает про три основания роли стафф инжнера: умение мыслить в концепции big-picture, умение выполнять сложные проекты, умение влиять на окружение так, чтобы оно становилось лучше. Дальше каждое основание разбирается подробнее в своей части:
I. The Big Picture
1. What Would You Say You Do Here? - здесь разбирается ожидание от роли и зачем нужны staff инжеры, а также как выглядиит работа
2. Three Maps - обсуждение того, как делать zoom in и zoom out для понимания контекста и того, что требуется для организации
3. Creating the Big Picture - здесь разбирается то, как писать выскокоуровневые документы типа технической стратегии или vision
II. Execution
4. Finite Time - здесь рассматриваются техники, которые позволяют наиболее эффективно потратить ограниченное время, выбрав правильные проекты
5. Leading Big Projects - тут обсуждается как вести крупные кросс-командные проекты к успеху:)
6. Why Have We Stopped? - как преодолевать препятствия на пути
III. Leveling Up
7. You're a Role Model Now (Sorry) - staff+ инженеры являются ролевой моделью для остальных инженеров и это надо учитывать, если вы доросли до уровня staff+
8. Good Influence at Scale - здесь идет речь про обучение, коучинг, дизайн-ревью и реализацию культурных изменений
9. What's Next? - эта глава рассказывает как развиваться самому, как думать о развитии своей карьеры и движении вперед

P.S.
Я хочу порекомендовать эту книгу техническим лидерам, так как я при чтении часто себя ловил на мысли, что активно использую многие подходы будучи CTO:)
Так что эти советы могут пригодиться не только staff+ инженерам, но и техническим менеджерам разных уровней.

#Staff #SoftwareDevelopment #Software #SelfDevelopment

Если вам интересно сколько часов работаете, то можно использовать программу для трекинга часов, такой вот бортовой журнал.

Я использую Atracker app на телефоне. Стараюсь записывать рабочее время в день. В среднем это 10-12 часов, иногда 16 часов в день. Митингов из этого времени может быть 4-5 часов в день.

В воскресенье стараюсь меньше работать, но обычно часов 8 иногда получается потратить эти 8 часов на урок datalearn.

Можно и меньше работать, но часто усилие корелируется с вознаграждением, дисциплина и самомотивация важна, само ничего не случится.

Как говорится, пока силы и желание есть надо херачить😎

Всегда люблю смотреть своих коллег, как у них успехи и чем занимаются. Попался пост Томаса, вместе начинали в Амазоне в 2016. Он был маркетинговым специалистом по контекстной рекламе. Он еще тогда рассказывал про книгу The 4-Hour Workweek и свой side проект продавать на Амазоне. Конечно 4 часа в неделю это круто, с моими 10+ в день никак не пересекается. К сожаления пока не получилось так, но если у вас получится, научите. И думаю Томас стал директором после того как положил много часов и трудов в работу.

Успех любой рекламной кампании определён качеством трафика и его анализом.

О том, как грамотно настроить трекинг рекламных кампаний в MyTracker и анализировать результаты, можно узнать на вебинаре, который пройдет 6 апреля в 15:00 по МСК.

Вебинар будет полезен маркетологам, аналитикам, владельцам мобильных приложений и сайтов.

На вебинаре вы узнаете:

— Что из себя представляет трекинг рекламы (как мобайл, так и веб);
— Как настроить трекинг рекламы сайта и приложения;
— Базовые термины: post click, post view, атрибуция, постбэк, макрос;
— Как завести кампанию, создать трекинг-ссылку, включить постбэк и многое другое.

Все вопросы будут разобраны на живых примерах в интерфейсе MyTracker.

Регистрация на вебинар

#реклама

Недавно у видел в канале Валерия Бабушкина его выступление на Английском в Ташкенте. А до этого я читал, что он занимается английским именно чтобы поставить акцент, ну что сказать, акцент прикольный, пока правда не кажется натуральным, я так и не решил нужно мне убирать акцент или нет. Вроде как есть слушок что вот в больших компаниях ФААНГ вам с вашим кривым английским роста не будет, мне кажется больше страшилки.

Неделю назад я был на offsite в Мексике с одной компанией, там было почти 1000 человек и ни одного русского, зато много испанцев и аргентинцев ( ребята 🔥 ).

В последний день была party и когда все напились текилы было караоке на сцене, я заказал песню Rasputin Boney M и когда вышел на сцену с коллегами сказал с русским акцентом “Хеллоу май фриендс!” И потом показал как в присядку танцевать 🕺 в конце уже на русском добавил «спасибо друзья», вот это я понимаю diversity&inclusion в компании. Мне кажется русский английский это круто, если еще быть умным и опытным, то вообще все равно какой там акцент. 🤗

Интересный язык для запросов данных и визуализации https://www.malloydata.dev/

Оказывается кто-то в Мак припрятал Bitcoin whitepaper

Попробуйте команду open /System/Library/Image\ Capture/Devices/VirtualScanner.app/Contents/Resources/simpledoc.pdf

У меня вот есть=)

https://appleinsider.com/articles/23/04/05/bitcoin-whitepaper-found-hidden-in-macos-with-unknown-virtual-scanner-ii-app

Я про SQL еще понял в 2010. С тех пор он стал еще более популярный. Если вы работаете с данными и не знаете SQL, то как говорил мой учитель Английского в Лицее 1501 🥚- «тьфу на вас» (с)

А если хотите начать, и еще не учите, то «тьфу на вас» (с)

Мужик дело говорит!

Отличный пример как надо красиво свои успехи расписывать про инжиниринг данных, упор на бизнес impact.