дата инженеретта – Telegram
дата инженеретта
2.98K subscribers
242 photos
28 videos
3 files
101 links
мелкое — крупно,
в глубоком разговоре
мудрость приходит

по вопросам сюда: @aigul_sea
Download Telegram
Serializability vs Linearizability

Этим понедельничным деньком настало время разобраться между двумя очень похожими терминами🤓

💋Есть 2 счета с денюжками: A=30 и В=70, Тотал=100. Они не могут в тотале уйти в минус. Две параллельные транзакции пытаются снять по 100

Что происходит в несериализуемой, сериализуемой и линеаризуемой системах?

1️⃣Несериализуемая

1: снимает 100 с А
2: снимает 100 с В
Баланс: А=-70, В=-30, Тотал=-100
Возникла аномалия, мы нарушили правило банка

2️⃣Сериализуемая

1: снимает 100 с А и пытается закоммитить
2: снимает 100 с В и пытается закоммитить

БД сравнивает результат, как если бы они выполнялись последовательно. Если закоммитить сначала первую транзакцию, то состояние будет А=-70, В=70, Тотал=0. Вторая не может снять, потому что в тотале 0, она откатывается. Можем вместо первой закоммитить вторую, таймлайн не важен

3️⃣Линеаризуемая

1: снимает 100 с А, текущее состояние А=-70, В=70, Тотал=0
2: уже видит, что в тотале 0, и даже не пытается

А вот здесь уже важно, какая транзакция началась раньше

〰️〰️〰️

Надеюсь, вам стало чуточку понятнее)
Please open Telegram to view this post
VIEW IN TELEGRAM
👍162
Урок русского языка без литературы

У нас на этой неделе проходят уроки в рамках программы "Back To School". Вчера был урок русского языка про письменную коммуникацию, который вел Максим Ильяхов из "Пиши, сокращай" 🙂

Он очень прикольный, по манере общения тоже все четко, ясно, без лишней воды, параллельно все конспектировал. В конце прислали методичку по деловой коммуникации, по мотивам которой был урок

Только по ходу урока осознала, что не сделала домашку. Надо было воспользоваться шансом и подготовить интересные вопросики для такого препода 😪

Цель урока - писать так, чтобы быстро изучить и быстро принять решение

В письме желательно заложить такой объем тем, который можно охватить за 90 секунд на светофоре или за один укус пирожка


Если нужно обсудить несколько тем, лучше сделать несколько писем. Иначе:

⏺️нам не ответят, потому что длинное письмо отложат на потом
⏺️нам не ответят, потому что сразу на все 5 тем сложно ответить
⏺️нам ответят на одну тему, а про остальные забудут

Обязательно структурировать текст, чтобы какие-то блоки можно было пропустить

Нельзя из письма отправлять читателя на поиски того, что вам от него нужно. Представьте, что вы
принесли документы директору на подпись. Вы не будете просить его самостоятельно сходить за
документами в бухгалтерию


Основные мысли:

— Одно письмо — одна область
— Делить на разделы
— Простые подзаголовки
— Начала разделов дружат с заголовками, не прятать ключевые слова внутри абзаца
— Просьбы всегда на отдельной строке, в отдельном абзаце
— Перечни связаны с заголовками
— Абстракция + пример + антипример (образы, как кино)
— Человек + делает + так
— «Объясни как пятилетке»
— Сокращай через ChatGPT / Ollama
— В задачу добавить доп. материалы
— Чтобы напомнить: «Это еще актуально»
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍212
Soft Delete Techniques
Или как понять, что ваши данные кому-то нужны

Есть два героя: Миша (продуктовый аналитик) и Артем (дата инженер). С ними случилась такая история:

🙂 привет, Миша! ты три года назад создавал таблицу user_orders_check_agg_m, она занимает 100тб, последний раз использовалась в прошлом году. она еще нужна, можно удалить?
🦔 привет! можно, мы ее готовили для экспериментов, но их отменили

Кластер задышал, ведь с репликацией это целых 300тб свободного места

Через неделю Миша приходит:

🦔 Артем, помнишь, мы обсуждали табличку user_orders_check_agg_m? у нас снова запускается эксперимент, нам срочно нужно ее восстановить!!!
😳 ......

Артем находит цепочку зависимостей:
user_orders_check_agg_m ->
user_orders_check_agg ->
user_orders_check ->
user_orders_abc, user_orders_def ->
user_orders
Причем все промежуточные таблицы уже удалены

Артем поднимает старые скрипты, адаптирует их под новую версию спарка, переписывает под новую схему данных, пересоздает таблички, тестирует, ставит на расчет. Через месяц все готово

Но команда не успела зарелизить запланированные фичи. Все клиенты ушли к конкурентам


Какие есть варианты, чтобы помочь Артему и команде меньше нервничать в следующий раз?

1️⃣Переименовать табличку - сразу найдем среди сотен процессов те, которым она нужна

ALTER TABLE exp.user_orders_check_agg_m RENAME TO exp.user_orders_check_agg_m_trash;


2️⃣Переместить в .Trash - когда мы удаляем руками из hdfs, они перемещаются в папку .Trash. Там они хранятся столько, сколько задано в fs.trash.interval при настройке кластера. Поэтому будет какое-то время прийти за ними

hdfs dfs -rm -r user_orders_check_agg_m_data

INFO fs.TrashPolicyDefault: Moved: 'hdfs://data/user_orders_check_agg_m_data' to trash at: hdfs://data/.Trash/Current/user/admin/user_orders_check_agg_m_data


3️⃣Переместить в другую папку для мусора и периодически подчищать ее

hdfs dfs -mv user_orders_check_agg_m_data some_trash_folder


Есть еще другие варианты? Или это проблема Миши, что он разрешил дропнуть таблицу? 😁
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16115👍2😁2
4. Встречи 1:1

Продолжаю рассказывать про курс команды
Третий модуль - тут
Описание программы - тут

Что рассмотрели:
что обсуждать, как, как часто, зачем
виды 1:1
активное слушание
работа с сопротивлением (что будет, если ничего не поменять/что будет, если мы это изменим)
коммуникация непростых новостей, нытинг

Какие виды есть:
синхронизация
мотивационный
развивающий
корректирующий

База про 1:1:
что у нас уже есть/чего не хватает
что мы с этим делаем/как поддержать
обмен ОС
опционально: поболтать про жизнь

Обязательно прийти к договоренностям и лучше фиксировать вопросы к встрече/выводы письменно

1:1 - это встреча не про задачи, которые делает человек, а про человека, который делает задачи


Важные вопросы:

Что я тебя не спросил, а стоило?
Если бы ты вел 1:1, какие вопросы ты бы хотел, чтобы были?


Из чатика с участниками забрала такие комменты)

Разные схемы - как палитра у художника
Голоса в моей голове сказали, что кое-кто допустил ошибку в отчете
Тревожные пирожки пропускают полностью положительные стороны и фокусируются на негативе
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1596💅2
Две конфы

Прошедшие 3 дня для меня выдались супер насыщенными🔥 Все началось с вечера пт и big tech night. Сначала я не хотела туда идти, потому что нужно было оставить силы на полноценные сб и вс. Но за неделю решила все-таки зарегаться

🌙 Глава I. Big Tech Night

К моменту моей реги уже не осталось мест в Т-Банк, про Сбер с Ламодой я и так знаю, поэтому взяла X5 и Яндекс. X5 самый для меня непонятный, я ничего не знаю про их офис, что там, как. А Яндекс просто был самый длительный - мероприятия до полуночи и даже позже

(фотки 1-2) В X5 я сходила на экскурсию по офису (это переделанная овощебаза), послушала пару лекций, подегустировала колу и снеки в зоне Чижика, проиграла в правду или ложь🙂

(фотки 3-4) Потом доехала на трансфере в Яндекс. Там было больше народу и движа. Я послушала одну лекцию, сходила на поэтический AI-слэм и пожюрила, поела блинчики. На слэме мне понравился один млщик, он сделал и прикольные стихи (скину в комменты), и очень артистично их рассказывал, я в восторге 😍 Все завершилось тусовкой сайлент-диско в наушниках и выступлением Найка Борзова

Домой вернулась в час ночи, а в 12 уже было открытие E-CODE...

🍉 Глава II. E-CODE

Здесь я была в прошлом году, и там было настолько круто, что я очень хотела пойти в этом тоже. Поэтому я зарегалась аж в начале июля))

Из докладов мне понравился только трек "Менеджмент". Возможно, всем остальным тоже, потому что люди даже в зал не помещались😄 Из вау штук я попробовала сыграть в гольф 🙂

Будем ли мы сравнивать с прошлым годом? Конечно, будем

🍔 По части организации это было хуже. В районе обеда собрали весь фуршет, на улице еще не приехали гиросы/хот-доги/вок, и очередь с двух сторон выстроилась за единственной кесадильей. Кто-то ходил в кафешки рядом. Еда снова появилась только к 19-20 - не круто 😒 Фуршетная быстро улетучилась, батат фри я видела только на тарелках

Из мерча прям супер прикольного я не отметила, поэтому не сильно гналась за баллами. И нельзя было выкупать несколько штук одного предмета

🎤 Вечером выступали Научно-технический рэп и Нейромонах Феофан в первый день, ILWT и Заточка во второй. Поэтому во второй мы 100% отправились в зону караоке))

В прошлом году еще параллельно была мафия с проф ведущим, в этом тоже не было( И не было кого-то вроде Пушного( Огромный ажиотаж был только у Владимира Сурдина (астрофизик из МГУ), но он в прошлом году и так был

💬 По части не воркинга встретила 6 знакомых и обзавелась 8 новыми контактами. Пообщалась несколько минут с руководителем платформы данных, спросила, что у них там по лейкхаусу. Вот как-то так)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1463
А вы часто обращаете внимание, какие вопросы задает собеседующий?

Недавно слушала пару собесов и отметила занятные вопросы:

🤩Было ли такое, что пришли с бизнесовой постановкой, а дальше ты сам нашел, где взять источники и что с чем сложить?
🤩Приходилось ли работать с BI?

Такого рода вопросы мне сразу говорят, что в компании что-то не так с процессами, ролями, нет системного аналитика, нет BI-аналитика. Даже если вам такое не нравится и вы это скажете, не факт, что таких задач не будет
🚩

🌿🌿🌿🌿

🤩В чем эффективность работы инженера данных?
🤩Каков результат, метрика, артефакты, цель?

Вот это интересные, но очень экзистенциальные вопросы. Цели того же дата аналитика явнее, чем дата инженера. А вы как думаете, в чем ваша эффективность?

🌿🌿🌿🌿

🤩Что мне нужно о вас знать, помимо резюме?

Другими словами, продайте мне себя. Тоже такой странноватый вопрос. Все касаемо работы и так написано в резюме. Рассказывать, что у меня две кошки, а по пт я хожу в бар пить пиво?

🌿🌿🌿🌿

🤩Чем отличается Linux от Postgres?

Я слышала, как в одной команде сопровождения задавали этот вопрос. Он прям на базовый момент, но многие кринжуют с него😁
Please open Telegram to view this post
VIEW IN TELEGRAM
👍964
CTO Meetup

Сходила я тут на сходку крутых людей. На видео слева направо:

🟣CTO, VK Tech
🟣Lead Architect, МТС TechGov
🟣CTO рисков, Альфа
🟣CTO, Авито SafeCom
🟣Head of developer experience, Х5 Tech

Транслировалось все на 4 камеры, около 80 мест в зале

Из терминов, которые я запомнила:

🔴Shift Left - подход, когда продукт тестируется как можно раньше, чтобы сэкономить денюжки потом

🔴Кто-то, наоборот, предпочитает Shift Right - если у клиента вопрос/что-то сломалось, он может сам починить по плейбукам без обращения в L1 (первая линия поддержки)

🔴3 Амиго - принцип, когда встречаются 3 человека (можно чуть больше) с разным контекстом (бизнес, разраб, тестировщик) и договориваются о проблеме, целях, шагах до начала разработки

🔴BRD (Business Requirement Document) - документ бизнес-требований, формальное описание проекта (зачем нужен продукт, решаемые проблемы, доход/потенциальные потери)

Еще запомнила забавную историю, как у клиента был настроен воркфлоу по цвету писем в почте. И когда цвета поломались, весь процесс встал

Время пролетело незаметно, но, честно говоря, я мало что поняла😅 Успокаиваю себя тем, что не понимать лучше, чем не интересоваться

Из прикольного по офису: сверху двери уборной есть красные/зеленые огонечки, бумага в 4 слоя👍 На кухне хлопья, шарики, апельсины, яблоки, сухомятки и безлимитная кола/фанта/спрайт от Evervess и липтон

Уезжая, 5 минут ходила туда-сюда по переходу, не могла найти вход в метро😆 Оказалось, что там есть выход, но нет входа
Please open Telegram to view this post
VIEW IN TELEGRAM
10🔥104