Когда индексы БД вредят: мой практический опыт и исследование основ

Рассказываю:

Мы столкнулись с проблемой падения производительности БД при работе с группами, содержащими большое количество объектов. Исследовать проблему поручили отделу RnI (как же замечательно, когда такой отдел есть в команде). Как результат, целый час они напоминали мне основы и рассказывали про бинарные деревья, B-tree и хэш-индексацию. Честно, до такого уровня работы БД я ранее не погружалась

Стали очевидными все недостатки индексации:
👀 самый оптимальный способ записи данных при больших объёмах делает БД бесполезной для их выдачи. То есть лишает нас одной из двух основных функций БД: доступа к данным.
👀 На помощь приходит индексация, позволяющая оптимально искать данные, но тогда страдает производительность при создании, модификации и особенно удалении данных.

Рулят в итоге компромиссы

Здесь мне уже захотелось копнуть глубже вне работы.

И какое же было моё удивление, когда я обнаружила, что вся глава 3.1 знаменитого «Кабанчика» Клеппмана посвящена именно этой теме. В целом там хорошо объясняются структуры SS и B-tree. А вот хэш-индексацию и LSM-tree из Клеппмана мне уложить в голове не удалось.

Более подробное и наглядное объяснение, особенно с точки зрения влияния структур на работу БД, я нашла у Алекса Петрова в «Распределённые данные». Она стоит безумных денег в бумаге, что смешно, учитывая, что первая ссылка в поиске ведёт на бесплатное скачивание. Пока прочитала только одну главу по диагонали, но уже вижу, что материала много и глубоко. Но для уровня аналитика это, пожалуй, излишне.

А вот что действительно помогло - это визуализаторы. Например, потрясающий симулятор работы B-деревьев. Можно самому нагенерировать ключи и посмотреть как они распределяются в структуре с неплохим описанием, наблюдаемого действия.

Ещё один отличный инструмент, уже визуализатор хэш-таблиц Здесь можно посмотреть поведение при вставке, поиске и удалении - самое ценное для пониманией БД с таким способом индексирования.

В общем, увлекательный мир индексации только начинает открываться для меня. Возможно, позже я напишу о нём подробнее с учётом практического опыта. В теме много интересного и полезного для аналитика, например забавный факт:

Индексация в большинстве реляционных и NoSQL БД строится на одних и тех же структурах.

Господа аналитики, а вам знания о структурах БД на таком уровне помогают в работе?

👍 - да, постоянно (поделитесь в комментариях как), 👎🏼 - нет,
😐 - банальщина, как можно было это не знать?
😱 - только сейчас от тебя услышал(а).

#структурыданныхБД #СистемныйАнализ #btree

Мой чек-лист, как перевести «желания» в решение и аргументированно сказать «нет»

Периодически в моей работе аналитика от меня ждут, что я «защищу команду от пожеланий» заказчиков.

Вот и за последние 3 дня мне отсыпали стопку таких пожеланий. Часть даже в целом адекватные и интересные. Если бы не «возьмите срочно, но вчера уже поздно».

Мой коллега говорит, что у меня очень здорово получается с таким работать, и он подглядывает у меня, как это делать. Это потому что давно отработала следующий шаблон:

1️⃣ Начинаю всегда с детального перефразирования того, что хочет от нас заказчик.
2️⃣ Затем результаты анализа его пожелания с технической точки зрения, анализа конкурентов и в соответствии со стандартами. Да я не просто так часто пишу про RFC и иногда о сертификации;
3️⃣ Запрашиваю непонятный деталей. Они еще пожалеют что со мной связались)
4️⃣ Краткого, но понятного и бизнесу, и разработчикам плана по реализации.
5️⃣ Обязательно привожу риски реализации.
6️⃣ Оценки сроков всей реализации: от обработки пожелания до выпуска релиза.
7️⃣ Рекомендации а стоит ли вообще брать в работу.
8️⃣ Текущие альтернативы решения.
9️⃣ Максимально понятные итоги.

Не rocket science, но крайне эффективно.

Самое смешное в этом всем, что иногда фичу было бы сделать быстрее, чем аргументированно отстоять свою позицию.

Но продолжаю писать эти сочинения по заказу (Маргарита Александровна, а вы говорили, что я бездарна!). Потому что это часто спасает команду от реально тупой работы или позволяет не действовать в условиях жесткого дедлайна.

А как у вас?
Для реакций:
😐 - слишком бюрократично 🔥 - Аналитики сила 🙈 -лучше бы код писали

Все уже прочувствовали осень? Или промпт инженеринг, который мы заслужили.

Вот 2 проверенных промпта:

🔚 Подскажи лёгкий белый напиток со вкусом лета. В нем должно быть ярко выраженные ягодные нотки. Ощущение тёплой ночной прохлады на плечах. И долгое послевкусие цитрусовых. Может отдавать спелыми яблоками. У напитка должна сохранится остаточная газация, но он не был игристым.

🔚 Дай топ-5 названий основы для горячего осеннего глинтвейна. Это должен быть красный напиток с нотками фейхоа в послевкусии. Оно должно хорошо сочетаться с сырными тарелками и хачапури.

Консультанты были немного озадачены, но смогли подобрать достойные варианты.

👀 - где рецепт безалкогольного глинтвейна? 🔥 - ты знаешь толк в осени 😐 - ни стыда ни совести (ни названия)

#выходнойконтент #искусственныйинтеллект #юмор #промпт

👎 Коллега-маркер «всё уже очень плохо». 👎
Он появляется только в моменты, когда что-то ломается, падает или горит, но приносит не помощь, а комментарии "это ты виновата!".

У меня был такой разраб. Вот топ любимых фраз от него:

😮 Твои требования не поместились на один скролл
😮 Две недели назад ты слишком медленно мне ответила, поэтому мы не успели
😮 Ты сделала плохую ссылку, нужны короткие
😮 Ты СЛОМАЛА мне код своими требованиями
😮 Ты ставила встречи слишком рано (11 часов)
😮 Будем надеяться, что у меня получится написать код по твоим требованиям
😮 Мне пришлось общаться с фронтами!
😮 Вы нормально не пишете, мы нормально не делаем
😮 Ты должна понимать что значит нормально
😮 Нужно было делать раньше

Как я работала с ним? С болью, максимально избегая взаимодействий.

А что приносили вам, такие коллеги пожары? Или может узнали себя?

🙈 - точно я, 😱 - никогда с такими не встречался, 😢 - сейчас с таким работаю

Маркетплейсы новый вызов

На днях общалась с гуру разработки маркетплейсов. Конечно, это было не просто так, а в рамках подготовки нового тренинга по EventStorming.

Думаю, несложно догадаться, что новый кейс 👁маркетплейс 👁. В рамках EventStorming это новый вызов и для меня, и для будущих участников.

Кроме того, этот месяц я активно изучала иностранный опыт проведения EventStorming. Нашла несколько занимательных моментов, которые собираюсь внедрить. Ну и всё же жёстче поработать над таймингом.

Если Андрей не придумает что-то новое, то это последний тренинг по EventStorming в этом году. Если хотели, успевайте.

😢 Когда: 9 ноября, воскресенье, с 10 до 14.

Попасть можно двумя путями:
Напрямую записаться только на тренинг
В рамках курса «Интеграция и архитектура систем» Кстати, слышала, что там для участников приготовили. И могу сказать: это очень сильно. Тоже бы пошла, если бы не 2 других незаконченных курса.

Для следующего года можно проголосовать, какой домен вам бы хотелось проработать через EventStorming:

😐 - e-commerce; 👀 - здравоохранение; 🔥 - финтех; 👍 -прочее

🤩Яркие посты октября 🤩 на фоне серой осени или что вы могли пропустить на канале

Октябрь начался с конференции Стачка, которая стала поводом для серии постов. Вот самые интересные:

🔜 Подборка литературы, чтобы проявлять инициативу осознанно

🔜 Мой доклад «Как внедрять изменения, если тебе никто ничего не должен» и изнанка подготовки

🔜 Шок контент: сколько стоит быть спикером! Да, если вы малоизвестный эксперт, как я - за возможность выступить придётся платить 😱

После Стачки, интересный контент не закончился:

🔜 Реальный кейс из практики: проблему с индексами БД пришлось решать на уровне структур

🔜 Во славу бюрократии или самый сохраняемый пост месяца (я удивлена кстати): Чек-лист как аргументированно сказать «нет» на желание новой разработки

😐 Горячо обсуждаемый пост-нытьинг о коллеге "Вестнике апокалипсиса"

Завершила октябрь отзывом на книгу, которая помогает мне оставаться оптимистичной этой серой осенью


🍷 Спасибо, что остаётесь со мной. Очень радует, что вы оставляете реакции, включаетесь в обсуждения и читаете.

Октябрь и ноябрь у меня на работе самые сложные месяцы, поэтому активность в блоге уменьшилась. Но я уже готовлю кое-что интересное. И, что важно, полезное. Многим, уверена, очень зайдёт. Так что не теряйтесь.

ИИ раздаёт даром то, что раньше доставалось кровью и потом: 💬мой экзистенциальный кризис💬

За годы практики я хорошо разобралась в REST и OpenAPI: копилка полна нестандартных кейсов и горячих обсуждений.

Вот только с ИИ это стало рутиной, где ответ на сложный вопрос находится легко.
Если раньше коллеги часто приходили за экспертизой, то сейчас в этом нет необходимости. У мужа даже слышала рабочий диалог:
👎" Ты приходи, помогу."
👎" Зачем? Наш ИИ помогает мне лучше, когда мне удобно, и быстрее. А еще не унижает за глупые вопросы"

С блогом ещё хуже. Я сама отписалась от стопки каналов СА, которые выкатывали карточки и посты, что явно можно в два счёта найти и собрать через ИИ. Ну зачем заполнять интернет?

Получается, мои знания, которые собирались кровью и потом, стали слишком дешёвыми и доступными.

❓Конечно, речь не только про REST, и сложно не спросить себя: Какие знания и умения сейчас могут выделить меня❓

❓Что я нахожу важным в навыках коллег, какой контент мне самой сейчас интересно поглощать и я нахожу его полезным❓

Ответа у меня пока нет.

#искусственныйинтеллект #ИТБоль

Недавно 🤡 подставила команду🤡 на 4-6 чел\час

Описала OpenApi, где 1 атрибут назвался:

сomputer_log

У нас Api First.

Как думаете в чем ошибка?

Ответ завтра утром

#СистемныйАнализ #интеграции #RESTAPI #OPENAPI #личныйопыт

Приятно вернуться из отпуска и обнаружить, что без тебя ничего не упало. Еще приятнее понимать, что это и моя заслуга и коллег, которые уважают чужой отпуск и самостоятельны.

К сожалению, рабочие задачи буквально захлестнули с головой, а так хочется продлить это ощущение отпуска.
Поэтому я решила рассказать вам о нём. Направление не самое популярное, но явно скоро это изменится. Потому что этот отпуск мы с друзьями провели в Китае!

В ближайших нескольких постах я расскажу вам:

1️⃣ маршрут нашего путешествия (кстати, маршрут по Калининграду на 8 дней сохранили более 30 раз!);

2️⃣ необычное в Китайской Народной Республике: что удивило, порадовало, поразило и расстроило;

3️⃣ айтишные продукты Китая, с которыми удалось поработать (спойлер: наши работают лучше, но у них много неожиданных крутых фишек, которые даёт Большой Брат);

4️⃣ как подготовиться к поездке: деньги, приложения, такси и прочее (мы были готовы, но всё равно были в шоке);

5️⃣ ну и ваше любимое: сколько стоит путешествие в Китай.

Если есть вопросы про Китай: напишите в комментариях, постараюсь их учесть.

В декабре оказалось много дел 🦦никогда такого не было, но вот опять🦦, поэтому лучшим выжить - было пропасть из блога. Как раз на моменте, когда объявила, что скоро будет интересный рассказ. 😐Умею, практикую😐

Между тем жизнь на месте не стояла:

1️⃣Мы с Андреем и Лизой Акмановой готовим для вас полезный новогодний сюрприз.

2️⃣Я приняла решение на ближайшие полгода не брать больше менти в формате 1 на 1.

3️⃣Удивила разраба: из двух кусков его рабочего кода сделала один, на минуточку, тоже рабочий. А что? Ctrl+C и Ctrl+V работают и у аналитиков.

4️⃣ Практиковалась с помощью TurboScribe + GPT делать статьи по видео. Качество транскрипции мне нравится, качество статей - нет. Бесит: будто я снова пишу сочинения в школе под недальновидным взором моей учительницы литературы.

5️⃣ Для работы с OpenAPI по наводке моего коллеги пытаюсь освоить Optic. Там и сравнение разных версий OpenAPI, и генерация спецификации на основе трафика.

6️⃣ Завершила вместе с коллегой важную для продукта фичу, которую мы делали в инициативном порядке. В этот раз я была аналитиком, менеджером, тестером, техписом и даже заказчиком. Честно, в процессе я жалела, что согласилась на это! А сейчас друзья смеются, что я подстраховалась на случай увольнения: кто будет увольнять дурака человека, если он инициативно перевыполняет план? 😂

А вы тоже выживаете до НГ или у вас уже долгожданный фриз и новогоднее настроение?

😂 - Какая работа? Все после праздников. У меня уже во всю корпоративы и новый год
👿 - Какой новый год? Не сойти бы с ума от количества дел


С Китаем тоже вернусь, но в более коротком формате, чем обещала. Зато точно до НГ.