Короче, самое главное после отпуска – не перегружать голову в первый день. Естественно, я этот момент проебал, и целый день на свежих силах проработал, а потом еще и пошел на халявный «Troubleshooting workshop для разработчиков» от Слерма. Вел его, Александр Лукьянченко руководитель юнита PaaS из Авито.
Охуенный воркшоп, вот что могу сказать. Ребята из слерма настроили тестовый стенд, с графаной, ягерем и киали. В процессе сломали его два раза и показали, как с помощью выданных инструментов и kubectl найти ошибки.
Когда только пришел в Додо, был моложе и зеленее и не умел пользоваться кубом, то мечтал пройти что-то похожее. Но ничего похожего похоже не было. Поэтому я мучил ребят из команды, а Диму Зуева раскрутил на то чтобы нарисовать мне структуру сущностей в кубе
🅰️ В общем, если увидите в рассылке что-то типа «Troubleshooting workshop для разработчиков», и давно хотели потыкать кубер, ягер, графану, и киали, то не проходите мимо.
А еще там книгу интересную порекомендовали про Systems Performance от Брендана Грэгга. Из интересного, в книге обещают рассказать, почему все молятся на SLI и почему он так взлетел. Буду читать сразу после текущей.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥5🤩3❤1
Приятно делать что-то, что не сосет. Если это не пылесос, конечно
Вот таймкоды советов и краткое описание:
UPD Примечание редакции: каждый совет в видосе снабжается припиской “Это может быть удобно, применяйте осознанно”. Так что не переживайте, если в вашем АПИ чего-то из этого нет, это не значит, что ваше АПИ сосет. Ну или чье-то АПИ сосет.
1️⃣ ID шники должны что-то значить. Ну то есть Idшник не такой 556F673F-3013-423D-8AC7-14BF1E9C316E , а такой CA-ON-556F673F-3013-423D-8AC7-14BF1E9C316E, где CA-ON означает Canada-Ontario, ну и соответственно мы понимаем, что эта сущность как-то связана с этой локацией.
2️⃣ Не душите себя форматом вывода. Типа в ответе не отдавайте JSON массив объектов, а JSON объект с полем в виде массива. Во втором случае будет удобнее изменять ответ, если что-то понадобистся добавить в корень. Кстати, недавно у меня ровно такой случай был. Так что совет прям актуальный.
⭐ 3️⃣и 4️⃣ совет. Возвращать набор действий, которые вы можете совершить с объектом и ссылки на них. То есть если у вас в ответе на запрос GetOrder пришел заказ в статусе “ожидает”, то отправьте список запросов, которые можно сделать по этому заказу. И так же отправьте ссылки на эти запросы.
5️⃣ Используйте доменные определения вместо технических. Ну то есть CancelOrder это не UpdateOrder с параметром Cancel, а это прям CancelOrder. Да, что-то будет CRUDом, но не все.
Для меня самым интересным с одной стороны и самым спорным стали 3 и 4 совет. Действительно круто, когда ты прям присылаешь клиенту, что можно сделать с объектом прямо сейчас, избавляя его от необходимости самому догадываться об этом:
{
orderId: CA-ON-556F673F,
status: Pending,
actions: [
{
name: "CancelOrder",
uri: "https://mylittleoregano.org/order/CA-ON-556F673F/cancel",
method: "PUT"
}
]
}Почему это удобно? Если вдруг имя метода поменяется или формат параметров, то не придется версионировать АПИ и просить клиентов перейти на новую версию.
С другой стороны, я не вполне понимаю, как это защитит от ситуации, если, к примеру, заказ перестает быть возможным отменить в статусе Pending? Ну типа логику на клиенте все равно придется переписывать. Хотя это и станет удобнее, разумеется.
🅰️ Итого: Вы можете отправлять с бэка набора действий, которые можно совершить с объектом. Это может помочь вам избавиться от необходимости версионирования АПИ, так как вы сами контролируете формат ссылок. Также этим вы избавите клиентов от необходимости помнить, что можно и когда, так как вы будете присылать только те действия, которые можно совершить.
Если кто-то юзал такое, или юзает, вот было бы интересно узнать опыт использования и всякие подводные камни.
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Want to build a good API? Here's 5 Tips for API Design.
Want to build better APIs that can evolve over time as your system requires changes? Here are 5 tips that will help you change your API design over time without creating breaking changes.
🔗 EventStoreDB
https://eventsto.re/codeopinion
🔔 Subscribe: http…
🔗 EventStoreDB
https://eventsto.re/codeopinion
🔔 Subscribe: http…
🔥8👍2🙏2🤔1
Продолжаю привыкать к работе с мобилками. И вот наткнулся на еще одну особенность, которую хотел бы знать чуть раньше.
📦 Сделали курьера на карте и поняли, что координаты хочется обновлять чаще. А таймаут обновления зашит на мобилке.
Для вебчика, это никогда не было проблемой – захотел поменять, поменял и все тут. Какой-нибудь скрипт, который смотрит за апдейтами клиента, обновит страницу у пользователя и все.
Но для мобилки все не так. Там нужно ждать релиза в две недели минимум. Что делать, чтобы не ждать? Правильно, отдавать таймаут поллинга в ответах АПИшки.
Этот совет кажется будет полезен практически в любом случае, если вы решили делать поллинг.
🅰️ Итого: Любые таймауты поллинга для мобилки нужно присылать с бэка.
Что думаете? Я бы с удовольствием почитал в комментах или в личке.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🤔3🔥2
Года два назад задался вопросом. Как решить, что использоваться для взаимодействия с базкой в своем проекте ORM или миниORM?
Вот в Додо исконно принято использовать даппер. Хотя это и не обязательно, и в ряде проектов, к примеру в Базе знаний используется EF. Но почему-то если проект у нас критический, то там используется именно даппер.
В своих пет-проектах я год пользовался EF, ну а в работе понятное дело юзал даппер. И вот к каким выводам я пришел.
Entity Framework:
Dapper:
🅰️ Короче, я для себя пока аккуратно сделал вывод, что по дефолту буду юзать EF, а над использованием Dapper скорее буду думать, надо ли.
Понимаю, что многие делают выбор в сторону даппера из-за скорости. Но как часто действительно важна эта скорость? Ник Чапсас снял видос про то, что EF хорошо ускорился в основных сценариях использования и в принципе не сильно отстает от даппера. То есть скорее всего бутылочным горлышком у вас окажется не библиотечка, а кривой запрос/отсутствие индекса и так далее.
Такие пироги! Если что, это мнение не конечное, и я бы с удовольстием послушал ваш опыт. Было бы пиздатенько, если бы в коментах кто-то рассказл кейс, как EF что-то сломал в проекте, а Dapper даппер или что-то такое это починило. Ну или может еще накидал разных поинтов.
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Entity Framework Core vs Dapper Performance in 2023
Check out my courses: https://dometrain.com
Become a Patreon and get source code access: https://www.patreon.com/nickchapsas
Hello everybody I'm Nick and in this video I will compare Entity Framework Core's and Dapper's performance to see which one is faster…
Become a Patreon and get source code access: https://www.patreon.com/nickchapsas
Hello everybody I'm Nick and in this video I will compare Entity Framework Core's and Dapper's performance to see which one is faster…
👍9🔥3🤔2
Я вообще не играю в мобильные игры. Когда-то давно пробовал гонять во всякие клэш рояли, шутаны и прочую ерунду, но все не заходило. А вот Политопия жесть как зашла. Да так, что я не могу вам её не порекомендовать!
Самое просто описание Политопии – это мини-цива (цива – она же цивилизация Сида Мэйера) с партиями на 15 минут и небольшим деревом технологий. Так что, если вам нравилась когда-либо хоть какая-то Цивилизаиця, то эта игруха точно вам зайдет.
По ощущениям немного напоминает шахматы, только без задроченных комбинаций эндшпилей, этюдов, миттеншпилей и прочей вот этой душной поебени
В игрухе отличный баланс и есть много классных механик, когда приходится придумывать и считать ходы, чтобы выкрутиться из изначально проигрышного положения. К примеру:
🏔 Но у тебя есть рядом горы, в которых урон твоим юнитам снижается, а значит, ты можешь посчитать, что по армии у вас получается паритет.
И вариативность довольно высокая. А еще с этой игрой очень удобно ждать в очередях – время проходит незаметно.
В общем, горячо рекомендую. И наивно полагаю, что эта игра помогает развивать интеллект
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🔥4🦄4👾3
После того как у нас отключили слак, мы переехали на другой мессенжер, название которого почему-то никто не употребляет публично. Я хз почему, может НДА и все такое. Короче, назову его тут "Яблочко".
Яблочко выглядит как слак, но в целом это не слак. Тут нет таких же охрененных шрифтов, как в слаке, нет всех тех же фичей, что и в слаке. Вот только недавно добавили возможность отправлять отложки, но при этом их нельзя редактировать после постановки в очередь – только удалять и откладывать заново.
А еще Яблочко нещадно тупит и периодически не находит людей, как ты ни перебирай комбинации их имени и фамилий. Короче, в нашем уютном и нетоксичном коллективе Яблочко считается заслуженным говном.
Лучших аналогов у Яблочка, таких, чтоб подходили нам по всем параметрам – нет.
Яблочко постоянно улучшается, с той скоростью, с которой может. Для стимуляции улучшений менеджеры Яблочка создали в своем же сервисе канал обратной связи, где собирают отзывы от всех нас на свой сервис.
И вот каждый раз, заходя в этот канал, я читаю недовольные отзывы наших ребят и девчат, что вот мол там не так, тут тупит, там не едет и так далее. Менеджеры Яблочка всегда отвечают вежливо – из чего я заключаю, что на том конце сидят не мудаки.
При этом, если у Яблочка появляется какая-то фича, которая устраняет боль, то не то чтобы люди совсем не говорят там массовое спасибо, но до сообщений с благодарностями долистать у меня не получается.
И вот ставлю я себя на место разработчиков Яблочка: Что я бы думал, если бы видел такие отзывы? Стал бы я работать лучше? Пропитался бы к людям понимаем и эмпатией и, как следствие, делал бы для них фичи быстрее, качественнее и с любовью?
Такой я человек – если меня похвалить, то могу неделю работать с полной самоотдачей, без перерывов на обед и даже на выходные. Потому что чувствую, что нужен людям и "как же они там без меня". А если меня поругать, то это вызовет обратный эффект.
🅰️ Не подумайте. Тут я не защищаю разработчиков и менеджеров Яблочка, и не выступаю за оголтелую похвалу по делу и без, но кажется, что если сочетать похвалу и честную обратную связь, это как минимум не навредит, а как максимум ускорит решение твоих проблем. Это ж экономически выгодно – затраты на "спасибо" нулевые, а профит возможен с некоторой долей вероятности. Так почему бы не воспользоваться? И это не только про Яблочко, так со всеми.
Или все же у похвалы есть какие-то экономичские издержки?
Please open Telegram to view this post
VIEW IN TELEGRAM
💯6❤5💔1
Если и есть на свете чувак из айтишки, на которого я хочу быть похожим
Не смог удержаться и сходил на его вебинар по Developer Experience. Он же DevEx. Если кто не знает, что это такое – то, коротко, это про то как сделать работу программиста охуенно удобной.
И это не столько про удобные кресла в офисе, кальяны и печеньки на кухне, сколько про сам процесс написания кода.
В общем как сделать процесс написания кода максимально пиздатеньким. Основные тезисы, которые я для себя отметил:
Любой опыт работ с кодом состоит из пяти этапов:
По всем пунктам кроме третьего в общем-то ничего необычного я не услышал:
Получение доступов – настраиваем SSO. Настройка проекта – сделайте так, чтобы запускался в контейнере, чтоб не тянуть лишние зависимости + настройте dependabot. Написание кода – покрывайте все тестами и не забывайте про линтеры + чистый код. Починка прода – настройте мониторинг с базовыми метриками.
В Додо проходит дохуя встреч. Это какая-то прям напасть. Когда я только пришел их тоже было много, но они как будто были по делу. Сейчас я порой прихожу на PBR, где обсуждается какая-то таска для iOS и Android и я никакого инпута принести не могу. Но ходить просят – вдруг че полезного скажу.
В последнее время меня начали бесить синки. Хотя они длятся меньше 10 минут, но что-то в них такое есть, что вырывает тебя из потока. Думаю дело в том, что на них для меня нет никакой полезной информации, а все это нужно тупо для контроля выполнения задач. Хотя я не понимаю, неужели не хватает задач на доске?
🅰️ Так вот топ-совет от Федора Борщева (в моем скромном рейтинге) по поводу синков – нахуй синки! Нужна ровно одна встреча – "встреча 50%". Перед началом задачи у разработчика нужно спросить: "к какому дню сможешь сделать?" Он ставит срок. По истечении половины спрашиваешь: "Получилось ли сделать половину?" Если нет, то корректируешь срок.
Все остальные кейсы регулируешь асинхронной коммуникацией. Ну то есть – сделал раньше, напиши, и бери следующую.
Короче, теперь буду топить за то чтобы попробовать такой подход.
🅰️ Еще мне понравилась идея – прикреплять к задаче бизнес-метрику, на которую эта задача влияет. Чтобы сразу было видно, что конкретно ты принес.
В прошлой команде очень очень хотел такое сделать. Помешало только то, что метрика была очень иннерционная и увидеть импакт от задачи можно было только через несколько месяцев. Но первый шаг мы сделали – начали метрику собирать и регулярно на неё смотреть и это уже было лучше, чем просто делать таски вслепую.
В общем, мне вебинарчик понравился. Несмотря на то, что я не узнал много нового, просто приятно было прийти туда, где твои взгляды разделяют.
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
FEDOR BORSHEV
Рассказываю, как руководить программистами
fborshev@pm.me / borshev.com
Реклама не продаётся
fborshev@pm.me / borshev.com
Реклама не продаётся
👍4❤3👏2🤔1
У Дерека Комартина во многих видосах явно проявляется нелюбовь к такому окончанию. Когда он видит в репозитории что-то там Service то недовольно фыркает и говорит "It doesn't say anything about what it's doing!”
И вот знаете что, я с ним согласен. Более того, для меня это превратилось в небольшое правило, которое помогает писать код лучше.
Каждый раз, когда я хочу назвать что-то Service, я задаюсь теперь вопросом, а что эта штука будет делать на самом деле? И всегда это приводит к тому, что либо я лучше понимаю, что хочу написать, и какие тесты нужно под это придумать, либо к тому, что я понимаю, что то что я хочу нужно разделить на более специфичные классы.
Как и со всеми остальными правилами написания понятного кода, всегда есть исключения и компромиссы, но, скажем так, иметь такой маленький триггер, как по мне – полезное дело.
P.S. Напоминаю, что я могу быть не прав, поэтому можно в комментариях все обсудить. Может и норм все называть Service? А это правило только душнит.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🔥3
Media is too big
VIEW IN TELEGRAM
🐞Багуля в дебагере.
Короче, знаете есть такой Мармок? Он типа ловит баги в играх и пилит смешной контент на эту тему. Я кажется такой же Мармок, только я ловлю баги при разработке. Только у меня глючат СУКА ИНТСРУМЕНТЫ. То дебаггер залагает, то райдер что-то не подсветит. Сегодня я заснял это дерьмо. И вот подобного в моей работе овердофига порой.
В играх у меня вообще все заебись. Лучше, чтобы все было наоборот. Сегодня вот чуть кукухой не двинул из-за этой штуки.(я не удивлюсь, если ссылка, которая у меня прекрасно работает вдруг возьмет и не заработает. Я все уже ПОВИДАЛ)
Будьте бдительны.
Короче, знаете есть такой Мармок? Он типа ловит баги в играх и пилит смешной контент на эту тему. Я кажется такой же Мармок, только я ловлю баги при разработке. Только у меня глючат СУКА ИНТСРУМЕНТЫ. То дебаггер залагает, то райдер что-то не подсветит. Сегодня я заснял это дерьмо. И вот подобного в моей работе овердофига порой.
В играх у меня вообще все заебись. Лучше, чтобы все было наоборот. Сегодня вот чуть кукухой не двинул из-за этой штуки.
Будьте бдительны.
🤯7😱2👍1😢1🙏1
Попереводил тут пару сообщений на грузинский через ChatGPT. В общем, не рекомендую.
Если в вопросе с женщинами я еще не уверен, то слива точно никакая не шимби и не чацера!
Чекнул и на четверке и на тройке, результат такой
P.S. Взял себе на заметку профессию, которую бездушные машины у вас пока не отнимут.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁3👌1💯1
Столкнулся в тралеботе с необходимостью хранить разные типы вопросов:
Есть вопросы с вариантами ответов, а есть вопросы, на которые нужно просто написать правильный ответ. У обоих классов есть базовые свойства и отличаются они одним полем. Значит удобно будет отнаследоваться от базового класса.
Как такое хранить в базе? Нашел статью, где рассказывается, что такое можно делать на вьюхах. Мне как-то вьюхи не особо нравятся. Даже не знаю почему. Просто не люблю, когда есть какая-то сущность, которая по сути не совсем настоящая. Появляется то, что Дерек Комартен называет indirection (типа непрямолинейность или хз, как это перевести).
Короче, погуглил еще, как такое делается. И в Entity Framework используется самый простой и прямой подход – на всю иерархию одна таблица Table Per Hierarchy. И еще используется Table Per Type и Table Per Concrete Type (которая по сути тот же Table Per Type только с улучшенной производительностью).
Сидел читал про это дело и вот что вычитал. Судя по ответам на StackOverflow никто не юзает вьюхи для того чтобы работать с иерархиями наследования. Ну или точнее это не первая польза от них.
Так что как будто выбор идет между двумя подходами.
Please open Telegram to view this post
VIEW IN TELEGRAM
Vertabelo Data Modeler
How to Model Inheritance in a Relational Database
In the process of designing our entity relationship diagram for a database, we may find that attributes of two or more entities overlap. In this case, we may create a subtype of the parent entity that contains distinct attributes and supertype entity. The…
🔥4❤2👍2
🍩 Сходил и узнал, как работает благотворительный фонд.
Я очень долго сторонился от донатов во всякую благотворительность. Мне было непонятно, как удается и одновременно помогать кому-то, и платить, к примеру, за аренду помещений и так далее.
То есть вот я хочу задонатить 100 рублей на лекарства, а вдруг выйдет, что из моих 100 рублей 90 пойдет на оплаты работы штаба, собирающего деньги, а только 10 на лекарства. Получается как-то обидно. А если они вообще не смогут собрать нужной суммы, то что произойдет? Все пойдет на оплату штаба, который работает вхолостую?
В общем, чтобы все это понять, я просто решил сходить лично к вот этим ребятам и все эти вопросы задать. Поговорил с одним из волонтеров, правда забыл имя. Но он довольно бодро описал мне как все у них устроено:
1️⃣ Штаб живет на средства, полученные от фонда развития,а не на средства от сборов. То есть все 100 рублей от моего доната пойдут на лекарства. Таким образом разрешается конфликт интересов.
2️⃣ Когда ты делаешь благотворительный проект, то ты по сути питчишь его как стратап на всяких встречах с этими фондами.
3️⃣ На питче ты коммитишься по определенным целям: сколько привлечешь донатов, сколько людей будет пользоваться помощью твоего проекта, уровень, ниже которого не будет падать текучка волонтеров.
4️⃣ Также ты показываешь свой опыт организации подобных проектов или же участия в них. Без этого тебе никто ничего не даст.
5️⃣ Вся эта схема с питчами работает для европейских благотворительных фондов. Есть российские фонды, там распределение средств идет по-другому.
6️⃣ Еще из интересного. Когда был в офисе ребят, то заметил, что они используют какой-то софт для распределения складских остатков. Я честно думал, что это будут просто гугл-таблицы. Но оказалось, что существует целая куча сервисов для благотворительных организаций, управления складами и волонтерами и так далее. К примеру вот такая CRMка для волонтеров. Это круто, потому что вы можете разрабатывать такой софт, получать при этом деньги, и одновременно понимать, что точно делаете что-то полезное.
Вообще в процессе разговора у меня сложилось приятное впечатление. Как будто я попал в Додошный офис, где тебе буквально каждый может провести экскурсию и в деталях рассказать, и как что разрабатывается, и как основная бизнес-модель устроена, и подсветит открыто недостатки, если такие имеются. В общем, сложилось ощущение прозрачности.
Короче, если вы тоже задумывались, сколько из пожертвованных 100 рублей пойдут на лекарства, а сколько пойдут на оплату аренды помещения штаба, то не стесняйтесь сходить и узнать об этом обо всем прям в штаб интересующего вас проекта. Как минимум узнаете что-то новое(может даже ойтишное) , а в лучшем случае подпишетесь на донейшн и будете такм образом помогать людям. В общем, полезное дело.
Я очень долго сторонился от донатов во всякую благотворительность. Мне было непонятно, как удается и одновременно помогать кому-то, и платить, к примеру, за аренду помещений и так далее.
То есть вот я хочу задонатить 100 рублей на лекарства, а вдруг выйдет, что из моих 100 рублей 90 пойдет на оплаты работы штаба, собирающего деньги, а только 10 на лекарства. Получается как-то обидно. А если они вообще не смогут собрать нужной суммы, то что произойдет? Все пойдет на оплату штаба, который работает вхолостую?
В общем, чтобы все это понять, я просто решил сходить лично к вот этим ребятам и все эти вопросы задать. Поговорил с одним из волонтеров, правда забыл имя. Но он довольно бодро описал мне как все у них устроено:
Вообще в процессе разговора у меня сложилось приятное впечатление. Как будто я попал в Додошный офис, где тебе буквально каждый может провести экскурсию и в деталях рассказать, и как что разрабатывается, и как основная бизнес-модель устроена, и подсветит открыто недостатки, если такие имеются. В общем, сложилось ощущение прозрачности.
Короче, если вы тоже задумывались, сколько из пожертвованных 100 рублей пойдут на лекарства, а сколько пойдут на оплату аренды помещения штаба, то не стесняйтесь сходить и узнать об этом обо всем прям в штаб интересующего вас проекта. Как минимум узнаете что-то новое
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Emigration for action
Закупаем медикаменты для украинских беженцев в Грузии. Деятельно выступаем против войны и путинизма.
Получить помощь: https://news.1rj.ru/str/efa_help
+995 598 920 213
Поддержать нас: https://emigrationforaction.com/support-us
Получить помощь: https://news.1rj.ru/str/efa_help
+995 598 920 213
Поддержать нас: https://emigrationforaction.com/support-us
❤7👍3
⚾ Специалист по PostgreSQL выдал базу: Индексы – это костыли для PK.
Часть 1. Здравый смысл.
Ваще не шарю в базах данных. На всяких собесах всегда трясусь коленками и краснею щеками, когда спрашивают про уровни изоляции транзакции. В работе почему-то не краснею. Быстро что-то вспоминаю и как-то живу.
Иногда вот выходят такие доклады, после которых думаешь что прозрел и теперь не будешь трястись коленками. Не знаю, видели вы или нет, доклад от Андрея Сальникова "Индексы в PostgreSQL. Как понять, что создавать", но это, короче, именно такой ЛЕГЕНДАРНЫЙ доклад.
В течение двух часов все идет строго по практике. Я за один присест посмотреть не смог, поэтому глядел, как тик-ток – по одному салйду за раз и все конспектировал(не подумайте, что я конспектирую тик-ток) .
Разбил конспект на логические части и буду понемногу превращать в удобоваримое и выкладывать:
🅰️ Какие штуки я для себя подчерпнул:
0️⃣ Как нужно относиться к индексам: Индексы – это костыли для PK. Необходимые, но костыли.
1️⃣ У обычных приложений профиль нагрузки: 90-95% – чтение, 5-10% – запись. Если ваш профиль нагрузки сильно смещается в сторону чтения, то это значит, что реляционная база вам не подходит, и вам нужно использовать колоночные базы или что-то еще.
2⃣️️️️️️ В постгрессе строки не меняются, а вставляются новые версии (MVCC и все дела). Старые версии со временем чистятся ваакуумом. Но вот с индексами так не происходит!, поэтому индексы в постгрессе могут раздуваться. Их нужно пересоздавать время от времени.
3️⃣ Индексы замедляют запись, но для реляционных баз данных это не так критично из-за пункта 1️⃣ – так как записей все же меньше в нормальном случае.
#postgresql #андрейсальников
Часть 1. Здравый смысл.
Ваще не шарю в базах данных. На всяких собесах всегда трясусь коленками и краснею щеками, когда спрашивают про уровни изоляции транзакции. В работе почему-то не краснею. Быстро что-то вспоминаю и как-то живу.
Иногда вот выходят такие доклады, после которых думаешь что прозрел и теперь не будешь трястись коленками. Не знаю, видели вы или нет, доклад от Андрея Сальникова "Индексы в PostgreSQL. Как понять, что создавать", но это, короче, именно такой ЛЕГЕНДАРНЫЙ доклад.
В течение двух часов все идет строго по практике. Я за один присест посмотреть не смог, поэтому глядел, как тик-ток – по одному салйду за раз и все конспектировал
Разбил конспект на логические части и буду понемногу превращать в удобоваримое и выкладывать:
🅰️ Какие штуки я для себя подчерпнул:
0️⃣ Как нужно относиться к индексам: Индексы – это костыли для PK. Необходимые, но костыли.
1️⃣ У обычных приложений профиль нагрузки: 90-95% – чтение, 5-10% – запись. Если ваш профиль нагрузки сильно смещается в сторону чтения, то это значит, что реляционная база вам не подходит, и вам нужно использовать колоночные базы или что-то еще.
2⃣️️️️️️ В постгрессе строки не меняются, а вставляются новые версии (MVCC и все дела). Старые версии со временем чистятся ваакуумом. Но вот с индексами так не происходит!, поэтому индексы в постгрессе могут раздуваться. Их нужно пересоздавать время от времени.
3️⃣ Индексы замедляют запись, но для реляционных баз данных это не так критично из-за пункта 1️⃣ – так как записей все же меньше в нормальном случае.
#postgresql #андрейсальников
🔥9👍3❤1
⚾ Специалист по PostgreSQL выдал базу.
Часть 2. Здравый смысл.
1️⃣ При анализе проблем с базой стоит ориентироваться только на продуктовое окружение. Тестовые окружения не дадут нужной нагрузки по данным и её распределения.
2️⃣ pg_stat_statements - хороший инстурмент для анализа запросов
3️⃣ pg_bager – это парсер логов, в логи не попадают все запросы. В конфигурации PostgreSQL указано, что в логи не попадают запросы меньше 100мс. Это можно конфигурировать. Но сильно нельзя выкручивать, потому что диск будет сильно утилизирован.
#postgresql #андрейсальников
Часть 2. Здравый смысл.
1️⃣ При анализе проблем с базой стоит ориентироваться только на продуктовое окружение. Тестовые окружения не дадут нужной нагрузки по данным и её распределения.
2️⃣ pg_stat_statements - хороший инстурмент для анализа запросов
3️⃣ pg_bager – это парсер логов, в логи не попадают все запросы. В конфигурации PostgreSQL указано, что в логи не попадают запросы меньше 100мс. Это можно конфигурировать. Но сильно нельзя выкручивать, потому что диск будет сильно утилизирован.
#postgresql #андрейсальников
🔥4👍1
⚾ Специалист по PostgreSQL выдал базу.
Часть 3. Чек-лист оптимизаци запросов
Что вам нужно знать, чтобы понимать, как оптимизировать запросы:
1️⃣ Как читать статистику распрделения данных в БД. Как я понял имеется в виду представление pg_stats.
2️⃣ Есть планировщик и экзекьютор. Планировщик опирается на ту статистику, которая собрана по таблице в pg_stats. По умолчанию он анализирует 30000 строчек. Можно настроить для каждой таблички свой сэмпл. В MySQL есть аналоги.
3️⃣ pg_stats – важные колонки:
🟠 n_distinct – количество уникальных значений в одной колонке. К прмеру для булеана понятно, что это значение будет 2.
🟠 correlation – упорядоченность данных
🟠 null_frac – количество нуллов
🟠 most_common_vals – наиболее часто встречающиеся значения (ну типа если у вас таблица с транзакциями, то в этой графе первым значением будет "выполнено")
🟠 most_common_freqs – частота их встреч (ну и тут соответственно будет что-то типа 0.99 это для значения "выполнено")
4️⃣ Для анализа запроса желательно вручную собрать сэмпл на 30000 записей, как это делает планировщик.
🫡 Интересный факт: Иногда статистика планировщика может быть собрана по неудачному сэмплу, и это просадит запросы. Событие редкое, встречается раз в год, один раз на сто баз.
#postgresql #андрейсальников
Часть 3. Чек-лист оптимизаци запросов
Что вам нужно знать, чтобы понимать, как оптимизировать запросы:
1️⃣ Как читать статистику распрделения данных в БД. Как я понял имеется в виду представление pg_stats.
2️⃣ Есть планировщик и экзекьютор. Планировщик опирается на ту статистику, которая собрана по таблице в pg_stats. По умолчанию он анализирует 30000 строчек. Можно настроить для каждой таблички свой сэмпл. В MySQL есть аналоги.
3️⃣ pg_stats – важные колонки:
4️⃣ Для анализа запроса желательно вручную собрать сэмпл на 30000 записей, как это делает планировщик.
#postgresql #андрейсальников
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5👌2❤1
⚾ Специалист по PostgreSQL выдал базу.
Часть 4. Типы индексов в постгрессе
🌳 b_tree - самый типичный, работает в 90% случаев.
#️⃣ hash – сейчас по сути бесполезен. Потому что работает медленнее B-tree и нужен был когда-то потому что попросту занимал меньше места.
📐 gist - это индекс для геоданных и геометрии. Раширения: pg_trgm – поиск по регекспам и по лайкам. Btree_gist – сложные constrains с интервалами.
📐 sp_gist – нет практических применений. Это научный индекс. Более гибкий
🪄 gin - может сильно просадить диск, хорош для текстового поиска,
💬 jsonb – jsonb_ops – операция для поиска по большому джсону, json_pat_ops
◾ brin —(индекс сил Альяна, если вы понимаете о чем я) крайне компактный индекс, если данные упорядочены, то мы можем из блока который читаем проиндексировать наименьшее и наибольшее значение. Это как части в фильмах по сути. Мы не знаем, в какой конкретно минуте хоббиты будут бросать кольцо в лаву, но знаем, что не в первой и не во второй частях, так что там можно не искать (это мой ебанутый пример, не автора) . Хороший трейдоф между размерами и производительностью.
#postgresql #андрейсальников
Часть 4. Типы индексов в постгрессе
#️⃣ hash – сейчас по сути бесполезен. Потому что работает медленнее B-tree и нужен был когда-то потому что попросту занимал меньше места.
📐 gist - это индекс для геоданных и геометрии. Раширения: pg_trgm – поиск по регекспам и по лайкам. Btree_gist – сложные constrains с интервалами.
◾ brin —
#postgresql #андрейсальников
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2❤1👌1