🎱 ObjectPool бенчмарки 1

В комментах Валера Никитин @nvikv попросил бенчмарки, я сегодня посидел, помозговал и сделал вот такую штуку:

1️⃣ Делаем запрос

2️⃣ Кладем в кэш значение

3️⃣ “Пользуемся” этим значением

4️⃣ Удаляем из кэша

Сделал два эндпоинта. Один с простым кэшем, один с пулловым, побомбил 💣 это все через k6 примерно 4500 запросов за 20 минуты и вот ожидаемый результат.

В простом кэше managed memory доходила до 84 Мб, потом приходил GC и все собирал. Получилось три сборки мусора за 4500 тысячи запросов

ObjectPool бенчмарки 2

Во втором случае, ну набежало 11 Мб и это по сути ASP.NET оверхед, который накопился бы даже если бы мы дергали пустой эндпоинт. В общем, память не раздувалась и это ожидаемый результат.

То есть 0️⃣ сборок мусора за 4500 запросов против 3️⃣!

Пока писал бенчмарк, понял, что так еще круто кэшировать большие объекты, которые тупо затратно создавать каждый раз. Создал заранее много, а потом достаешь уже готовые по необходимости. То есть еще и на создании чуток экономишь.

Вот тут код. Можете посмотреть, как все устроено. Я там для большей показаетльности сделал ExpensiveObject более экспансивным, что он стал весить 80 Кб, и заюзал ConcurrentDictionary чтобы можно было кучу запросов параллельно делать. Но суть примерно та же что и в примере выше.

P.S.: Спасибо большое Валере за идею! Валера получает от меня сотку лайкосов 💯 👍

🥰🧙‍♀️ Импакт от Геншина: Часть ♾

Сегодня 14 февраля. И это традиционный день с повышенной нагрузкой в Додо. Для бизнеса это значит много потраченных клиентами деняк 🪙, а для инженеров – потраченных инженерами НЕРВОВ.

Короче, это славный денек, чтобы добить историю про Геншин, ибо она тоже связана с нагрузкой.

Могу вам однозначно сказать, что разрабатывать коллабу для анимешников очень страшно. Я уже писал, что боюсь школьников. Так вот анимешников я боюсь еще больше, чем школьников. А школьников-анимешников боюсь до усрачки.

И не потому, что ощущаю в них социальную неустроенность. А скорее потому, что они дохуя умные и пронырливые. А еще они сплоченые, когда надо. И это тоже пиздец.

🌙 Короче, в сентябре в первый день коллабы, нам в 12 часов ночи (НОЧИ БЛЯТЬ) чуваки устроили пик заказов, какой наша система видала только в самый оживленный день и то в обед!

Вместе с пиццей шел предмет, который представлял для фанатов особую ценность – кусок прозрачного плексиглаза с впаенной в него картинкой персонажа (на пояснительном дикпике выше 🍆). Если посмотреть со стороны, то можно подумать… Ну короче, можно не понять, что это вообще кому-то нужно. Но в 12 часов ночи можно было ясно видеть, что это нужно и очень сильно. Нужно сплоченым шклоникам-анимешникам и что таких, ну как бы дохуя.

Систему в целом готовили к нагрузкам. Мы вообще много времени на это тратим. Очень много… Но как оказалось недостаточно чтобы сдержать то что шло дальше.

Днем закономерно нам положили систему попытками заказать коллабную пиццу. 📉 Упало все так, что в чувство приводили несколько часов.

🌜 Наша игра запускалась на пару недель позже. И такое ошеломительное фиаско заставляло думать примерно так: “Ну, если они за кусок пластика сделали вот так, то за мягкую игрушку нас порвут. Будут ДДосить сервера, будут искать баги, сто процентов что-то там заинджектят. Короче, нам пиздец!”

Было такое ощущение, как будто ты на экзамен идешь, и перед тобой не сдал самый умный чел на потоке, а ты следующий.

И вот подходит наше время и… За четыре недели ничего такого не случилось и все прошло довольно гладко. Это были нервные 4 недели в которые ничего не произошло.

💌 Вот такая вот история! Всем любви, вкусной пиццы-сердца, ужинов при свечах и зеленых мониторингов.

🔥 Блин, а еще не могу не поделиться клевыми валентинками от наших дизайнеров! 🔥🔥🔥🔥

Круто, что у нас чуваки делают смело такие штуки. С кем еще вы можете попердеть на макеты вместе? А вот у нас с дизайнерами можете!

P.S: Мне только мальца странной показалась валентинка, про “Глядя на тебя, мой прод падает”. Даешь стоящий как кол прод! Особенно сегодня это актуально.

🍽 Что такое Bulkhead? Балочная голова? Голова-балка? Балка головы?

Короче, решил попробовать в этом году прокачаться, как спикер на девфоруме и в поисках актуальных тем спросил наших техлидов, в чем были основные затыки у ребят и девчат на Level Assessment. И одна из таких штук это Bulkhead паттерн.

Это не паттерн в контексте паттернов разработки, а паттерн в контексте устойчивости к сбоям.

Первое, что меня поразило в этом паттерне, так это то, что bulkhead не переводится, как балка головы. А переводится как “переборка”.

А второе, что это паттерн, который можно применить на двух уровнях:

1️⃣ На архитектурном

2️⃣ И на уровне кода

🏠 На архитектурном уровне
Это значит, что вам нужно располагать зависимость между сервисами по возможности изолированно:

❌ Типа не так:
Service A -> Service B -> Database

✅ А так:
Service A -> Database
Service B -> Database

🧑‍💻 На уровне кода
Это значит, что вам нужно делать так, чтобы взбесившийся участок кода не выжрал все ресурсы остального приложения. К примеру у вас есть серия запросов к какому-то сервису. И вы хотите их распараллелить.

❌ Если вы сделаете вот так, если вас завалит запросами, то вы исчерпаете пул соединений, если придет куча запросов.

    public async Task SendRequestsWithoutBulkhead(HttpClient httpClient, List<HttpRequestMessage> requests)
    {
        var tasks = new List<Task<HttpResponseMessage>>();
        foreach (var request in requests)
        {
            // Все запросы отправляются параллельно без ограничений
            tasks.Add(httpClient.SendAsync(request));
        }
        await Task.WhenAll(tasks);
    }

✅ Вместо этого вы можете ограничить ресурсы с помощью библиотеки Polly:

    // Создаём Bulkhead policy с ограничением 10 одновременных запросов и очередью до 20 запросов.
    private readonly AsyncBulkheadPolicy<HttpResponseMessage> _bulkheadPolicy = Policy.BulkheadAsync<HttpResponseMessage>(
        maxParallelization: 10,
        maxQueuingActions: 20,
        onBulkheadRejectedAsync: context =>
        {
            Console.WriteLine("Запрос отклонён из-за перегрузки Bulkhead.");
            return Task.CompletedTask;
        });

    public async Task SendRequestsWithBulkhead(HttpClient httpClient, List<HttpRequestMessage> requests)
    {
        var tasks = new List<Task<HttpResponseMessage>>();
        foreach (var request in requests)
        {
            // Каждый запрос выполняется через Bulkhead policy,
            // что гарантирует, что одновременно будет не более 10 запросов,
            // а остальные будут ждать в очереди до 20.
            tasks.Add(_bulkheadPolicy.ExecuteAsync(() => httpClient.SendAsync(request)));
        }
        await Task.WhenAll(tasks);
    }

Благодаря Polly это выглядит довльно лайтово. И это круто! Потому что самому писать какую-то ограничивалку может быть писать лень, а тут уже все готово.

🅰️ Итого: Юзайте bulkhead! Изично работает в коде, бахнули Polly и все! Вы спасены на случай, если что-то разложится на молекулы 💘

👍 На что заменить FluentAssertions если вы еще не

Тут в канале yet another dev вышел пост про FuentAssertoins и на что его заменить.

В итоге в комментах предложили AwesomeAssertions. И я попробовал это дело применить в своем пет-проектике.

И…

Оно работает! Так как это форк, то там неймспейсы те же. То есть просто меняем название пэкаджа и все ☕️

🅰️ Итого: Так что если искали, на что заменить FluentAssertions, то муки выбора можно отбросить – меняйте на AwesomeAssertions.

P.S.: И там это, если вдруг пройдете по ссылочке в репозиторий, то закиньте там звезду ребятам, чисто по-человечески 🌟

📚Сказ о том, как мы с Саньком OpenAI в наш таск-трекер пытались интегрировать.

В прошлый четверг с прекрасным @sagos95 сделали доклад на девфоруме про то, как мы попытались прикрутить LLMку к поиску по нашему корпоративному таск-трекеру Kaiten.

Саму попытку совершали в октябре прошлого года, так что какие-то вещи уже устарели (к примеру дипсика тогда не было), но на суть доклада это не влияет.

🎞 Смотреть можно туть

Коротко текстом, о чем видос

1️⃣ Хотели научиться искать дубликаты багов в таск-трекере по абстракному описанию типа "Э-э-эм, ну мы тут сделали кнопку с чаевыми вроде и вроде были какие-то баги с ней. Можешь найти?"

2️⃣ Попробовали просто пихнуть 100 задачек в /completions эндпоинт OpenAI – получилось хорошо

3️⃣ На 1000 задачек окна контекста уже не хватило

4️⃣ Дальше идет рассказ про то, как мы пытались отфильтровать из >1000 карточек только те, что относятся к задаче

5️⃣ @sagos95 рассказывает про векторизацию и векторное сходство, а также про то, что такое Retrieval Augmented Search и как он в целом работает.

6️⃣ Рассказываем про проблему антонимов и как она делает неподходящие по смыслу запроса карточки проблемой такого поиска.

7️⃣ Показываем код и пайплайн обработки данных

🎱 Показываю просто 🩼🩼🩼 МЕГАКОСТЫЛЬ 🩼🩼🩼 для поиска

9️⃣ Делаем выводы.

Ну и коротко поделюсь тут своими эмоциями от работы над поиском, усиленным AI-шкой 😱

Ищет эта штука данные по не супер-стабильно. На малой выборке все работает более менее, но чем больше даете на вход, тем хуже становится разброс. Мы все это делали на 4o модельке, но не думаю, что дело в ее развитости, тут вопрос скорее всего в принципах работы этой штуки

Поэтому LLM надо прям затачивать под задачи. Чем более узкая задача, тем лучше будет выход.

То есть если просто загрузить карточки и начать задавать по ним вопросы, то пользователю будет не очень удобно – ему придется все время писать “выдай в таком-то формате, не пиши то-то, а пиши вот так-то”.

Дебажить эту штуку пиздец как сложно – вот она тебе выдала все правильно. Снова что-то спросил, даже то же самое и она просто ничего не выдала. Как? Почему? И тестов так-то не напишешь. По крайней мере я плохо как-то представляю такие тесты.

P.S.: Но кстати, мне кажется, что само по себе тестирование AI штук – интересный топик. Я бы поглядел какие-то доклады про енто дело.

P.P.S.: Кстати, если тоже делали RAG поиск, то поделитесь в комментах, что у вас получалось с этим делом, будет интересно почитать.

🐊 ChromaDB для векторного поиска

Только я вам рассказал про наш с Сашей доклад, как врдруг в блоге .NET вышел мини-пост с анонсом SDK для базки векторного поиска – ChromaDB.

5 марта будет сам стрим (хотя в статье написано что 26-го, но стрим в ютубе стоит на 5-ое)

Почитал немного про ChromaDB

Несколько ключевых штук, которыя я для себя смог понять🔑

1️⃣ Пока что она не production-ready

2️⃣ Hosted версия пока что только по предзаписи

3️⃣ Год назад в реддите жаловались и просили найти альтернативы

Кстати, несколько комментаторов там как раз предложили расширение pgvector для PostgreSQL, про которое я упоминал в докладе и которое дает возможность работать с векторами на уровне базки.

🍑 НО все же, если подводить итог. То в перспективе ChromaDB лучше должна будет подойти под быстро отзывчиваю систему, так как они типа стараются как можно больше запросов обработать в оперативке и записать на диск уже после обработки, через write-behind.

При этом выглядит так, что если хочется чуток поиграться с RAG и у вас уже есть PostgreSQL и вы не планируете супер-респонсивнеса, то можно пробовать pgvector. А если вы замахиваетесь на что-то супер-пупер быстрое и прям ваще мегасложное LLM-непотребство, то надо видимо уже сейчас смотреть на ChromaDB и изучать.

К сожалению так и не нашел никаких докладов, чтобы кто-то делился опытом, какова эта штука в продакшене. Так что ждемс.

Короче, нужно следить за этой штукой и посмотреть стримчик, может там что-то полезное расскажут. Но чувствуется, что просто хэллоуворлд сделают и все.

🍆 Поюзайте дик-ресерч для самообучения

Во первых вот (пояснительный кот-репост выше)!

А во вторых, я короче, раньше составлял каждый год себе примерный роадмап развития.

В какой-то момент (сегодня) я заебался так делать. И вспомнил, что вышел DeepResearch и я чет не знал, на что его приложить. И вот я попробовал приложить его к своему к тому, от чего заебался.

Очень сильно помог мини-гайд от Denis Sexy IT

1️⃣ Что круто:

💎 эта штука перед тем как пуститься в пляс 💃 спрашивает детали. Это очень круто, хочется, чтобы это происходило в несколько итераций
💎 дало ссылки на много статей. Статьи хорошие
💎 Ответы очень длинные. Это так и задумано. Что кстати удобно, потому что раньше на такой же обьем информации нужно было больше запросов.

2️⃣ Что надо понимать:

🚫 Ответ выдвавал долго (10 минут)
🚫 Некоторые книги все же выдумало

Я в первом запросе за зря сразу попросил эту штуку выдать данные в каком-то формате – в формате телеграм-постов. Мне кажется, что это мальца подубило качество поиска и в итоге оно много что выдало в каком-то обрезанном виде – ни нормальный роадмап, ни нормальный пост.

Первый результат вот тут


3️⃣ Во второй итерации уже зная, что меня спросят о деталях решил сразу попросить сделать маленький скрининг

Вышло, как по мне, лучше. Там уже было за что зацепиться и типа продолжать раскручивать тему. Дальше это можно попросить разбить на план по дням/неделям/месяцам. Попросить нагенерировать чек-поинтов, с само-опросами, сгенерить табличку, в которой будешь каждый день закрашивать, что прочитал итп. Но стартовый материал эта штука дает хороший.

Вот тут можно глянуть, что получилось

🅰️ Итого:

– Открываем DeepResearch
– Вводим промпт
– И дальше смотрим что получилоС, просим составить план по дням
– Делаем табличку, закрашиваем каждый день новую темку

Мне нужно составить Индивидуальный план развития по {ваша технология} разработке. У меня в компании используется вот такой стек:

{ваш стек}

Составь мне роадмап развития, которые помогут мне существенно развиться в технической части. Учитывай, что у меня уже уровень Senior, но мне хочется писать более оптимальный код по памяти, по использованию процессора, по работе с сетью и лучше знать необходимую внутрянку работы инструментов. 

Перед тем как составить RoadMap по каждой из технологий спроси меня коротко по каждой из них, чтобы определить мой уровень погружения.

Выводи результат на русском, но если попадаются технические термины, то их лучше писать на английском.

ВАЖНО: не дублируй одну и ту же мысль много раз в тексте, если она уже описана

🔮 PS: Хотел сделать кастомный GPT, но в них пока недоступен DeepResearch, так что пока что надо ручками все.

😏 Вайб-прожарки

Много разговоров вокруг вайб-кодинга. Вот тут хорошая серия постов вышла про то, как это работает (хуево).

Короче, сегодня попробовал сделать такую штуку. Я постоянно во время прожарок веду параллельные записи в Obsidian. Мне это важно, чтоб лучше в голове откладывалось.

А сегодня открыл ChatGPT и стал вбивать туда какие-то штуки по встрече.

Мы обсуждали вотермарки для статей, и как их сделать. Мне в голову пришла идея, как это можно сделать за секунду. Обычно ты начинаешь идею описывать голосом, и это занимает кучу времени. И не факт, что все поймут.

И тут в голову мне пришла светлая мысль

🧠 А что если быстро захуярить прототип!? 🧠

Быстро прям в процессе попросил чатик сгенерировать мне код на js, который накладывает вотермарку на страницу. Да получился говнокод, но его для быстрой демонстрации идеи ваще хватило. Вбил это говно в консольку и вуа-ля! 🔮

Как итог – все такие – “о, а это прям то что надо!”
И со встречи ушли не просто типа "вот это поизучать, вот тут поспайкать и соберемся через недельку, чтобы обсдуить дальнейшие шаги“ (к моему ужасу все шло именно к этому), а сразу с задачей. Потому что все посмотрели, и сказали – "да это то, что нужно!”

Мне заебись, потому что я ненавижу кучи встреч и встречи без результата. Всем остальным заебись, потому что порешали все вопросики. Кайф!

🅰️ В связи с чем вывод, что может вайб-кодинг для продовых задач и не очень, но вот может вполне подойти для того, чтобы захреначить прототипы прям на прожарках! Во фронотовых задачах точно можно чет такое юзать, ибо консоль есть. По бэку может нет, надо тогда под рукой держать запущенный мини-сервачок.

🆘 А еще чуваки, у меня к вам огромная просьба 🆘

Кто-то поставил буст вашему скромному Димасу (ладно, я у его жены выпросил 🤡), и теперь у меня есть потребность выбрать один кастомный эмодзи, который я смогу добавить в текущий эмодзи-пак канала :

😳Можете пожалуйста в комменте под этим постом проставить эмодзик, а я выберу самый необходимый для дальнейшего существования вселенной и всего всего всего. Выберу самый залайканный, ну а если не будет самых залайканных, то выберу чет, что по душе

Голосуйте, или проиграете! (ладно проиграю только я, если вы не проголосуете)