Хозяйке на заметку. Часто, чаще чем хотелось бы, возникают проблемы обширного потребления памяти киком (sidekiq). При этом, всё как будто бы seems legit, но bloat растёт. Профайлер тоже ничего подозрительного не выдаёт. Что же это может быть? Кэш от AR. Детали здесь https://github.com/sidekiq/sidekiq/issues/3752 но в целом обычное решение: отключать ar query cache. Т.к. часто джобы в кике разовые и кэш не даст там ощутимого эффекта, кроме bloat memory 🌚
Само по себе "решение" — сложно назвать это решением — такое:
В каком-то из проектов мы вообще декларативно отключали кеш (как будто есть конфиг в AR, но не нашёл).
Само по себе "решение" — сложно назвать это решением — такое:
def perform(params)
ActiveRecord::Base.uncached do
make_some_work_with-db
end
end
В каком-то из проектов мы вообще декларативно отключали кеш (как будто есть конфиг в AR, но не нашёл).
GitHub
Understanding a leak that happens only when running job via sidekiq worker · Issue #3752 · sidekiq/sidekiq
Sidekiq 5.1 (using Sidekiq Pro 4) with Ruby 2.4.1. Same issue occurs with Sidekiq 4.2.10 (without pro) We have an issue where a job of ours when running on Sidekiq leaks memory. The use case is as ...
👍6❤1
Много лет на вопрос "что почитать, чтобы понять почему вы программисты так много зарабатываете такие умные", предлагал прочитать от корки до корки 2 книги: Вирта "Алгоритмы+Структуры = программа" и книгу Сергея Кузнецова по СУБД. Учитывая развитие языков программирования, Вирт уже везде в stdlib и в целом сильно устарел. В том же руби массив — это и список, и массив. JVM Lists туда же. Поэтому, пожалуй, остаётся одна книга. А вот и ссылка на неё: https://teach-in.ru/file/synopsis/pdf/database-M.pdf.
👍2
Под звуки салюта (но мы его не заказывали), мира вашему дому, где бы вы не находились и во что бы не верили. Пусть Наука, Труд и Вера в добро победят. Желаю всем сил и оптимизма.
🕊5❤2
Кратко цели на год. Что-то прочитать, что-то (этого больше) — перечитать. В 2003 году преподаватель матана сказал, что чтобы состояться в профессии надо прочитать метр книг по специальности. Вот — он. Кнут для красоты.
О процессе буду вести заметки, во многом ради этого пост, чтобы была опора 🙂
Девиз этого года: знание + сила
О процессе буду вести заметки, во многом ради этого пост, чтобы была опора 🙂
Девиз этого года: знание + сила
👍7😁1
Отличный вышел подкаст. На что-то такое я слабо надеялся, подаваясь с докладом на рубирашу '24. Нет, там было здорово, но Кирилла и Володю по уровню дискуссии и эрудированности в теме заменить сложно. Осторожно. Вызывает сильную ностальгию по railsclub первых лет и кулуарным беседам в коридорах DO.
Forwarded from Организованное программирование | Кирилл Мокевнин (Kirill Mokevnin)
Ruby, Ruby, Ruby. В этом выпуске мы поговорили с Владимиром Дементьевым, ведущим разработчиком в компании "Злые Марсиане", контрибьютором в Ruby и Ruby on Rails.
В подкасте обсудили:
- Современное состояние языка Ruby, его развитие и применение в больших проектах
- Подходы к созданию устойчивой архитектуры приложений на Ruby и опыт использования языка в open-source проектах
- Эволюцию фреймворка Ruby on Rails, включая новые возможности, такие как асинхронная обработка
- Личный опыт Владимира в разработке таких проектов, как AnyCable, и его вклад в создание инструментария для разработчиков
https://www.youtube.com/watch?v=fBJGj6sd9AQ (первый раз запустили видео как премьеру, можно там прямо в процессе обсуждать)
VK: https://vk.com/orgprog Подкасты: https://podcast.ru/1734325321
В подкасте обсудили:
- Современное состояние языка Ruby, его развитие и применение в больших проектах
- Подходы к созданию устойчивой архитектуры приложений на Ruby и опыт использования языка в open-source проектах
- Эволюцию фреймворка Ruby on Rails, включая новые возможности, такие как асинхронная обработка
- Личный опыт Владимира в разработке таких проектов, как AnyCable, и его вклад в создание инструментария для разработчиков
https://www.youtube.com/watch?v=fBJGj6sd9AQ (первый раз запустили видео как премьеру, можно там прямо в процессе обсуждать)
VK: https://vk.com/orgprog Подкасты: https://podcast.ru/1734325321
YouTube
Руби против всех: язык, который пережил свою эпоху и вернулся сильнее | Владимир Дементьев | #27
В этом выпуске подкаста "Организованное программирование" мы поговорили с Владимиром Дементьевым, ведущим разработчиком в компании "Злые Марсиане", контрибьютором в Ruby и Ruby on Rails. Владимир поделился своим опытом работы с языком Ruby, рассказал о своей…
❤2
Раз у меня тут случайный буст по подписчикам =) Дам ссылку на одну из самых важных, но при этом не очень известных, книг для программиста https://www.ozon.ru/product/put-kamikadze-kak-razrabotchiku-programmnogo-obespecheniya-vyzhit-v-beznadezhnom-proekte-847402138
Все уже не раз и не два участвовали в таком. По сути это такой печатный психотерапевт. Книга старая, но никогда, наверное, не потеряет свою актуальность.
Все уже не раз и не два участвовали в таком. По сути это такой печатный психотерапевт. Книга старая, но никогда, наверное, не потеряет свою актуальность.
OZON
Путь камикадзе. Как разработчику программного обеспечения выжить в безнадежном проекте купить на OZON по низкой цене (847402138)
Путь камикадзе. Как разработчику программного обеспечения выжить в безнадежном проекте – покупайте на OZON по выгодным ценам! Быстрая и бесплатная доставка, большой ассортимент, бонусы, рассрочка и кэшбэк. Распродажи, скидки и акции. Реальные отзывы покупателей.…
👍3👀1
Тут всякое происходит, не до философии и самообучения.
Но рубрика #хозяйкеназаметку
Небольшой сниппет по очистке уже в влитых в ветку веток в гите.
Часто оч полезно, если у вас какой-нибудь helm и надо выкинуть уже влитые в него изменения.
Условия для работы:
0. Заходим в консоль/терминал.
1. Входим в ветку, куда вы вливали изменения (пример
2. Выполняем
Но рубрика #хозяйкеназаметку
Небольшой сниппет по очистке уже в влитых в ветку веток в гите.
Часто оч полезно, если у вас какой-нибудь helm и надо выкинуть уже влитые в него изменения.
Условия для работы:
0. Заходим в консоль/терминал.
1. Входим в ветку, куда вы вливали изменения (пример
git checkout integration).2. Выполняем
git branch --merged | grep -v "\*" | xargs -n 1 git branch -d❤2👍2
6 марта буду участвовать в круглом столе в качестве эксперта на Backend Odyssey.
https://x5-tech-event.timepad.ru/event/3239510
Одна из тем обсуждения "что должен знать backend-разработчик", где мне точно есть что сказать. А также к месту книжка сверху, о которой обязательно упомяну в контексте создания отказоустойчивых приложений.
https://x5-tech-event.timepad.ru/event/3239510
Одна из тем обсуждения "что должен знать backend-разработчик", где мне точно есть что сказать. А также к месту книжка сверху, о которой обязательно упомяну в контексте создания отказоустойчивых приложений.
x5-tech-event.timepad.ru
Backend Odyssey: хакни головоломку ритейла / События на TimePad.ru
Приглашаем вас на митап, где эксперты из ведущих компаний обсудят актуальные тренды и технологии, формирующие динамичную отрасль ритейла.
🔥6❤1
У Кирилла Мокевнина вышел очередной крайне интересный выпуск с Алексеем Рыбаком.
Видео: https://vkvideo.ru/video-224967259_456239093
При этом, в ходе разговора было упомянуто несколько раз, что Алексей выпустил несколько статей на хабре на злободневные темы. Экономлю вам время на поиск, вот они https://habr.com/ru/users/fisher/articles/
Кстати, на стопкадре как будто только о Кубере, но в заголовке уже существенно более ёмкое и соответствующее содержанию название "топ трендов 2025". Я бы ещё добавил "с точки зрения CTO и опытного консультанта", что куда более важная информация, чем первые 2 слова. =)
И спасибо за видео. Оно меня разбудило, когда дороги Тульской области с их плавными дугами почти усыпили меня.
upd. у Алексея, конечно же, есть тг-канал. Вот он https://news.1rj.ru/str/rybakalexey
Видео: https://vkvideo.ru/video-224967259_456239093
При этом, в ходе разговора было упомянуто несколько раз, что Алексей выпустил несколько статей на хабре на злободневные темы. Экономлю вам время на поиск, вот они https://habr.com/ru/users/fisher/articles/
Кстати, на стопкадре как будто только о Кубере, но в заголовке уже существенно более ёмкое и соответствующее содержанию название "топ трендов 2025". Я бы ещё добавил "с точки зрения CTO и опытного консультанта", что куда более важная информация, чем первые 2 слова. =)
И спасибо за видео. Оно меня разбудило, когда дороги Тульской области с их плавными дугами почти усыпили меня.
upd. у Алексея, конечно же, есть тг-канал. Вот он https://news.1rj.ru/str/rybakalexey
VK Видео
Высокие нагрузки 2025: топ трендов, которые меняют правила игры | Алексей Рыбак | #34
В этом выпуске мы поговорили с Алексеем Рыбаком о том, как в Рунете зарождались и развивались высокие нагрузки: от первых новостных сайтов до больших социальных проектов. Разобрали, почему именно связка Nginx и Memcached стала стандартным инструментом, помогая…
❤4👍1
Forwarded from System Design & Highload (Alexey Rybak)
QA-сессия с Мартином Клеппманном и Крисом Риккомини
Вместо выпуска новостей, который обязательно состоится, но позже, делюсь содержанием и ссылкой на 30-минутную Q&A-сессию с Мартином Клеппманом и Крисом Риккомини. Это они сейчас пишут “второго кабанчика”.
- Мартин Клеппман - автор Designing Data-Intensive Applications. Исследователь в области распределённых систем и безопасности в Кембриджском университете. Ранее работал инженером-программистом и предпринимателем в интернет-компаниях, включая LinkedIn и Rapportive, где занимался разработкой инфраструктуры для обработки данных в больших масштабах.
- Крис Риккомини - соавтор The Missing README. Инженер-программист, инвестор в стартапы и консультант с более чем десятилетним опытом работы в крупных технологических компаниях, таких как PayPal, LinkedIn и WePay. На протяжении всей своей карьеры он активно участвовал в развитии open-source проектов, является автором Apache Samza, сейчас работает над SlateDB
- Беседу модерирует Цах Ливятан, VP of Product в ScyllaDB
Темы: 2-е издание «кабанчика» Designing Data-Intensive Applications, эволюция систем управления данными, влияние облачных технологий и будущие тренды.
Саммари составил ChatGPT (а DeepSeek провалил тест, “абсолютно, совершенно, херня полная” IYKWIM).
https://www.youtube.com/watch?v=T-d1wR7adB8
Сотрудничество Мартина и Криса
• Мартин и Крис познакомились в LinkedIn в 2013 году, работая над Kafka и Samza.
• Мартин начал писать Designing Data-Intensive Applications во время работы в LinkedIn, а затем покинул компанию, чтобы сосредоточиться на книге.
• Крис работает над вторым изданием, привнося свежий взгляд на современную инфраструктуру данных.
Почему сейчас выходит второе издание?
• Основные концепции баз данных развиваются медленно, но облачные технологии серьёзно изменили архитектуру данных.
• Главное изменение — рост популярности объектных хранилищ (например, S3) в качестве основного способа хранения данных.
• Разделение управления, данных и вычислений стало доминирующей архитектурной моделью.
Эволюция облачных технологий и баз данных
• Облачные технологии привели к модели SaaS-баз данных, которая даёт большую гибкость в развертывании и управлении.
• Набирают популярность edge computing и встроенные базы данных (DuckDB, расширения PostgreSQL).
• Дискуссии о компромиссах между облачными и самостоятельными (on-premise) моделями продолжаются.
• Экосистема расширений PostgreSQL (PG Vector, PG DuckDB) позволяет универсальным базам данных поддерживать специализированные нагрузки.
• Компании могут начинать с расширений, но со временем переходить на узкоспециализированные решения.
• Рынок одновременно консолидируется вокруг универсальных баз и поддерживает рост нишевых высокопроизводительных решений.
Вызовы при написании второго издания
• Основная структура книги осталась прежней, но текст серьёзно обновлён и переработан.
• Важно было найти баланс между необходимыми изменениями и избежанием избыточных добавлений.
• ИИ использовался для исследований, но не для написания текста.
В конце обсуждения участники рассказали о своих текущих проектах:
• Мартин исследует локально-ориентированное ПО, где основное хранилище — устройство пользователя, а облако — резервный вариант.
• SlateDB, open-source проект Криса, движок, разработанный для использования облачного объектного хранилища, обеспечивая масштабируемое и надёжное управление данными. Построенный на основе структуры LSM-дерева (log-structured merge-tree), он отличается от традиционных движков хранения тем, что записывает все данные непосредственно в объектные хранилища, такие как Amazon S3, Google Cloud Storage, Azure Blob Storage, MinIO и Tigris.
Вместо выпуска новостей, который обязательно состоится, но позже, делюсь содержанием и ссылкой на 30-минутную Q&A-сессию с Мартином Клеппманом и Крисом Риккомини. Это они сейчас пишут “второго кабанчика”.
- Мартин Клеппман - автор Designing Data-Intensive Applications. Исследователь в области распределённых систем и безопасности в Кембриджском университете. Ранее работал инженером-программистом и предпринимателем в интернет-компаниях, включая LinkedIn и Rapportive, где занимался разработкой инфраструктуры для обработки данных в больших масштабах.
- Крис Риккомини - соавтор The Missing README. Инженер-программист, инвестор в стартапы и консультант с более чем десятилетним опытом работы в крупных технологических компаниях, таких как PayPal, LinkedIn и WePay. На протяжении всей своей карьеры он активно участвовал в развитии open-source проектов, является автором Apache Samza, сейчас работает над SlateDB
- Беседу модерирует Цах Ливятан, VP of Product в ScyllaDB
Темы: 2-е издание «кабанчика» Designing Data-Intensive Applications, эволюция систем управления данными, влияние облачных технологий и будущие тренды.
Саммари составил ChatGPT (а DeepSeek провалил тест, “абсолютно, совершенно, херня полная” IYKWIM).
https://www.youtube.com/watch?v=T-d1wR7adB8
Сотрудничество Мартина и Криса
• Мартин и Крис познакомились в LinkedIn в 2013 году, работая над Kafka и Samza.
• Мартин начал писать Designing Data-Intensive Applications во время работы в LinkedIn, а затем покинул компанию, чтобы сосредоточиться на книге.
• Крис работает над вторым изданием, привнося свежий взгляд на современную инфраструктуру данных.
Почему сейчас выходит второе издание?
• Основные концепции баз данных развиваются медленно, но облачные технологии серьёзно изменили архитектуру данных.
• Главное изменение — рост популярности объектных хранилищ (например, S3) в качестве основного способа хранения данных.
• Разделение управления, данных и вычислений стало доминирующей архитектурной моделью.
Эволюция облачных технологий и баз данных
• Облачные технологии привели к модели SaaS-баз данных, которая даёт большую гибкость в развертывании и управлении.
• Набирают популярность edge computing и встроенные базы данных (DuckDB, расширения PostgreSQL).
• Дискуссии о компромиссах между облачными и самостоятельными (on-premise) моделями продолжаются.
• Экосистема расширений PostgreSQL (PG Vector, PG DuckDB) позволяет универсальным базам данных поддерживать специализированные нагрузки.
• Компании могут начинать с расширений, но со временем переходить на узкоспециализированные решения.
• Рынок одновременно консолидируется вокруг универсальных баз и поддерживает рост нишевых высокопроизводительных решений.
Вызовы при написании второго издания
• Основная структура книги осталась прежней, но текст серьёзно обновлён и переработан.
• Важно было найти баланс между необходимыми изменениями и избежанием избыточных добавлений.
• ИИ использовался для исследований, но не для написания текста.
В конце обсуждения участники рассказали о своих текущих проектах:
• Мартин исследует локально-ориентированное ПО, где основное хранилище — устройство пользователя, а облако — резервный вариант.
• SlateDB, open-source проект Криса, движок, разработанный для использования облачного объектного хранилища, обеспечивая масштабируемое и надёжное управление данными. Построенный на основе структуры LSM-дерева (log-structured merge-tree), он отличается от традиционных движков хранения тем, что записывает все данные непосредственно в объектные хранилища, такие как Amazon S3, Google Cloud Storage, Azure Blob Storage, MinIO и Tigris.
YouTube
Monster Scale Summit 2025 | Designing Data-Intensive Apps in 2025 - Martin Kleppmann|Chris Riccomini
Go to https://www.scylladb.com/monster-scale-summit/ for Monster Scale Summit talks on demand and to learn more.
. . . . .
Join Martin Kleppmann and Chris Riccomini for a chat on the evolution of *Designing Data-Intensive Applications*. They’ll discuss key…
. . . . .
Join Martin Kleppmann and Chris Riccomini for a chat on the evolution of *Designing Data-Intensive Applications*. They’ll discuss key…
Но всё-таки выходной! Вот фокус двух моих любимых тем: музыкальная группа Скафандр в своём канале выложила видео о том, как Олег Артемьев с помощью коллеги надевает на МКС скафандр перед выходом в открытый космос (или просто тренируется). Всегда надо мечтать о чём-то великом и вдохновляться делами по-настоящему крутых ребят (включая весь состав Скафандра, конечно).
Forwarded from Skafandr. Группа Скафандр из Петербурга
This media is not supported in your browser
VIEW IN TELEGRAM
Однажды на МКС. Погрузка в скафандр
Канал пошёл чуть не туда, но вот классный человек, делает наверное одни из лучших автотематических видео. Там в главной роли ЗВУК. https://www.robbertalblas.nl/
Robbert Alblas
Robbert Alblas automotive film and photo
Driven by our passion for special cars we capture what's so special about them in a cinematic way.
😁2
И по теме. Подъехали видео с X5 tech митапа, где я был одним из спикеров на круглом столе. Получилось для меня спонтанно, но было интересно. Точно пойду еще раз, если что-то организуется.
❤2
Forwarded from X5 Tech
Как и обещали, собрали все доклады экспертов с нашего митапа Backend Odyssey, который прошёл 6 марта. Здесь было всё: ML-модели, no code разработка, верстка на Python, в общем, как вы любите 💚
Собрали для вас плейлист со всеми выступлениями спикеров, давайте вспомним, о чём они рассказывали:
🔘 Юрий Маркин, старший разработчик X5 Tech, о переходе команды на технологию DBUI и создании компонентной системы для вёрстки на Python.
🔘 Михаил Абакумов, ведущий разработчик в Яндекс Лавке, о цикле заказа, опыте работы с платёжной инфраструктурой и обеспечением отказоустойчивости.
🔘 Арнур Нуров, разработчик Альфа-Банка, об эволюции технологий в ритейле — от монолитных систем к микросервисам.
🔘 Алексей Фиссон, руководитель команды разработки X5 Tech, об опыте разработки no code и платформе ботов для общения с гостями розничных магазинов.
🔘 Глеб Лобанов, C++ backend team lead Яндекс Лавки, о создании микросервиса для решения проблем, возникших из-за роста существующей ML-модели.
Смотрите на📺 YouTube или 📺 ВКонтакте
А все фото с митапа можно посмотреть здесь.
Мы точно продолжим наше путешествие Backend Odyssey, так что внимательно следите за анонсами!
Собрали для вас плейлист со всеми выступлениями спикеров, давайте вспомним, о чём они рассказывали:
Смотрите на
А все фото с митапа можно посмотреть здесь.
Мы точно продолжим наше путешествие Backend Odyssey, так что внимательно следите за анонсами!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3