Первая рекламная интеграция на канале. Жаль что шутка:(

А если серьезно, то мы в Dodo Engineering ищем Middle+ SRE в Observability Team (Infra Platform)

Мы открываем вакансию middle+ SRE в команду и готовы рассматривать кандидатов. Если рассматриваете для себя новые возможности — пишите мне, познакомимся)

Что за Observability Team?
Не так давно, команда наша Infra Platform разделилась из монолита на микро-сервисы-команды, одной из которых и является Observability Team.
Сейчас в команде я и прекрасный Кирилл, мы активно ищем еще 2х таких же классных ребят себе в команду.

Чем занимается команда?
* Делаем наши инструменты Observability лучше
* Разрабатываем, развиваем и внедряем платформу Observability, что бы помогать командам разработки и эксплуатации получать все необходимые данные о работе наших сервисов
* Автоматизируем процессы развертывания и управления инструментами Observability (и не только)

Кого ищем и что надо делать?
Ищем middle+ SRE (или разработчика который хочет в SRE, мы с радостью всему научим)
Подробное описание вакансии - тут

У нас грандиозные планы по развитию наших инструментов, внедрение платформы и улучшение DevExp наших коллег

Обновление технологического радара Dodo Engineering на 2025 год!

Честно говоря, подглядел этот пост у коллеги и решил сделать свой :D
Привет, Берёзка, спасибо за вдохновение!

Мы в Dodo Engineering продолжаем двигаться вперёд и адаптировать наши технологии и инструменты, чтобы оставаться на передовой инноваций. И вот основные (или нет) изменения, которые произошли с 2023 года:

Языки и фреймворки:
Python, который в 2023 году использовался для легаси проектов, больше не фигурирует в нашем списке.
Jsonnet и Bash продолжают оставаться в статусе "Adopt", подтверждая свою надёжность и эффективность (нет).

Платформы:
MySQL, Kubernetes и GitHub продолжают быть нашими лучшими друзьями в статусе "Adopt".
GitLab остаётся в статусе "Hold" (но скоро мы с ним попрощаемся).

Инструменты:
Ansible остаётся в статусе "Hold".
Jaeger продолжает оставаться в статусе "Adopt".
Grafana и Prometheus переведены в статус "Hold" как "Legacy monolith visualization" и "Legacy monolith monitoring" соответственно (мигрируем на операторов).

Техники:
Подход "You build it, you run it, you budget it" продвинулся до стадии "Assess".
Практики oncall для критических сервисов остаются в стадии "Assess".
Wheel of Misfortune — очень надеюсь, что доведу его до ума и будет конфетка, но пока в стадии "Trial".

Новые технологии в 2025 году:
DodoEngineering CLI, IDP/PaaS и K8S Operators в статусе "Assess".
Grafana Stack (alloy, mimir, tempo, loki, pyroscope), OTel Collector и Grafana Operator в статусе "Assess".
Grafana Faro Web SDK в статусе "Trial".
Prometheus Operator в статусе "Assess".

Вывод:
Неожиданно, но мы развиваемся, пробуем новые технологии и инструменты. Надеюсь, они помогут нам в достижении наших целей :)

Радарчик посмотреть можно тут

UPD: чуть ошибся ссылкой, уже поправил :)

Всем привет
Важная штучка тут прилетела!
Google собирается провести бесплатный воркшоп по SLO 22 мая!
Ссылка для регистраций:)
Налетай, делись, учись :)

Украденных мемов вам в ленту

Перевел и актуализировал для вас классную статейку, о том как почистить свои метрики от мусора.

Перевод тут

Оригинал тут

Это снова могла быть реклама, но увы :(

Ранее я уже писал что состою в ПК PerfConf. И ребята решили порадовать нас и вас промокодом для физ.лиц на свою конференцию.
Промокод PC20 дает скидку на покупку билета. Пользуйтесь :)

Неожиданно, но я (и канал) живой :)
Поэтому вот вам еще новостя с полей конференций и ПК :)
Я еще состою и в ПК DevOops Conf, где ребята тоже решили поделиться промокодом для скидки на покупку билета для вас. Целых 25%!
Но, тк закон о рекламе запрещает его выкладывать в публичных каналах - за ним можно прийти в личку и я с радостью поделюсь :)

Наконец-то завязал с мучениями в Obsidian!
Устал от постоянной возни с его markdown'ом, плагинами и прочими заморочками. Решил вернуться к облачным решениям.
Что пробовал:
Notion — с VPN работает нестабильно, медленно и крайне долго синкается.
Наши аналоги и китайские клоны — быстро надоели кучи багов, глюков и зависаний, плюс не у всех есть приложение на мобилку.
Что выбрал: AFFiNE
- Open source (авторы из Сингапура)
- Удалось легко перенести все заметки
- Есть мобильное приложение
- Главный плюс — published notes работают отлично и мигранулись в один клик
Мои публичные заметки
Итог:
Оказалось гораздо удобнее, чем мучиться с Obsidian и его плагинами или другими аналогами. Рекомендую попробовать, жаль что нет рефералок :D

И так, снова про метрики. Что вы знаете о Trickster?

Но начну с проблем, которые мы решали.

У нас в observability команде Prometheus начал задыхаться под нагрузкой:
- Grafana-дашборды открывались по 30-40 секунд
- Одни и те же запросы выполнялись десятки раз
- PromQL-запросы с большими временными диапазонами убивали память
- Кардинальность метрик росла, а железо - нет

Встал вопрос, как это решать, и неожиданно нашёлся Trickster.

Trickster - это умный HTTP reverse proxy, который сидит между Grafana и Prometheus. Он кэширует результаты запросов и умеет делать несколько крутых вещей:

Delta Proxy Cache - запрашивает только новые данные, а старые берёт из кэша. Например, если у вас запрос за последние 6 часов, а в кэше уже есть данные за 5 часов 50 минут - Trickster догрузит только последние 10 минут.

Time Series Merging - склеивает закэшированные данные с новыми так, что Prometheus даже не догадается.

Query Rewriting - оптимизирует тяжёлые запросы на лету.

Результаты после внедрения:
- Нагрузка на Prometheus упала на 60-70%
- Дашборды открываются в 3-5 раз быстрее (не всегда :D)
- Hit rate кэша стабильно держится на уровне 75-80%
- Можно спокойно масштабировать дашборды без страха положить Prometheus (нет)

Альтернатив особо нет. Есть Promxy, Cortex, Thanos - но они решают другие задачи (федерация, долгосрочное хранение). Именно для кэширования запросов на уровне HTTP с умным delta-подходом Trickster практически уникален.

Что важно знать:
- Работает с Prometheus, InfluxDB, ClickHouse, IronDB
- Поддерживает Redis и Filesystem как бэкенд для кэша
- Можно настроить TTL отдельно для каждого типа запросов
- Метрики самого Trickster экспортируются в Prometheus (очень meta)

Если у вас Prometheus начинает тормозить, а дашбордов становится всё больше - внедрение Trickster займёт пару часов, но сэкономит месяцы оптимизаций.

PS: ах, да, особо не смотрите на последний релиз Trickster-a, форкните репо себе и соберите image. Ребята что-то забросили сборки обновлять :(

Тестфлайт Додо Пиццы

Мы открываем бета-сборочки в публичный тестфлайт. Сборки довольно стабильные: они прошли все внутренние автоматические проверки и часть ручных. Критический путь в них 100% работает, но могут быть супер-редкие краши. Их мы и хотим отловить с вашей помощью.

Бета-сборочку можно установить по ссылке: https://testflight.apple.com/join/DJjtWbmY

Новые сборки выкладываем каждые две недели, так что включите автообновление и выключите оповещения.

В нашем корп. чатике поделились, а я залип...
И так, 796 этаж...это огромная анимационная сцена в виде космической станции с кучей комнат, каждая из которых наполнена множеством двигающихся персонажей и отсылок к поп-культуре, кино, играм и мемам. Всё создаётся и расширяется одним человеком уже несколько лет с 2018-го, при этом анимация представлена одной большой зацикленной гифкой в 60 кадров.
В этой анимации можно найти массу пасхалок, включая отсылки к “Властелину колец”, “Дюне” и “Бегущему по лезвию” — начиная с неоновых огней нуарного Лос-Анджелеса, таинственных пустынь и до классических эльфов и легендарных героев. Автор очень досконально проработал каждый кадр, создавая сложный и живой мир, который постоянно расширяется и развивается. Клик по многим персонажам раскрывает их истоки, превращая просмотр в настоящее гик-путешествие по культовым произведениям и мемам.
И залипаю я в эту штуку уже третий вечер подряд :)

Вот вам мемес под конец рабочего дня

Всем продуктивного понедельника :)

Как я автоматизировал заметки: из Telegram в Notion без боли (ну почти)

Рабочие вопросы, задачи, курсы, консультации - информации в день прилетает тонна. Идеи для постов, заметки с митингов, голосовухи после созвонов, внезапные озарения в 2 часа ночи. Раньше все летело в избранное Telegram. А потом каждые выходные - унылый ритуал: открываешь избранное, копируешь в Notion, категоризируешь, добавляешь теги - 2-3 часа убито.

И тут я нашел базовый workflow для n8n и довел до ума. Теперь просто форвардлю сообщение боту - и оно уже в Notion, причем AI сама:
- Генерит заголовок из содержимого
- Определяет тип: Question/Task/Idea/Observation/Research
- Ставит категорию: Projects/Marketing/Personal/Research и т.д.
- Сохраняет контент без изменений, все ссылочки собирает в конце заметки

Бонус: работает с голосовыми! Записал мысль вслух → Google Gemini транскрибирует → в Notion уже текстом.

Набор простой:
- n8n для оркестрации
- Google Gemini 2.5 Flash (транскрипция + обработка)
- Notion API
- Telegram Bot

Фишка: без даты в заголовке (она отдельно в поле Created At). AI не додумывает - копирует как есть.
Минус: не более 2000 символов и слегка медленно думает над войсами :(

А что изменилось то?
Было:
- 50-70 заметок в неделю в избранном
- 2-3 часа на сортировку в выходные
- Теряются детали, пока не перенес
Стало:
- Форвард → 5 секунд → в Notion с тегами
- Голосовые сообщения и прочие "подкасты" → текстом в базе
- Идеи для курсов не теряются
- Могу искать по категориям сразу

Ну куда же без применение в SRE

Реально полезные кейсы:
Во время инцидентов вместо скрайбера:
Голосом в бота: "Упал Prometheus в зоне B, начал рестарт, проверяю PV" → в Notion с типом "Observation", категория "Projects"
После митингов:
Форвардишь итоги встречи → автокатегоризация → в одной базе с другими заметками по проекту
Идеи для постов:
Увидел интересный кейс → сразу в бота → тип "Idea", категория "Marketing" → не потеряется
Для курсов:
Research по новым инструментам → сразу в категорию "Research" → потом легко найти при подготовке материалов

Итоги
Экономлю ~10 часов в месяц. Но главное - перестал терять информацию. Все идеи, заметки, инсайты сразу в структурированном виде.
Для SRE/DevOps-инженеров, кто ведет каналы, пишет курсы или просто много фиксирует - мастхэв.
---
P.S. Ссылочка на сам ворк-флоу - туть
P.P.S. Google Gemini для транскрипции русского языка работает офигенно. Даже с моим техническим жаргоном, косноязычием и "эмммм" посреди предложения. Главное без мата, он такое не любит.

CrowdSec - штука, которую мне показал хороший друг.

Привет! Сегодня хочу рассказать про инструмент, который реально помогает спать спокойнее, когда у вас куча VPS торчит в интернет.

Что это вообще такое?
CrowdSec - это открытая система защиты от атак, работающая по принципу "один за всех". Представьте: кто-то брутит SSH на сервере в Токио, информация об атакующем IP попадает в общую базу, и ваш сервер в Москве уже знает, что этот адрес нужно блокировать. Круто, да?

Почему я это использую:
Легковесность - агент жрёт ~50MB RAM, не то что fail2ban с его аппетитами
Умные парсеры - из коробки понимает логи nginx, SSH, MySQL и ещё кучи сервисов
Общая threat intelligence - миллионы серверов делятся данными об атаках в реальном времени
Гибкие bouncers - блокируешь на уровне iptables, nginx, cloudflare - как удобно:)

Базовый сетап за 5 минут:

curl -s https://install.crowdsec.net | sudo sh
sudo cscli bouncers add firewall-bouncer
sudo apt install crowdsec-firewall-bouncer-iptables

Добавляешь коллекции под свои сервисы:

sudo cscli collections install crowdsecurity/nginx
sudo cscli collections install crowdsecurity/sshd

И всё — у вас уже работает защита, которая учится на опыте всего комьюнити.
Из практики:
Только что накатил на свои 4 VPS . За первые сутки:
SpaceCore поймал уже 334 алерта:(
WaiCore - 135 попыток
BlackMore и Veesp - 18 и 13 соответственно

Все эти IP автоматически попали в блокировку. И это только за день! Представьте, сколько мусорного трафика раньше долетало до сервисов.

Веб-интерфейс для мониторинга:
У CrowdSec есть вариант визуализации:
CrowdSec Console (app.crowdsec.net) - регистрируешь аккаунт, энроллишь свои инстансы через cscli console enroll, и получаешь красивый дашборд со всеми серверами в одном месте. Бесплатно для небольших инсталляций. Удобно мониторить все VPS с телефона, не нужно ничего поднимать и поддерживать. Плюс получаешь аналитику по типам атак и географии атакующих.
Метрики и алерты:
CrowdSec экспортирует метрики в Prometheus из коробки. У меня стоит алерт на аномальный рост заблокированных IP - если вдруг начинается что-то серьёзное, я узнаю об этом сразу.

Если у вас есть VPS, на которых что-то крутится, поставьте CrowdSec. Это не панацея, но отличный дополнительный слой защиты, который работает на опыте миллионов других серверов.

UPD: Оказывается в их cloud-вебморде лимит на 500, а значит я свои 500 уже получил и новые не увижу, но метрика в prometheus работает корректно и показывает как дела :)

Слегка отойдем от рабочих моментов...

И так, Dispatch — это безумно залипательная вещь на 10 часов, заполненная шикарными шутками, чёрным юмором, подколами и матюками.

Нам в 8 эпизодах рассказывают историю бывшего супергероя, который теперь сидит за пультом и управляет другими не совсем уж героями, а бывшими злодеями которых отправили на перевоспитание. Сюжет разворачивается как полноценный интерактивный триллер с выборами, которые реально влияют на развитие истории и судьбы персонажей.

Визуальная составляющая — просто шик, это замечательный мультик в стиле…а черт его знает что это за стиль, где иногда надо что-то выбрать, чтобы решить свою или чужую судьбу. Атмосфера насыщенная, саундтрек давит в нужный момент, а диалоги написаны с таким расчётом, что половину времени ты либо смеёшься, либо сидишь в шоке от развития событий.

Люто советую отключить QTE в настройках и просто наслаждайся моментами — игра от этого только выигрывает. Позволяет сосредоточиться на выборах и диалогах, а не на нажимании кнопок. Локализация страдает местами, поэтому советую еще и оригинальный язык оставить, а то есть шанс упустить все тонкости юмора и приколов.

А ещё там можно романсить двух красоток, что добавляет реиграбельности — хочется пройти ещё раз, чтобы увидеть все ветки сюжета и альтернативные концовки их лайнов.
Финал игры - просто отвал башки, с кайфом просидел все 9 часов и 8 эпизодов замечательной истории о любви, предательстве, дружбе и всей прочей ерунды.

Если ты любишь интерактивные истории, чёрный юмор и не боишься немного экспериментировать со своей судьбой — Dispatch это обязательно. Это не игра для быстрого прохождения, это игра, в которую хочется погружаться, перепроходить и обсуждать с друзьями. Шедевр инди-сцены, который легко затянет на весь выходной.