С 256-м днём в году, друзья-программисты!

«В сентябре 2019 года, на выходных, мы культурно выпивали всем Dodo Engineering на турбазе под Владимиром. В это время облачный провайдер обновил минорную версию MySQL».

23 сентября на Saint HighLoad++ Олег Блохин расскажет историю о последствиях и инженерных решениях, сдобренную анекдотами из жизни в облаке.

Если вы мечтаете об облаках, но никогда в них не жили — приходите послушать, как бывает. В рамках одной продолжительной истории переезда базы на managed-решение разберём, какие подводные камни, детские болезни и неприятные проблемы случаются. Смотреть будем на примере MySQL, но большая часть ситуаций не связана с конкретной базой данных и с базами данных вообще.

18:00, зал 06, Зелёный. До встречи!

🚨 У нас сегодня развалилась к херам Dodo IS!

Прием заказа превратился в тыкву, мы не смогли обслужить пуши, мы не смогли обслужить акции и в итоге клиенты часа испытывали проблемы в самый пиковый день.

У нас за вечер:
* DDoS на 2.8млн запросов в минуту.
* Пуши, которые свалили мобильное приложение, а затем и сайт.
* Наш плохой релиз, который непонятно как сломал центр системы.
* Сломался мониторинг раза 3-4 за вечер.
* Дикая нагрузка на базу.

Все эти ошибки умножали эффект друг на друга.

Этим падением мы фактически уронили наш уровень сервиса, который должны держать. Когда мы роняем SL, мы останавливаем релизы и переключаемся на технические работы! Такие падения означают что мы сделали перекос в сторону фичей и недостаточно внимания уделяли нагрузке и качеству решений.

Что мы обычно делаем в такой ситуации? По сути наш конвеер не работает и нам надо остановить релизы. Когда ты нарушаешь SL, это означает что ты делаешь слишком большой перекос в сторону фичей.

С понедельника будет 2 важных изменения в работе команд Dodo IS.
* Мы останавливаем продуктовые релизы, касающиеся приема заказа до восстановления к уровню SLO. В релиз пойдут только фиксы и технические улучшения системы
* Команды Ordering и CVM Евразии останавливают свою работу и переключаются в обязательном порядке на технические работы по восстановлению уровня сервиса.

Помимо них другие команды так же будут вовлечены – инженеры инфраструктуры, команда нагрузки, по мере необходимости мы будем переключать и другие команды в помощь.

Адский феил с нашей стороны.

Будем рассказывать о нем и пост-мортем сделаем публичным.

Как iOS-разработчику разобраться с бесконечным потоком логов и в сердцах не поудалять нужные вместе с ненужными? Есть один способ — использовать os_log и Console.app.

Алексей Берёзка рассказывает в статье на Хабре, как можно логировать всё, что происходит в любых слоях вашего приложения в любой момент времени, замерить, как долго выполнялась та или иная функция, вывести это текстом в логи и не потерять важное.

Немного хороших новостей не помешает этому миру. И у нас их есть целых две.

Первая — 8 октября Дима Павлов будет выступать с докладом на Kolesa Conf’22. Посмотреть бесплатно можно онлайн — нужно только зарегистрироваться.

Вторая — у Димы есть свой телеграм-канал про продуктовую разработку «на вижене»!

Жгуче рекомендуем на него подписаться, там отменный контент про фейлы и не фейлы, сдобренный щепоткой искромётного юмора. Всё как мы любим.

Продолжаем разбираться с логами в iOS

Во второй статье Алексей Берёзка рассказывает, как с помощью os_signpost залогировать долгие операции и посмотреть их в Time Profiler.

Кстати, именно таким образом мы и нашли проблему с долгим отображением списка пиццерий в Москве.

С момента появления SRE в Dodo мы серьёзно прокачались в плане инцидент-менеджмента и рады, когда есть возможность поделиться своим опытом.

Завтра стартует интенсив Слёрма по SRE, на котором Сергей Бухаров расскажет, какие инструменты можно использовать, чтобы реализовать SRE-подход в своей компании.

Речь пойдёт об алертах, а точнее о возможных способах их получения, какую информацию они должны содержать, как с ними работать и оценивать импакт.

Если вам тоже интересна эта тема, оставляйте свои вопросы в комментариях — сделаем на них отдельный пост с ответами.

Мы очень любим опираться на данные, чтобы понять, не фигню ли мы делаем.

И результаты исследования известности команд iOS-разработки говорят, что мы движемся в правильную сторону, потому что наша iOS-команда — одна из сильнейших в России.

Вот несколько фактов:

🔹 Миша Рубанова попал в топ-5 экспертов iOS-разработки в России.
🔹 23% участников опроса используют телеграм-канал Dodo Mobile в качестве источника информации по iOS-разработке.
🔹 34% считают, что наши доклады на конференциях самые интересные.
🔹 22% считают, что у нас работают самые технически сильные iOS-разработчики.
🔹 18% ответили, что считают привлекательной работу в нашей iOS-команде.

Посмотреть все результаты можно здесь.

Спасибо всем разработчикам, которые участвовали в исследовании.

Спасибо нашей iOS-команде и Мише Рубанову за то, что каждый день делают мир iOS-разработки чуточку лучше и рассказывают об этом. Ребята, гордимся вами! ❤️

Так исторически сложилось, что команда SRE в Dodo Engineering отвечает за инфрастуктурную часть: продакшен, опыт разработчиков, IT-офис (это когда вроде как вопросы около IT, но непонятно, кому их задать).

Если коротко сформулировать основную задачу, то она звучит примерно так: «автоматизировать и упрощать среду, в которой мы работаем». Но это всё равно довольно абстрактно, а что же на самом деле они делают каждый день?

В этом выпуске Олег как раз раскрывает подробности работы SRE через два кейса, которые недавно у нас произошли. Рекомендуем послушать, даже если вы не совсем SRE.

А для тех, кому интересно попробовать себя в роли SRE DBA, у нас в команде есть открытая вакансия.