SRE — это поиск общего языка между бизнесом и инженерией
Олег Блохин, лидер инфраструктурной команды Dodo Engineering, побывал в гостях у Антона Скобина, коммерческого директора Слёрма и ведущего подкаста «Манул Слёрма».
В диалоге они попробовали разобраться, когда компании нужен SRE, а когда без него можно обойтись.
Поговорили о практиках и ежедневной рутине SRE в Dodo, чем занимается лидер и сама команда, с чего нужно начинать строить систему «пяти девяток».
Немного затронули тему обучения и развития: Олег рассказал о своих ожиданиях от интенсива по SRE и в чём видит его ценность для своей команды.
🎧 Послушать на Яндекс.Музыке
▶️ Послушать на ютуб-канале
Олег Блохин, лидер инфраструктурной команды Dodo Engineering, побывал в гостях у Антона Скобина, коммерческого директора Слёрма и ведущего подкаста «Манул Слёрма».
В диалоге они попробовали разобраться, когда компании нужен SRE, а когда без него можно обойтись.
Поговорили о практиках и ежедневной рутине SRE в Dodo, чем занимается лидер и сама команда, с чего нужно начинать строить систему «пяти девяток».
Немного затронули тему обучения и развития: Олег рассказал о своих ожиданиях от интенсива по SRE и в чём видит его ценность для своей команды.
🎧 Послушать на Яндекс.Музыке
▶️ Послушать на ютуб-канале
🔥10👍1
1 сентября — День знаний. Думаем, это хороший день, чтобы поделиться какими-нибудь знаниями с вами. Например, знаниями о телеграм-каналах которые ребята из Dodo Engineering ведут самостоятельно. Они классные, правда! Вот, смотрите сами:
99 developers — канал Саши Андронова, СЕО Dodo Engineering, с его мыслями о том, как создавать глобальные продукты и команды, которые их разрабатывают.
Продуктовая антихрупкость — канал Саши Столярова, менеджера продуктов в Dodо. Он делится рассуждениями о том, что такое антихрупкость в разных аспектах работы над продуктом.
Автостопом по аналитике — канал Али Арининой, продуктового аналитика, про — вы не поверите! — аналитику, жизнь, пиццу и грабли.
Dodo Mobile (хотя мы уверены на 99%, что вы про него знаете, но всё же) — канал, в котором Миша Рубанов, Head of Mobile, рассказывает всё про мобильную разработку в Dodo.
Подписывайтесь на любой или сразу на все, чтобы узнавать ещё больше!
99 developers — канал Саши Андронова, СЕО Dodo Engineering, с его мыслями о том, как создавать глобальные продукты и команды, которые их разрабатывают.
Продуктовая антихрупкость — канал Саши Столярова, менеджера продуктов в Dodо. Он делится рассуждениями о том, что такое антихрупкость в разных аспектах работы над продуктом.
Автостопом по аналитике — канал Али Арининой, продуктового аналитика, про — вы не поверите! — аналитику, жизнь, пиццу и грабли.
Dodo Mobile (хотя мы уверены на 99%, что вы про него знаете, но всё же) — канал, в котором Миша Рубанов, Head of Mobile, рассказывает всё про мобильную разработку в Dodo.
Подписывайтесь на любой или сразу на все, чтобы узнавать ещё больше!
👍7🔥5
Новый рекорд — 614 заказов в минуту!
Праздничные дни для нас всегда жаркие, даже в мороз. Пока в ресторанах готовят тонны пиццы, наша команда внимательно смотрит на графики и следит за работой Dodo IS.
1 сентября мы традиционно устанавливаем новые рекорды. И вот новый пик — 614 заказов в минуту в Додо Пицце в России! Это почти в полтора раза больше, чем в прошлом году. Ура!
И что, даже ни разу ни один сервис не упал вчера?
Увы, упал, как бы мы не готовились. И это было больно. Обязательно разберём и напишем об этом на следующей неделе.
Хороших выходных и вкусной пиццы!
Праздничные дни для нас всегда жаркие, даже в мороз. Пока в ресторанах готовят тонны пиццы, наша команда внимательно смотрит на графики и следит за работой Dodo IS.
1 сентября мы традиционно устанавливаем новые рекорды. И вот новый пик — 614 заказов в минуту в Додо Пицце в России! Это почти в полтора раза больше, чем в прошлом году. Ура!
И что, даже ни разу ни один сервис не упал вчера?
Увы, упал, как бы мы не готовились. И это было больно. Обязательно разберём и напишем об этом на следующей неделе.
Хороших выходных и вкусной пиццы!
🔥47
Про сбои Dodo IS 1 сентября рассказывает Паша Притчин, наш СТО.
Сбой 1. Более 10 минут были недоступны сервисы Менеджер смены (МС) и Менеджер офиса (МО)
Причина
Оба сервиса находятся в монолите вместе с другими суперкритичными сервисами для бизнеса: кассами, печатью чеков и частями приёма заказа.
Все они обращаются к одной базе данных. Она ни в коем случае не должна падать от большого количества запросов, иначе мы просто не сможем принять заказы, а чеки не распечатаются.
Для части некритичных сервисов мы используем подход bulkhead: устанавливаем лимит запросов к БД. Таким образом регулируется нагрузка, БД выдерживает и продолжает обслуживать другие сервисы.
Когда МС и МО достигли предельной нагрузки, им сама система запретила ходить в базу.
Как починили
Быстрое решение — увеличить лимиты. Это помогло пережить пик в моменте.
Системное решение — оптимизировать запросы в сервисах, а ещё лучше — отпилить их от монолита, чтобы каждый ходил в свою базу.
Сбой 1. Более 10 минут были недоступны сервисы Менеджер смены (МС) и Менеджер офиса (МО)
Причина
Оба сервиса находятся в монолите вместе с другими суперкритичными сервисами для бизнеса: кассами, печатью чеков и частями приёма заказа.
Все они обращаются к одной базе данных. Она ни в коем случае не должна падать от большого количества запросов, иначе мы просто не сможем принять заказы, а чеки не распечатаются.
Для части некритичных сервисов мы используем подход bulkhead: устанавливаем лимит запросов к БД. Таким образом регулируется нагрузка, БД выдерживает и продолжает обслуживать другие сервисы.
Когда МС и МО достигли предельной нагрузки, им сама система запретила ходить в базу.
Как починили
Быстрое решение — увеличить лимиты. Это помогло пережить пик в моменте.
Системное решение — оптимизировать запросы в сервисах, а ещё лучше — отпилить их от монолита, чтобы каждый ходил в свою базу.
❤13😢2
Нам в Dodo важно помогать другим людям и делать мир вокруг чуточку дружелюбнее: через доступность приложений, через благотворительность. С каждого купленного гостями стаканчика кофе в Додо Пицце мы передаём 1 рубль в фонд «Старшие Братья Старшие Сёстры».
Фонд подбирает и обучает волонтёров-наставников, которые помогают ребятам из детских домов, интернатов и кризисных семей социализироваться и подготовиться к самостоятельной жизни.
На этой неделе Иван Тихов, управляющий директор Додо Пиццы в России, Казахстане и Беларуси, участвует в благотворительном аукционе MeetForCharity. С ним можно встретиться лично, а ставка, заплаченная за встречу, отправится в фонд.
Встретиться можно за обедом, прогулкой или в офисе и обсудить самые разные вопросы: про жизнь, бизнес, менеджмент и не только. Кстати, когда-то давно Иван был продактом в разработке и наверняка ему есть что рассказать про свой карьерный путь.
Аукцион продлится до понедельника, 12 сентября, а больше подробностей можно узнать в канале Додо Пицца. Бизнес.
Фонд подбирает и обучает волонтёров-наставников, которые помогают ребятам из детских домов, интернатов и кризисных семей социализироваться и подготовиться к самостоятельной жизни.
На этой неделе Иван Тихов, управляющий директор Додо Пиццы в России, Казахстане и Беларуси, участвует в благотворительном аукционе MeetForCharity. С ним можно встретиться лично, а ставка, заплаченная за встречу, отправится в фонд.
Встретиться можно за обедом, прогулкой или в офисе и обсудить самые разные вопросы: про жизнь, бизнес, менеджмент и не только. Кстати, когда-то давно Иван был продактом в разработке и наверняка ему есть что рассказать про свой карьерный путь.
Аукцион продлится до понедельника, 12 сентября, а больше подробностей можно узнать в канале Додо Пицца. Бизнес.
❤11👍2
Поздравляем всех причастных с днём тестировщика! Пусть багов будет поменьше, а качества и настроенных процессов — побольше!
И делимся подборкой статей и докладов, как у нас самих идут дела с тестами и процессами. Enjoy!
— Про культуру, процессы и межкомандное взаимодействие
— Тест-ревью: как прошли два года написания unit-тестов
— TDD в мобильной разработке
— Как мы тестируем сервисы, чтобы релизить их не глядя
И делимся подборкой статей и докладов, как у нас самих идут дела с тестами и процессами. Enjoy!
— Про культуру, процессы и межкомандное взаимодействие
— Тест-ревью: как прошли два года написания unit-тестов
— TDD в мобильной разработке
— Как мы тестируем сервисы, чтобы релизить их не глядя
🔥11💔2👍1😢1
Вы помните момент, когда впервые услышали, что Додо Пицца — это про IT? Как появились первые статьи на Хабре, стенд на DotNext, чат с нашими разработчиками?
А когда-нибудь задумывались, что стоит за рождением IT-бренда? Точнее, не что, а кто? Ну, помимо самих разработчиков?
Внимательный читатель уже догадался, к чему мы ведём: 17 сентября Вероника Ильина выступает на конференции GeekRel. Она расскажет, как у нас появился DevRel, чем занимался, сколько трансформаций пережил и как выглядит сейчас (мы считаем, что выглядит красиво). Кстати, в зале будет почти вся наша DevRel-команда — будем рады познакомиться и пообщаться лично.
И вторая крутая новость: 21 сентября на онлайн-конференции «Психология в IT» будет ещё один доклад Вероники. Но уже о том, как заметить близящийся факап своего лида и спасти от него себя итого парня самого лида. Всё по-честному, без обмана и основано на реальных событиях.
Ждём встречи на конференциях!
А когда-нибудь задумывались, что стоит за рождением IT-бренда? Точнее, не что, а кто? Ну, помимо самих разработчиков?
Внимательный читатель уже догадался, к чему мы ведём: 17 сентября Вероника Ильина выступает на конференции GeekRel. Она расскажет, как у нас появился DevRel, чем занимался, сколько трансформаций пережил и как выглядит сейчас (мы считаем, что выглядит красиво). Кстати, в зале будет почти вся наша DevRel-команда — будем рады познакомиться и пообщаться лично.
И вторая крутая новость: 21 сентября на онлайн-конференции «Психология в IT» будет ещё один доклад Вероники. Но уже о том, как заметить близящийся факап своего лида и спасти от него себя и
Ждём встречи на конференциях!
🔥21💔2
Друзья, с 6 по 8 октября в Красной Поляне пройдёт South Hub — кэмп для СТО и тех, кто хочет ими стать.
Событие топовое как минимум потому, что частично проводится на высоте 2200 метров над уровнем моря. А главное — там соберутся руководители, СТО и СЕО из IT и продуктовой разработки многих известных вам компаний. Они поделятся своим опытом и идеями о развитии отрасли в формате кейсов и fulltime-нетворкинга.
Программа насыщенная, за 3 дня планируют обсудить:
▪️ кого в IT берут в C-level, а кого — нет;
▪️ как руководителям из IT говорить с бизнесом на одном языке;
▪️ что мотивирует инвесторов из БРИКС вкладываться в российскую разработку;
▪️ как привлекать и удерживать таланты, если ты стартап или корпорация;
▪️ как быть эффективным в условиях ограниченных ресурсов;
▪️ как адаптироваться в условиях турбулентности и постоянных изменений в индустрии.
🎙Среди спикеров — наш CEO Саша Андронов. У него одна из самых ожидаемых тем кэмпа – про переход из роли CTO в CEO! Саша расскажет, в чём разница между этими ролями, как перестать принимать технические решения и начать принимать бизнесовые.
Расписание, стоимость билетов и другие подробности — здесь.
🤝А ещё на конференции будут наши СТО Паша Притчин, PO Антон Оникийчук и техлид Аня Морозова. Ребята будут рады познакомиться, пообщаться и обменяться опытом.
Событие топовое как минимум потому, что частично проводится на высоте 2200 метров над уровнем моря. А главное — там соберутся руководители, СТО и СЕО из IT и продуктовой разработки многих известных вам компаний. Они поделятся своим опытом и идеями о развитии отрасли в формате кейсов и fulltime-нетворкинга.
Программа насыщенная, за 3 дня планируют обсудить:
▪️ кого в IT берут в C-level, а кого — нет;
▪️ как руководителям из IT говорить с бизнесом на одном языке;
▪️ что мотивирует инвесторов из БРИКС вкладываться в российскую разработку;
▪️ как привлекать и удерживать таланты, если ты стартап или корпорация;
▪️ как быть эффективным в условиях ограниченных ресурсов;
▪️ как адаптироваться в условиях турбулентности и постоянных изменений в индустрии.
🎙Среди спикеров — наш CEO Саша Андронов. У него одна из самых ожидаемых тем кэмпа – про переход из роли CTO в CEO! Саша расскажет, в чём разница между этими ролями, как перестать принимать технические решения и начать принимать бизнесовые.
Расписание, стоимость билетов и другие подробности — здесь.
🤝А ещё на конференции будут наши СТО Паша Притчин, PO Антон Оникийчук и техлид Аня Морозова. Ребята будут рады познакомиться, пообщаться и обменяться опытом.
🔥23❤3👍1👎1
Просто хотим показать немножко красоты от участников конкурса Додо Пицца в Майнкрафте.
За 5 недель построили больше 3 тысяч пиццерий. Вот бы уже такие по-настоящему появились в этом мире!
Посмотреть все можно в конкурсном треде в ВК.
За 5 недель построили больше 3 тысяч пиццерий. Вот бы уже такие по-настоящему появились в этом мире!
Посмотреть все можно в конкурсном треде в ВК.
🔥35🤩2🤯1
«В сентябре 2019 года, на выходных, мы культурно выпивали всем Dodo Engineering на турбазе под Владимиром. В это время облачный провайдер обновил минорную версию MySQL».
23 сентября на Saint HighLoad++ Олег Блохин расскажет историю о последствиях и инженерных решениях, сдобренную анекдотами из жизни в облаке.
Если вы мечтаете об облаках, но никогда в них не жили — приходите послушать, как бывает. В рамках одной продолжительной истории переезда базы на managed-решение разберём, какие подводные камни, детские болезни и неприятные проблемы случаются. Смотреть будем на примере MySQL, но большая часть ситуаций не связана с конкретной базой данных и с базами данных вообще.
18:00, зал 06, Зелёный. До встречи!
23 сентября на Saint HighLoad++ Олег Блохин расскажет историю о последствиях и инженерных решениях, сдобренную анекдотами из жизни в облаке.
Если вы мечтаете об облаках, но никогда в них не жили — приходите послушать, как бывает. В рамках одной продолжительной истории переезда базы на managed-решение разберём, какие подводные камни, детские болезни и неприятные проблемы случаются. Смотреть будем на примере MySQL, но большая часть ситуаций не связана с конкретной базой данных и с базами данных вообще.
18:00, зал 06, Зелёный. До встречи!
🔥9❤1
Forwarded from 99developers (Alex Andronov)
🚨 У нас сегодня развалилась к херам Dodo IS!
Прием заказа превратился в тыкву, мы не смогли обслужить пуши, мы не смогли обслужить акции и в итоге клиенты часа испытывали проблемы в самый пиковый день.
У нас за вечер:
* DDoS на 2.8млн запросов в минуту.
* Пуши, которые свалили мобильное приложение, а затем и сайт.
* Наш плохой релиз, который непонятно как сломал центр системы.
* Сломался мониторинг раза 3-4 за вечер.
* Дикая нагрузка на базу.
Все эти ошибки умножали эффект друг на друга.
Этим падением мы фактически уронили наш уровень сервиса, который должны держать. Когда мы роняем SL, мы останавливаем релизы и переключаемся на технические работы! Такие падения означают что мы сделали перекос в сторону фичей и недостаточно внимания уделяли нагрузке и качеству решений.
Что мы обычно делаем в такой ситуации? По сути наш конвеер не работает и нам надо остановить релизы. Когда ты нарушаешь SL, это означает что ты делаешь слишком большой перекос в сторону фичей.
С понедельника будет 2 важных изменения в работе команд Dodo IS.
* Мы останавливаем продуктовые релизы, касающиеся приема заказа до восстановления к уровню SLO. В релиз пойдут только фиксы и технические улучшения системы
* Команды Ordering и CVM Евразии останавливают свою работу и переключаются в обязательном порядке на технические работы по восстановлению уровня сервиса.
Помимо них другие команды так же будут вовлечены – инженеры инфраструктуры, команда нагрузки, по мере необходимости мы будем переключать и другие команды в помощь.
Адский феил с нашей стороны.
Будем рассказывать о нем и пост-мортем сделаем публичным.
Прием заказа превратился в тыкву, мы не смогли обслужить пуши, мы не смогли обслужить акции и в итоге клиенты часа испытывали проблемы в самый пиковый день.
У нас за вечер:
* DDoS на 2.8млн запросов в минуту.
* Пуши, которые свалили мобильное приложение, а затем и сайт.
* Наш плохой релиз, который непонятно как сломал центр системы.
* Сломался мониторинг раза 3-4 за вечер.
* Дикая нагрузка на базу.
Все эти ошибки умножали эффект друг на друга.
Этим падением мы фактически уронили наш уровень сервиса, который должны держать. Когда мы роняем SL, мы останавливаем релизы и переключаемся на технические работы! Такие падения означают что мы сделали перекос в сторону фичей и недостаточно внимания уделяли нагрузке и качеству решений.
Что мы обычно делаем в такой ситуации? По сути наш конвеер не работает и нам надо остановить релизы. Когда ты нарушаешь SL, это означает что ты делаешь слишком большой перекос в сторону фичей.
С понедельника будет 2 важных изменения в работе команд Dodo IS.
* Мы останавливаем продуктовые релизы, касающиеся приема заказа до восстановления к уровню SLO. В релиз пойдут только фиксы и технические улучшения системы
* Команды Ordering и CVM Евразии останавливают свою работу и переключаются в обязательном порядке на технические работы по восстановлению уровня сервиса.
Помимо них другие команды так же будут вовлечены – инженеры инфраструктуры, команда нагрузки, по мере необходимости мы будем переключать и другие команды в помощь.
Адский феил с нашей стороны.
Будем рассказывать о нем и пост-мортем сделаем публичным.
🔥43😢12👍10