Зачем это вам? Чтобы:

— Не надо было читать самому, это же очевидно.
— Поддержать диалог. Послушали и уже можете с умным видом поболтать по теме у кофе-машины, на митапчике, на собесе, в холиваре на просторах интернета.
— Лучше усвоить/осознать/переварить. Когда читаешь в одни глаза, запоминаешь что-то, но мало. Когда читаешь в много глаз, а потом обсуждаешь прочитанное, запоминаешь как отче наш.
— Поддержать нас или сказать, что мы отстой!

Первой читаем вместе Fundamentals of Software Architecture. Выпуски по 30-40 минут, у микрофона Сергей Зарубин, Юрий Пастушенко, Евгений Биккинин и Женя Пешков. По времени, как пара треков на вашем Spotify, от вас не убудет, а нам приятно, заодно можете сказать, что понравилось (нам будет приятно), что не понравилось (мы будем страдать, но лица будут каменными). Сказать можно в нашем Телеграм-чате.
____
КОЛ ТУ ЭКШОН: пишите в комментарии, какие книги читать за вас в следующих выпусках.

Каждый год 21 апреля мы вспоминаем одну историю, чтобы не повторять ошибок.

Примерно так, как на картинке слева, выглядел график запросов к Dodo IS 21 апреля 2018 года. В этот день произошло Великое падение Dodo IS.

Падение произошло как раз во время самой масштабной рекламной кампании на ТВ с бюджетом 100 млн рублей. Но мы не подготовились идеально и когда начали получать 100-150 заказов в минуту, Dodo IS достигла предела вертикального масштабирования и больше не могла обрабатывать заказы.

Система «упала» примерно на 3 часа, периодически восстанавливаясь, но сразу же падала вновь. Эта авария стоила миллионы рублей, когда несколько часов клиенты не могли сделать заказ ни на сайте, ни в приложении.

Ликвидировали аварию все. Наш СТО написал пост в Slack и все пришли на следующий день — 22 апреля работа началась в 8:30 утра. Все всё понимали: что нужно поддержать, помочь, руками, головой, в тестировании, оптимизации запросов, инфраструктуре. Кое-кто даже приехал со всей семьей. Нам помогали соседние команды, не связанные с IT: приезжали в офис с едой, а колл-центр вывел дополнительные силы на всякий случай. Все команды объединились одной целью – подняться! За воскресенье мы оживили систему, а исправление проблемы заняло ещё три недели.

После падения мы начали внедрять LeSS, внедрили проектные команды, изменили продуктовую структуру, внедрили performance-тесты, и многое другое. А ещё мы начали проводить субботники, на которых работаем над повышением стабильности и отказоустойчивости системы.

Подробные материалы о том, что случилось.
— «История о птице Додо из рода Фениксов. Великое падение Dodo IS»
— «День, когда Dodo IS остановилась. Синхронный сценарий»
— «Асинхронный»
— А вот короткое «ретро» из первых уст: эмоции и ощущения

Как в Dodo Engineering проходят Субботники

Примерно 3 недели назад мы устроили Субботник. Это «мероприятие» у которого главная цель — увеличить стабильность и отказоустойчивость системы. Мы собираем задачи по текущим техническим болям, влияющие на стабильность, по техдолгу и из технических бэклогов, концентрируемся и решаем только их. Все задачи собрали в единую доску в Kaiten для удобства.

Три года назад у нас было Великое падение (см. выше), когда мы остановили всю разработку, чтобы подлатать систему. Один из способов больше не испытывать таких потрясений — Субботник. Например, мы его проводили ещё перед Новым Годом. (Но вообще это скорее антипаттерн, когда приходится поднимать всех из-за пары сервисов и мы хотим уйти от этого).

У нас как раз недавно было несколько серьезных падений за пару месяцев и доступность системы упала ниже 99.95%. Поэтому Субботник пришёлся как раз кстати.

Мы взяли команды, чьи сервисы падали, технические команды, и по паре «выдвиженцев» с B2B и B2C, и 2 недели все вместе работали над повышением доступности. Получилось около 40 человек. Кого «отдать» — решали продакты.

Утром 15 апреля Субботник официально завершили и отпустили ребят обратно по командам. Что в итоге получили?

— 🛠 За 2 недели сделали 38 задач: проводили исследования проблем и искали решения. Переделали много задач из технических бэклогов B2B, B2C, SRE.
— 🚀 Сайт вышел на качественно новый уровень отказоустойчивости (и у него появится свой nginx для кэширования).
— ⚡️Системно попробовали уронить каждую из зависимостей сайта и проверили, что он не падает на некритичных зависимостях и сам восстанавливается после отказа критичных.
— 🚑 Улучшили мониторинг и реагирование.
— 📈 Service Level вырос, хоть и пока незначительно (с 99,9325% до 99,9472%). Ожидаем заметный эффект через неделю-две.

Остались ещё некоторые задачи вроде «Обеспечить защиту от DDoS для сайта в KZ, BY» или «Включить HPA для сайта», но они уже будут решаться в «рабочем порядке».

Большой респект всем, кто участвовал в Субботнике, за ответственность, за потраченные силы и время на улучшение качества нашей системы! ❤️

«Залипаем» с 2011 года

22 апреля 2011 года мы считаем днём рождения Dodo IS (и Dodo Engineering, как таковой). Наша ИТ-система в те времена была маленьким модулем для приема заказов по телефону в такой же маленькой пиццерии в Сыктывкаре. А сейчас картинка системы на экран не поместится, столько так всего. Монолитищееее!

Как это всё произошло (с 2012 по 2019) ещё пару лет назад наш SRE Олег Блохин визуализировал в этом классном видео. Хотя с того времени мы ещё выросли, но почему бы не посмотреть это «залипательство» ещё раз?

Ревью десятилетия, или Монолит-третьеклассник

Итак, сегодня ДР Додо Пиццы и Dodo IS по совместительству (мы же неразрывно связаны) — 10 лет. Фууух! Вот это да — кажется пора делать ревью этих 10 лет (нам только повод дай, а дата круглая!).

2011
Первый модуль системы для приёма заказов.
2012
Поставили первую веб-камеру на кухне и запустили трекинг заказов.
2013
Появился сайт с онлайн-заказами, а Фёдор объявил, что мы планируем завершить активную разработку Dodo IS к 2015 году (хех).
2014
Прошёл первый Dodo IS Camp, написали vykladka.cmd и доставили пиццу дронами в Сыктывкаре.
2015
Нашли redis.exe, начали использовать Azure.
2016
Случайно вернули клиентам много миллионов рублей.
Первая масштабная DDoS-атака на сайт.
2017.
Запуск нового глобального сайта dodopizza.ru.
Фича-фриз, когда мы почти не пилили новые фичи в монолите и героически его стабилизировали.
Запустили мобильное приложение «Додо Пиццы».
Первый релиз от разработчиков (deploy.ps1).
2018.
«Военное положение» из-за Великого падения Dodo IS.
Зарелизили игру про нелегкую долю разработчика в гембе.
Запустили взрослое нагрузочное тестирование всей системы.
Начали использовать Kubernetes.
2019
Переход к SRE в инфраструктуре.
Вместе с учеными МФТИ создали искусственный интеллект, который придумал новую пиццу.
2020
Зарегистрирована компания «Додо Инжиниринг».
2021
Запуск заказа в ресторане через приложение.
Наступил «Куберпанк», когда мы переехали на Kubernetes.
Монолит идёт в третий класс.

Вроде всё неплохо?

Ну и по традиции — поздравляем Додо Пиццу, Dodo IS, Dodo Engineering, всех наших разработчиков, продактов, QA, SRE, менеджеров, дизайнеров, деврел, техподдержку (никого не забыли?) с праздником! 10 лет как никак!

Додо 10 лет! Невероятно!

У нас есть шутка – монолиту тоже 10, он пошел в 3й класс. Выпустится, в универ поступит!

Не-не! На картинке слайд из внутреннего Q&A от нашего CTO Паши Притчина :).

За последние 2 года монолит подужался в размерах, стал заметно меньше. Наше решение о переходе к изолированным сервисам не просто хайп, оно обусловлено скоростью развития продуктов, где основа – это независимость и интеграции. Dodo IS уже не просто один продукт по управлению бизнесом пиццы. Это целая платформа, внутри которой живут и развиваются совершенно разные продукты.

10 лет! 🚀

А сделали-то что?

Друзья, сегодня мы будем танцевать на столах на вечеринке в честь ДР Додо, но перед этим наши продуктовые команды расскажут честно и без купюр, что хорошего сделали с начала года, а что зафейлили, поделятся планами на будущее.

Что? Dodo Digital Day 2021 Q1.
Где? Подключайтесь по ссылке и пишите свои вопросы в чат.
Когда? Начало уже прям сейчас — в 10:00.

До встречи!

А?

Заказ через приложение прямо в зале: от идеи до релиза почти 2 года

Недавно в приложении «Додо Пицца» появилась новая фича — можно сделать заказ в мобильном приложении по дороге в пиццерию или прямо в зале. Вроде простая (и полезная) функция, но официально «вышла в свет» она в апреле 2021, а «родилась» в 2019 году с предложения «А давайте редизайним, чтобы удобнее было». И вот то, что было в промежутке между датами самое интересное: разработка, мини-пиццерии прямо в офисе с витриной и кассой, закрытый тест в пиццерии в Сыктывкаре, новая роль сборщика кусочков, «тихий запуск» и инструмент для синхронизации приготовления разных продуктов (вроде додстера и кофе). Длинная и сложная история, подробности которой вы узнаете от Бори Герна, Антона Савченкова и Лены Ткачевой из нашего видео.

Data Engineering Digest

Коллеги, сегодня мы хотим анонсировать наш новый проект: Data Engineering Digest
Мы создаем развиваемый сообществом digest интересных материалов по теме Data Engineering'а.

Наш пилотный выпуск можно посмотреть здесь: https://digest.deordie.org

Все мы с вами читаем статьи, смотрим видео с конференций, и находим массу полезного в сети. Однако, не все материалы одинаково полезны. При поддержке сообщества мы решили отбирать самое интересное и публиковать в виде дайджеста.

Нам нужна ваша поддержка. Прямо сейчас можно стать контрибьютером.
Приходите в наш issue tracker: https://github.com/deordie/deordie-digest/issues и добавляйте статьи, которые вам показались интересными. Обязательно добавьте 1-2 предложения, что вы вынесли интересного из этой статьи.
Также вы можете проголосовать за понравившиеся вам статьи (+1), самые интересные мы будем публиковать в следующих выпусках.