Open Source в Dodo Engineering пополнился новым проектом

Заканчиваем рабочую неделю хорошими короткими новостями. У нас появился еще один проект с открытым исходным кодом – Prometheus Shell Exporter. Это экспортер для Prometheus, который умеет выполнять PowerShell и bash скрипты и превращать их stdout в метрики, понятные для Prometheus. Инструмент появился в рамках решения проблемы мониторинга свободных портов на windows-машинах, но способен решать больше задач.

GitHub
Авторы — наши SRE: Виталий Уваров и Сергей Бухаров
#opensource #dodoopensource

*Где-то в офисе Dodo Engineering

Чем дольше вглядываемся в картинку, тем больше кажется, что это аллегория на работу.

Почему мы выбираем партнерский подход при поиске кандидатов в IT?

Потому что он эффективнее. Мы тут строим DevRel с блэкджеком и единым процессом по работе с людьми в IT, поэтому «классический» агентский найм не подходит: когда рекрутер «на потоке» ищет кандидатов, «кидается» ими и забывает, потому что нового искать надо. Так дело не пойдёт — нам же надо, чтобы кандидат подходил на 99 и 9 в периоде процентов, чтобы мягко и незаметно прошёл онбординг, и влился в одну из команд — чтобы «тунц», и подошёл, как будто всегда тут был. Поэтому только партнёрский подход.

А подробнее как мы с ним работаем, рассказала великолепная Юлия Яковлева, наша IT Hiring Leader.

2-й сезон, 9-й выпуск Ничего Такого. Гость: Юра Филатов. Ведущий: Антон Савченков.

А нужна ли вам цифровая трансформация?

Гость подкаста — Юра Филатов. Одна из областей его деятельности — информационный консалтинг или, иначе говоря, он помогает с трансформациями. Юра нам эмоционально, чуть жёстко, с «иллюстрациями» и без «маркетингового налёта» поведал о мнооооогих нюансах «оборотной» стороны цифровизации. И почему она часто и не нужна.

Это было незабываемо. Рекомендуем к прослушиванию.

Ведущий — «всетайнывыведывающий» Антон Савченков

Подкаст можно послушать здесь:

SoundСloud
Buzzsprout
Google Подкасты
Яндекс. Музыка
ВК Подкасты

Dodo Pizza уходит из Китая

Китай — это много классных вещей.

— Классная интернациональная команда, бренд, продукт, дизайн, вкус, маркетинг, приложения для WeChat и AliPay, адаптация вкусов, исследования, ребрендинг, новые технологии, изобретения, команда, которая реально делала невозможное, опыт, знания, инсайты, открытия, эмоции, усилия, творческой энергии.

Ресурсы и возможности для развития есть, но мы закрываемся — 1 апреля совет директоров Dodo Brands принял решение о закрытии пиццерий в Китае.

Если кратко, то причины в этом:

— Слишком далеко ушли от ключевой бизнес-модели, что лишает в будущем глобальной синергии.
— Dodo Brands ещё молодая и не такая большая компания и важен фокус. Закрытие Китая высвободит ресурсы: внимание, команду, финансы для других направлений, которые могут принести больше отдачи на вложенные ресурсы и усилия.

Подробности Фёдор написал в трёх постах у себя на канале:

— Первый.
— Второй.
— Третий.

А у нас просто грустный пост...

Скрываем лица

Как вы знаете, на наших кухнях есть камеры и мы ведём постоянные трансляции всего, что происходит на кухнях. А ещё у нас есть пиццерии в разных странах. К сожалению, в некоторых из них есть ограничения на передачу биометрических персональных данных, и в некоторых странах камеры были вовсе отключены. Конечно, мы не могли это оставить без внимания.

Недавно мы выкатили в продакшн решение проблемы — модуль маскировки от Ivideon. Он «затирает» лица на трансляциях с наших пиццерий, используя возможности и наработки наших друзей из Ivideon. Работа над этим решением шла целый год, но вот недавно мы наконец начали тестировать модуль. Первой тестовой страной стала Эстония. Багов ещё хватает, но начало положено. Посмотрите трансляцию, где этот модуль работает.

Правда, неплохо?

Читаем айтишные книжки за вас и обсуждаем, что важного/полезного узнали

Наши ребята регулярно читали и обсуждали книги. В какой-то момент они решились на нечто более публичное и замутили свой подкаст «Читаем вместе». Подписывайтесь, чтобы послушать:

— Яндекс.Музыка
— Deezer
— Amazon Music
— Apple Podcasts

Зачем это вам? Чтобы:

— Не надо было читать самому, это же очевидно.
— Поддержать диалог. Послушали и уже можете с умным видом поболтать по теме у кофе-машины, на митапчике, на собесе, в холиваре на просторах интернета.
— Лучше усвоить/осознать/переварить. Когда читаешь в одни глаза, запоминаешь что-то, но мало. Когда читаешь в много глаз, а потом обсуждаешь прочитанное, запоминаешь как отче наш.
— Поддержать нас или сказать, что мы отстой!

Первой читаем вместе Fundamentals of Software Architecture. Выпуски по 30-40 минут, у микрофона Сергей Зарубин, Юрий Пастушенко, Евгений Биккинин и Женя Пешков. По времени, как пара треков на вашем Spotify, от вас не убудет, а нам приятно, заодно можете сказать, что понравилось (нам будет приятно), что не понравилось (мы будем страдать, но лица будут каменными). Сказать можно в нашем Телеграм-чате.
____
КОЛ ТУ ЭКШОН: пишите в комментарии, какие книги читать за вас в следующих выпусках.

Каждый год 21 апреля мы вспоминаем одну историю, чтобы не повторять ошибок.

Примерно так, как на картинке слева, выглядел график запросов к Dodo IS 21 апреля 2018 года. В этот день произошло Великое падение Dodo IS.

Падение произошло как раз во время самой масштабной рекламной кампании на ТВ с бюджетом 100 млн рублей. Но мы не подготовились идеально и когда начали получать 100-150 заказов в минуту, Dodo IS достигла предела вертикального масштабирования и больше не могла обрабатывать заказы.

Система «упала» примерно на 3 часа, периодически восстанавливаясь, но сразу же падала вновь. Эта авария стоила миллионы рублей, когда несколько часов клиенты не могли сделать заказ ни на сайте, ни в приложении.

Ликвидировали аварию все. Наш СТО написал пост в Slack и все пришли на следующий день — 22 апреля работа началась в 8:30 утра. Все всё понимали: что нужно поддержать, помочь, руками, головой, в тестировании, оптимизации запросов, инфраструктуре. Кое-кто даже приехал со всей семьей. Нам помогали соседние команды, не связанные с IT: приезжали в офис с едой, а колл-центр вывел дополнительные силы на всякий случай. Все команды объединились одной целью – подняться! За воскресенье мы оживили систему, а исправление проблемы заняло ещё три недели.

После падения мы начали внедрять LeSS, внедрили проектные команды, изменили продуктовую структуру, внедрили performance-тесты, и многое другое. А ещё мы начали проводить субботники, на которых работаем над повышением стабильности и отказоустойчивости системы.

Подробные материалы о том, что случилось.
— «История о птице Додо из рода Фениксов. Великое падение Dodo IS»
— «День, когда Dodo IS остановилась. Синхронный сценарий»
— «Асинхронный»
— А вот короткое «ретро» из первых уст: эмоции и ощущения

Как в Dodo Engineering проходят Субботники

Примерно 3 недели назад мы устроили Субботник. Это «мероприятие» у которого главная цель — увеличить стабильность и отказоустойчивость системы. Мы собираем задачи по текущим техническим болям, влияющие на стабильность, по техдолгу и из технических бэклогов, концентрируемся и решаем только их. Все задачи собрали в единую доску в Kaiten для удобства.

Три года назад у нас было Великое падение (см. выше), когда мы остановили всю разработку, чтобы подлатать систему. Один из способов больше не испытывать таких потрясений — Субботник. Например, мы его проводили ещё перед Новым Годом. (Но вообще это скорее антипаттерн, когда приходится поднимать всех из-за пары сервисов и мы хотим уйти от этого).

У нас как раз недавно было несколько серьезных падений за пару месяцев и доступность системы упала ниже 99.95%. Поэтому Субботник пришёлся как раз кстати.

Мы взяли команды, чьи сервисы падали, технические команды, и по паре «выдвиженцев» с B2B и B2C, и 2 недели все вместе работали над повышением доступности. Получилось около 40 человек. Кого «отдать» — решали продакты.

Утром 15 апреля Субботник официально завершили и отпустили ребят обратно по командам. Что в итоге получили?

— 🛠 За 2 недели сделали 38 задач: проводили исследования проблем и искали решения. Переделали много задач из технических бэклогов B2B, B2C, SRE.
— 🚀 Сайт вышел на качественно новый уровень отказоустойчивости (и у него появится свой nginx для кэширования).
— ⚡️Системно попробовали уронить каждую из зависимостей сайта и проверили, что он не падает на некритичных зависимостях и сам восстанавливается после отказа критичных.
— 🚑 Улучшили мониторинг и реагирование.
— 📈 Service Level вырос, хоть и пока незначительно (с 99,9325% до 99,9472%). Ожидаем заметный эффект через неделю-две.

Остались ещё некоторые задачи вроде «Обеспечить защиту от DDoS для сайта в KZ, BY» или «Включить HPA для сайта», но они уже будут решаться в «рабочем порядке».

Большой респект всем, кто участвовал в Субботнике, за ответственность, за потраченные силы и время на улучшение качества нашей системы! ❤️

«Залипаем» с 2011 года

22 апреля 2011 года мы считаем днём рождения Dodo IS (и Dodo Engineering, как таковой). Наша ИТ-система в те времена была маленьким модулем для приема заказов по телефону в такой же маленькой пиццерии в Сыктывкаре. А сейчас картинка системы на экран не поместится, столько так всего. Монолитищееее!

Как это всё произошло (с 2012 по 2019) ещё пару лет назад наш SRE Олег Блохин визуализировал в этом классном видео. Хотя с того времени мы ещё выросли, но почему бы не посмотреть это «залипательство» ещё раз?

Ревью десятилетия, или Монолит-третьеклассник

Итак, сегодня ДР Додо Пиццы и Dodo IS по совместительству (мы же неразрывно связаны) — 10 лет. Фууух! Вот это да — кажется пора делать ревью этих 10 лет (нам только повод дай, а дата круглая!).

2011
Первый модуль системы для приёма заказов.
2012
Поставили первую веб-камеру на кухне и запустили трекинг заказов.
2013
Появился сайт с онлайн-заказами, а Фёдор объявил, что мы планируем завершить активную разработку Dodo IS к 2015 году (хех).
2014
Прошёл первый Dodo IS Camp, написали vykladka.cmd и доставили пиццу дронами в Сыктывкаре.
2015
Нашли redis.exe, начали использовать Azure.
2016
Случайно вернули клиентам много миллионов рублей.
Первая масштабная DDoS-атака на сайт.
2017.
Запуск нового глобального сайта dodopizza.ru.
Фича-фриз, когда мы почти не пилили новые фичи в монолите и героически его стабилизировали.
Запустили мобильное приложение «Додо Пиццы».
Первый релиз от разработчиков (deploy.ps1).
2018.
«Военное положение» из-за Великого падения Dodo IS.
Зарелизили игру про нелегкую долю разработчика в гембе.
Запустили взрослое нагрузочное тестирование всей системы.
Начали использовать Kubernetes.
2019
Переход к SRE в инфраструктуре.
Вместе с учеными МФТИ создали искусственный интеллект, который придумал новую пиццу.
2020
Зарегистрирована компания «Додо Инжиниринг».
2021
Запуск заказа в ресторане через приложение.
Наступил «Куберпанк», когда мы переехали на Kubernetes.
Монолит идёт в третий класс.

Вроде всё неплохо?

Ну и по традиции — поздравляем Додо Пиццу, Dodo IS, Dodo Engineering, всех наших разработчиков, продактов, QA, SRE, менеджеров, дизайнеров, деврел, техподдержку (никого не забыли?) с праздником! 10 лет как никак!

Додо 10 лет! Невероятно!

У нас есть шутка – монолиту тоже 10, он пошел в 3й класс. Выпустится, в универ поступит!

Не-не! На картинке слайд из внутреннего Q&A от нашего CTO Паши Притчина :).

За последние 2 года монолит подужался в размерах, стал заметно меньше. Наше решение о переходе к изолированным сервисам не просто хайп, оно обусловлено скоростью развития продуктов, где основа – это независимость и интеграции. Dodo IS уже не просто один продукт по управлению бизнесом пиццы. Это целая платформа, внутри которой живут и развиваются совершенно разные продукты.

10 лет! 🚀

А сделали-то что?

Друзья, сегодня мы будем танцевать на столах на вечеринке в честь ДР Додо, но перед этим наши продуктовые команды расскажут честно и без купюр, что хорошего сделали с начала года, а что зафейлили, поделятся планами на будущее.

Что? Dodo Digital Day 2021 Q1.
Где? Подключайтесь по ссылке и пишите свои вопросы в чат.
Когда? Начало уже прям сейчас — в 10:00.

До встречи!