Кажется все починилось. Спасибо всем, кто пнул нас :)

Итак, наш первый инцидент. Что же произошло вчера?

Timeline (все время в UTC)
- 14:00: Инцидент начался (17:00 по Москве).
- 14:15: Зарепорчен в личку мне
- 14:30: Репорт принят в работу
- 14:51: Сайт снова работает, бот и автоматизации лежат
- 15:00: Бот и автоматизации починены
- 15:05: Инцидент завершен

Импакт
Весь гетментор (сайт, бот, автоматизации) лежал полностью в течение 1 часа (ровно). Мы потеряли не более 5 новых заявок в этот час. Цифра взята с помощью экстраполяции с недельного количества заявок и уменьшена до 1 часа. Но тут очень трудно померить реальные данные, потому что заявки приходят неравномерно, плюс наблюдался "отскок" после инцидента, когда заявок создалось больше обычного. В итоге, за этот день мы получили примерно столько же новых заявок (даже больше) чем неделю и две назад. Также за время инцидента пришло две новые регистрации стать ментором (этот функционал продолжал работать). Автоматика по ним не сработала, но после завершения инцидента они были восстановлены в ручном режиме. Исходя из всего выше написанного можно сказать, что импакт был минимальный и не затронул самое важное – менторов и менти.

Причины
Сервис Airtable, который является базой данных для гетментора, перешел на новый способ авторизации, что требовало замены API токенов старого образца на новые. Предположительно в 14:00 UTC это изменение вышло в продакшн, что привело к тому, что бекенд гетментора стал получать 401 Unauthorized со стороны Airtable.

Что пошло не так?
Вот тут начинается самое интересное. Первое уведомление об изменении способа авторизации приходило от Airtable год назад (16 февраля 2023), после чего были еще уведомления, последнее из которых пришло 22 января 2024 года. Где-то летом я создал новый ключ в Airtable, и был уверен, что обновил его на бекенде. Однако, как оно всегда и бывает, это оказалось неправдой. Поэтому 12 февраля бекенд гетментора, используя устаревший ключ авторизации, не смог получить новые данные от Airtable и упал с ошибкой 503.

Были ли алерты эффективными?
Алерт был, но беда в том, что этот алерт был похож на другой, который встречается часто и не грозит ничем серьезным. Поэтому в этот раз увидев схожий алерт, мозг его проигнорировал как неважный. Большое спасибо тем, кто пинганул меня в личку, это помогло заметить проблему сильно раньше, чем оно могло быть (Time to response: 30 мин). Можно называть это alert fatigue, но это будет немного неточным. Но суть примерно такая же.

Что надо сделать?
- Пофиксить алерты, чтобы точно отделять ситуации между "все совсем плохо" от "все ок"
- Не откладывать важные инфраструктурные изменения на потом, и перепроверять, что изменения внедрены с каждым напоминанием
- В долгосрочной перспективе: переехать с Airtable на традиционную БД (это важно по разным причинам, но в том числе чтобы не зависеть от сторонних сервисов)

Спасибо всем, кто пинганул меня в личке о том, что сайт недоступен. И спасибо за терпение и доверие к сервису. Гетментор, как и все остальные, может и будет падать время от времени. Но самое главное – вставать и идти дальше. Так и будем делать!

#incident #postmortem #гетментор @getmentor_dev

P.S. принимаем фидбке на постмортем (и в целом) в комментах. Может есть что-то еще, что можно сделать, чтобы минимизировать потери от подобного рода инцидентов?

Если что, донаты принимаем тут: https://getmentor.dev/donate ;)

Привет.

Если вы в Москве и вам нечем заняться завтрашним вечером, то эта информация для вас.

Завтра 18 апреля в Москве состоит вторая оффлайн встреча менторов Getmentor.dev. Мы соберемся чтобы повидаться друг с другом, обменяться опытом, поговорить о менторстве, а еще послушать экспертов на эти темы. Вот програма на завтра:

18:00 Сбор участников
18:30 Открытая дискуссия на тему «Деньги в менторстве: польза за деньги или бесплатно?»
19:00 Доклад «Контрактинг или как не превратиться в справочное бюро»
19:30 Доклад «5 причин зачем становится ментором»
20:00 Доклад «Психология, лежащая в основе эффективных отношений ментора и менти»
20:50 Завершение и афтепати

Мы рады всем, не важно, ментор вы или нет. Приходите, участие бесплатное. Регистрация по ссылке https://byndyusoft-event.timepad.ru/event/2842690/

А если вы не в Москве, или не можете прийти очно, то мы планируем организовать онлайн трансляцию. Ссылка тут: https://youtube.com/live/sx9yoc4bhcA

До встречи!

P.S. Огромное спасибо за организацию этого мероприятия Александру Бындю (@byndyufeed), без его энтузиазма этого бы не было.

@getmentor_dev #гетментор #встреча #офлайн

Для тех, кто пропустил встречу менторов в прямом эфире, у нас есть запись: https://www.youtube.com/live/sx9yoc4bhcA?si=n_lZE6WSWdSA3yaz

Два часа полезнейшего контента о менторстве. Приятного просмотра.

На конференции TechTrain меня позвали, чтобы я провел публичные менторские сессии.

Немного предыстории:
– У меня было 45 минут и три человека, то есть всего по 15 минут на человека. Это, мягко говоря, сжатые сроки для сессии, но нужно было уложиться.
– С менти я познакомился за 5 минут до эфира, перекинулись парой слов.
– Менти были в курсе, что эти сессии будут публичные и под запись. Они были готовы открыто общаться на счет своих запросов.
– Были зрители, которые комментарировали и задавали вопросы в прямом эфире. Это добавляло адреналина в процессе и мне, и менти.

Вот запись, буду рад обратной связи https://youtu.be/RWn3NJ-VXrg

Всем привет 👋

Как вы наверное заметили, в этом канале нечасто что-то происходит. Однако если уж происходит, то что-то крутое. Так случится и в этот раз :)

Хочу рассказать, что уже через две недели в Москве пройдет наша очередная, третья по счету, оффлайн встреча менторов. В программе, как всегда, будет несколько докладов от наших менторов, а также бесконечное общение и нетворкинг. Вход свободный для всех, но места ограничены. Чтобы прийти, зарегистрируйтесь по ссылке: https://byndyusoft-event.timepad.ru/event/2979292/ (там же все детали и программа встречи).

Для тех, кто не сможет прийти лично, мы организуем онлайн трансляцию. Подробности будут позже, так что stay tuned.

А чтобы вспомнить, как это было в прошлые разы, вы можете почитать статью в нашем блоге: https://blog.getmentor.dev/offline-meetup

Приходите, будет полезно и интересно!

P.S. Как всегда, огромное и искреннее спасибо Александру Бындю, который организовывает эти встречи по своей инициативе и своими силами. Золотой человек!

@getmentor_dev #гетментор #оффлайн #митап #нетворкинг

Напоминаю, что уже завтра будет наш очередной оффлайн-митап в Москве с кучей потрясающего контента. Но если вы по каким-то причинам не сможете прийти лично, то мы сделаем трансляцию: https://vk.com/video/@glamcoder?z=video586260279_456239017%2Fpl_586260279_-2

До встречи!

!!!АПДЕЙТ!!!
В связи с проблемами доступа к ютубу, трансляция будет на ВК по этой ссылке: https://vk.com/video/@glamcoder?z=video586260279_456239017%2Fpl_586260279_-2

Всем привет.
Встретились с Татьяной Соколовой и записали подкаст. Обсудили как выстаивается наставничество на примере площадки GetMentor.

Будем рады за обратную связь 😉
Всех с наступающим! 🥳

VK Video
Rutube
Дзен
Платформа
Youtube

Это будет не доклад, а сборная моих мыслей под общим названием «Танец ментора и менти».

Поделюсь своими записями и выводами, которые наработал за 16 лет в преподавании, менторстве, тренерстве и управлении ростом людей в собственной компании.

Когда и где?
📅 20 марта в 19:00 МСК
📍 Онлайн

👉 Регистрация по ссылке https://getmentor-talks.timepad.ru/event/3282777/

Напоминаю, что встреча пройдет уже завтра в Москве, и все еще можно прийти вживую, надо только зарегистрироваться (это бесплатно).

Для тех же, кто не может быть лично, мы запустим трансляцию в ВК: https://vkvideo.ru/video586260279_456239019

Начинаем https://vkvideo.ru/video586260279_456239019