PostgreSQL всегда занимает почетное место в спектре тем HighLoad++. И это при том, что в PostgreSQL нет HA из коробки.

Об одном из инструментов, которые помогут повысить доступность PostgreSQL, в ноябре рассказал Алексей Лесовский. Обстоятельно, на примерах и с разбором логов Алексей указал типовые проблемы, возникающие при работе с Patroni, и best practice для их преодоления. А мы сделали из этого статью на Хабре.

Читайте, чтобы не уронить свой PostgreSQL и не потерять данные при попытке его поднять. А если вы уже видели этот доклад, то освежите в памяти рекомендации в конце статьи, там же вас ждет бонусное видео 🧐

Друзья, всем привет!

Сегодня Санкт-Петербург запретил проведение массовых мероприятий численностью более 1000 человек (https://www.gov.spb.ru/press/governor/184881/). Аналогичное ограничение в 5000 участников было на прошлой неделе введено и в Москве.

В этой ситуации мы приняли трудное решение перенести конференцию Saint HighLoad++ с апреля на август или сентябрь этого года.
Новые даты будут определены в ближайшие дни.

Это настоящее потрясение для всех нас, но безопасность и здоровье участников и партнёров превыше всего.

Все билеты, все трансляции, все партнёрства - всё остаётся в силе. Если новые даты вам не подойдут, то мы всегда сможем поменять вам билеты на другие конференции или просто вернуть оплату.

Если вы приезжаете к нам из других городов, то прямо сейчас отмените брони гостиниц и авиабилетов. В отдельных случаях мы можем поискать способ компенсации потерь от невозвратных билетов.

Чтобы не останавливать наше профессиональное общение, мы проведём 6 апреля онлайн-конференцию Saint HighLoad++ Online - 8 докладов, организованное онлайн-общение, мы даже попробуем реализовать онлайн-консультации по вопросам разработки высоконагруженных систем.

Обновление информации на следующей неделе. По всем вопросам пишите на organization@ontico.ru!

Берегите себя!

Инженерные практики, которые позволяют решать проблемы с качеством, разбираться с legacy и регулярно проводить рефакторинг, ускоряя разработку – вот главные темы нашей TechLead Conf 2020.

Станьте спикером единственной конференции про инженерные процессы!

Приглашаем выступить с докладом, воркшопом или дискуссионным митапом инженеров, разработчиков, техлидов, SRE и всех, кто вовлечен в выстраивание инженерных процессов.

Выступить на конференции: https://techleadconf.ru/2020/speakers. Подробнее о тематике TechLead Conf читайте по ссылке — https://habr.com/ru/company/oleg-bunin/blog/490770/.

Дорогие друзья!
Мы прекрасно понимаем масштаб всех тех проблем, чаяний и надежд, которые сейчас царят в умах не только российского IT, но и страны в целом.
Чтобы в текущей ситуации не останавливать темп профессионального развития разработчиков и в эти достаточно сложные времена удержать высокий уровень российской разработки путем peer-2-peer обмена опытом с лучшими, мы приняли такое решение — часть весенних конференций перенести на осень (Moscow Python Conf++, Saint HighLoad++ и PHP Russia), а для другой части (KnowledgeConf, фестиваль РИТ++ и TechLead Conf) сделать новый продукт, который принципиально отличается своим форматом:
1⃣ Новый продукт позволяет, при сохранении стоимости, предложить участникам в два раза больше контента и дать всем членам сообщества гораздо более серьезные инструменты для взаимодействия и нетворкинга.
2⃣ По нашей статистике на стандартной конференции человек посещает только 20% докладов — мы придумали формат, который поможет довести эту цифру до 70%.
3⃣ Одним из самых главных элементов наших конференций являются мастер-классы, новый формат позволит участникам принять участие в 100% из них!
4⃣ Возможность прослушать абсолютно все митапы, которые происходили в рамках конференции и на которые вы не успели.
5⃣ Новый продукт позволяет избегать больших трат, связанных логистическими издержками, и долговременного отрыва от рабочего процесса.
6⃣ Возможность познакомиться с любым участником конференции, какого бы высокого уровня и должности он не был.
7⃣ Принципиально новый инструментарий по решению собственных задач на конференции — вы можете заявить свою тему и предложить обсудить её абсолютно всем участникам, задать вопрос гораздо более широкой команде экспертов, чем это было ранее.
Всё это стало возможным благодаря тому, что отказавшись от физической площадки, мы задействовали весь доступный онлайн-инструментарий, который и разрабатывается нашим IT-сообществом.
Говоря простыми словами — эти три конференции пройдут полностью в онлайне:
+ Конференция по управлению знаниями KnowledgeConf — два дня вместо одного, 18 и 19 мая (https://knowledgeconf.ru/2020/).
+ Профессиональный фестиваль для тех, кто делает интернет, «Российские интернет-технологии» (https://ritfest.ru/2020/) — два дня докладов (25 и 26 мая) и десять дней мастер-классов (с 27 мая по 10 июня);
+ Конференция, полностью посвященная инженерным процессам и практикам, TechLead Conf — два дня вместо одного, 8 и 9 июня (https://techleadconf.ru/2020/).
Проекты Онтико Онлайн мы начинаем накапливать здесь:
https://ontico.online/. Со следующей недели начнём о них подробно рассказывать.

Для нас очень важно оставаться на связи — если у вас есть какие-то комментарии или мысли — присоединяйтесь к обсуждению. Facebook: https://www.facebook.com/oleg.bunin/posts/3689312337777097, ВКонтакте: https://vk.com/wall10387184?w=wall10387184_138.

Александр Крижановский, основатель и системный архитектор Tempesta Technologies. На HighLoad++ 2019 Александр рассказал об особенностях структуры HTTP-строк, объяснил, почему стандартные библиотеки плохо подходят для их обработки, и представил решение Tempesta FW. Расшифровку доклада читайте на Хабре.

В понедельник, 6 апреля, Александр выступит на Saint HighLoad++ 2020 Online c докладом «Механика web акселерации».

🥳 В понедельник 6 апреля мы проведём Saint HighLoad++ Online 2020: 6 докладов, дискуссии консультации по вопросам разработки высоконагруженных систем и организованное онлайн-общение.

🎤 Старт онлайн-конференции в 10:45, и дальше все очень плотно:
11:00 – Миллион распределенных баз данных, Микро-Ячеистая архитектура внутренних сервисов облака Amazon / Василий Пантюхин.
12:00 – Алгоритмы в Яндекс.Маршрутизации: 100000 дейкстр в секунду на ядро или как получить хайлоад от одного запроса / Тихон Рощупкин.
13:00 – Механика web акселерации / Александр Крижановский.

15:00 – Необыкновенные возможности ClickHouse / Алексей Миловидов.
16:00 – PostgreSQL. Плохие запросы, примеры и их поиск. / Андрей Сальников.
17:00 – MySQL в финансах: когда секунда простоя стоит больше твоей годовой зарплаты / Владимир Федорков.

📹 А в перерывах прямые включения и конкурсы от наших партнеров: Selectel, Wargaming, Юла.

Всё, что вам еще нужно знать об онлайн-конференции, собрали здесь: https://www.highload.ru/spb/2020/news/1315

⚠️ Участие в онлайн-конференции бесплатно для всех участников у кого есть билеты на Saint HighLoad++ или HighLoad++.

Надеемся, наш эфир 6 апреля скрасит ожидание офлайн Saint HighLoad++, который обязательно состоится осенью.

Как выступать онлайн? С одной стороны мы не видим слушателей, с другой - они все находятся гораздо ближе к нам, чем в зале.

9 апреля в 17:00 мы проведём бесплатный вебинар от знаменитого Кирилла Анастасина о том, как делать выступления в онлайне и чем они принципиально отличаются от классических выступлений (https://ontico.online/innubis).

Программа вебинара:
1 Проблемы нашего восприятия в процессе онлайн-выступления.
2 Реквизит для онлайн-выступления.
3 Живой рисунок в процессе и заготовки для него.
4 Работа с камерой и светом.
5 Переключения между реквизитом и основной камерой.
6 Работа с вопросами.
7 Демонстрация видео и прочие сложные кейсы.

Регистрация традиционно бесплатна, но обязательна:
https://conf.ontico.ru/event/join/vebinar_innubis.html

Прошу, по возможности, расшарить на нужные аудитории пост:
https://www.facebook.com/photo.php?fbid=3712991512075846&set=a.170919312949768&type=3

​Друзья, сегодня в 10:45 по московскому времени стартует Saint HighLoad++ Online 2020!

Это именно конференция, поэтому спикеры готовы отвечать на вопросы, а мы подготовили систему для эффективной коммуникации:
📌 расписание на сайте https://www.highload.ru/spb/2020/schedule
📌 доклады, вопросы и включения партнёров на сайте трансляции https://www.highload.ru/spb/2020/online-conf/
📌 zoom-комнаты для дискуссий с докладчиками;
📌 система чатов в Discord для нетворкинга и фана.

Пора настраиваться, проверять звук и видео, заваривать чай и готовить кофе-брейк 🍫☕️

На Saint HighLoad++ Online мы решили сделать подборку проверенных фильмов, сериалов, книг, которые помогут нам всем с пользой провести время на вынужденном карантине. По ссылке всего 3 вопроса, результатами обязательно поделимся 😎

https://martinshtern.typeform.com/to/sULn9B

Коротко о том, как прошёл Saint HighLoad++ Online

Для нас это был классный новый опыт. А для вас? Очень ждём обратную связь от участников в опросе https://conf.ontico.ru/polls/2893400. В этот раз она нужна еще больше, чем обычно. А в благодарность мы тут же передадим вам все записанные видео: все доклады и все дискуссионные зумы.

Встретимся в сентябре, а пока оставайтесь на связи в чатиках и рассылках.

Что может квантовый компьютер, мы в первом приближении узнали на HighLoad++ 2019. Если пропустили — читайте текстовую версию доклада Анатолия Дымарского на Хабре.

А какие ещё достижения современной науки полезно знать, посмотрим на РИТ++. Это будет новый формат конференции во всех смыслах: и по тематикам, и потому что онлайн. После Saint HighLoad++ 2020 Online мы точно уверены, что онлайн-конференциям быть и у них есть свои преимущества.

​Помимо докладов на Saint HighLoad++ 2020 Online мы провели несколько прямых включений со специалистами компаний-партнёров. Первым подключился Кирилл Малеванов технический директор провайдера IT инфраструктуры Selectel и у нас и, что особенно круто, наших участников была возможность задать вопросы о работе дата-центров в условиях текущей ситуации.

Короткий ответ: «Мы работаем, все хорошо!» Нагрузка в целом где-то убыла, где-то прибыла (примерно 30% на облака), но общий показатель остался прежним. Интересно, что не изменился уровень трафика, и точно так же не изменилось потребление электричества, при том, что услугами дата-центров Selectel пользуются совершенно разные сервисы.

Нас больше всего поразило то, как у компании продуманы планы B, C, и, похоже, Z. Потому что даже количество взаимнорезервирующих договоров с поставщиками топлива для дизельных генераторов увеличено, и все необходимое для того, чтобы запереться в дата-центре и обеспечивать непрерывное функционирование услуг связи, запасено. А вас? Хотели бы пожить в ДЦ?

​В WoT для управления игровым миром используется технология BigWorld Technology. Это распределенный сервер из набора процессов, которые запускаются на разных машинах. Машины объединены в кластеры, а уже они соединяются в «кластер кластеров». Такая структура позволяет доставлять WoT по всему миру и справляться с инцидентами, например, наплывом новых пользователей или потерей хоста. Об этом нам рассказали Левон Авакян (Game Logic Lead) и Дмитрий Курьянович (Head of Maintenance) на прямом включении компании Wargaming на Saint HighLoad++ 2020 Online.

Включение было интерактивным — участники могли задавать вопросы Левону и Дмитрию в zoom-комнате для дискуссий. Выяснилось, что дашборды с нагрузкой WoT находятся в свободном доступе, движку игры уже 20 лет, а обновление игры разделено на части: отделены друг от друга игровые апдейты (клиент-серверные обновления) и веб-сервисы, реализующие мета-геймплей.

Левон и Дмитрий поделились с участниками дискуссии историями о DDOS-атаках на 150 Гигабит под Новый Год (потому что шифрованный UDP), доставке кода в Китай за 24 часа до релиза через другие страны (Европу или Сингапур) и контейнеризации веб-сервисов с самописной системой оркестрации вместо Kubernetes.

​От Юлы в эфир Saint HighLoad++ 2020 Online вышел Айк Саргсян, чтобы рассказать об архитектуре высоких нагрузок на примере своей компании. После небольшого доклада, участники переместились в zoom-комнату, где расспросили Айка о том, как устроен их сервис.

– Оказалось поиск на главной странице Юлы состоит из 3х уровней (собственный поисковой движок, товары из ElasticSearch и, так называемый, Поиск Последней Надежды (ППН) - который представляет собой кеш всех поисковых запросов с результатами).

– Все события асинхронные и активно используется Kafka, который обрабатывает более 2х миллиардов сообщений в день.

– База данных на MongoDB держит 250к запросов в секунду, которые распределяются на 11 шардов. Каждый шард — это примерно 20k запросов в секунду на один мастер. Из них ~75% — чтения, ~20% это создание и обновление. Данные удаляются по минимуму, применяется практика soft delete.

– В монолите активно используется сервис-ориентированный подход, что позволяет легко переходить на микросервисную архитектуру.

Поговорили и о применении GraphQL — напомним, об этом Айк Саргсян рассказывал на HighLoad++ 2019.

Подробнее о том, какие задачи решает сервис Юла и какие технологии применяются читайте в блоге компании на Хабре.

​Привет, друзья!

9 апреля в 17:00 проведём бесплатный вебинар от Кирилла Анастасина о том, как делать выступления в онлайне и чем они принципиально отличаются от классических выступлений. Рекомендуем посетить, если собираетесь выступать на наших конференциях.

Программа вебинара:
1. Проблемы нашего восприятия в процессе онлайн-выступления.
2. Реквизит для онлайн-выступления.
3. Живой рисунок в процессе и заготовки для него.
4. Работа с камерой и светом.
5. Переключения между реквизитом и основной камерой.
6. Работа с вопросами.
7. Демонстрация видео и прочие сложные кейсы.

Регистрация по ссылке

Доставка от Lamoda: запись митапа на HighLoad++.

Тимур Нурутдинов, руководитель отдела разработки e-commerce платформы рассказывает, какие вызовы ставит перед инженером индустрия e-commerce.

Видео будет полезно тем, кто хочет познакомиться с индустрией или разобраться в деталях устройства большого интернет-магазина.

Друзья, приглашаем принять участие в хакатоне Hack The Crisis Russia.

16 и 17 мая Mail.ru Cloud Solutions (MCS) и сообщество HackTheCrisisRussia при поддержке Онтико проведут хакатон по разработке решений для минимизации последствий пандемии коронавируса.

Хакатон Hack The Crisis Russia — первое в России мероприятие международной серии #HackTheCrisis, которую поддержали уже в 46 странах по всему миру.

Приглашаем стать участниками хакатона. Заявки принимаются с 13 по 27 апреля на сайте https://hackthecrisisrussia.ru/ и должны соответствовать нескольким критериям:
- проект решает актуальные социальные проблемы, вызванные пандемией;
- решение возможно реализовать без привлечения сторонних средств;
- продукт хорошо масштабируется и адаптируется к меняющимся условиям.

Если у вас нет своей команды или идеи проекта, вы также можете подать заявку: разработчики, администраторы, менеджеры, дизайнеры и тестировщики могут усилить сформированные команды.

Хакатон HackTheCrisisRussia будет проходить в онлайн-формате 16 и 17 мая, за работой команд можно будет наблюдать в трансляции.