В WoT для управления игровым миром используется технология BigWorld Technology. Это распределенный сервер из набора процессов, которые запускаются на разных машинах. Машины объединены в кластеры, а уже они соединяются в «кластер кластеров». Такая структура позволяет доставлять WoT по всему миру и справляться с инцидентами, например, наплывом новых пользователей или потерей хоста. Об этом нам рассказали Левон Авакян (Game Logic Lead) и Дмитрий Курьянович (Head of Maintenance) на прямом включении компании Wargaming на Saint HighLoad++ 2020 Online.
Включение было интерактивным — участники могли задавать вопросы Левону и Дмитрию в zoom-комнате для дискуссий. Выяснилось, что дашборды с нагрузкой WoT находятся в свободном доступе, движку игры уже 20 лет, а обновление игры разделено на части: отделены друг от друга игровые апдейты (клиент-серверные обновления) и веб-сервисы, реализующие мета-геймплей.
Левон и Дмитрий поделились с участниками дискуссии историями о DDOS-атаках на 150 Гигабит под Новый Год (потому что шифрованный UDP), доставке кода в Китай за 24 часа до релиза через другие страны (Европу или Сингапур) и контейнеризации веб-сервисов с самописной системой оркестрации вместо Kubernetes.
Включение было интерактивным — участники могли задавать вопросы Левону и Дмитрию в zoom-комнате для дискуссий. Выяснилось, что дашборды с нагрузкой WoT находятся в свободном доступе, движку игры уже 20 лет, а обновление игры разделено на части: отделены друг от друга игровые апдейты (клиент-серверные обновления) и веб-сервисы, реализующие мета-геймплей.
Левон и Дмитрий поделились с участниками дискуссии историями о DDOS-атаках на 150 Гигабит под Новый Год (потому что шифрованный UDP), доставке кода в Китай за 24 часа до релиза через другие страны (Европу или Сингапур) и контейнеризации веб-сервисов с самописной системой оркестрации вместо Kubernetes.
От Юлы в эфир Saint HighLoad++ 2020 Online вышел Айк Саргсян, чтобы рассказать об архитектуре высоких нагрузок на примере своей компании. После небольшого доклада, участники переместились в zoom-комнату, где расспросили Айка о том, как устроен их сервис.
– Оказалось поиск на главной странице Юлы состоит из 3х уровней (собственный поисковой движок, товары из ElasticSearch и, так называемый, Поиск Последней Надежды (ППН) - который представляет собой кеш всех поисковых запросов с результатами).
– Все события асинхронные и активно используется Kafka, который обрабатывает более 2х миллиардов сообщений в день.
– База данных на MongoDB держит 250к запросов в секунду, которые распределяются на 11 шардов. Каждый шард — это примерно 20k запросов в секунду на один мастер. Из них ~75% — чтения, ~20% это создание и обновление. Данные удаляются по минимуму, применяется практика soft delete.
– В монолите активно используется сервис-ориентированный подход, что позволяет легко переходить на микросервисную архитектуру.
Поговорили и о применении GraphQL — напомним, об этом Айк Саргсян рассказывал на HighLoad++ 2019.
Подробнее о том, какие задачи решает сервис Юла и какие технологии применяются читайте в блоге компании на Хабре.
– Оказалось поиск на главной странице Юлы состоит из 3х уровней (собственный поисковой движок, товары из ElasticSearch и, так называемый, Поиск Последней Надежды (ППН) - который представляет собой кеш всех поисковых запросов с результатами).
– Все события асинхронные и активно используется Kafka, который обрабатывает более 2х миллиардов сообщений в день.
– База данных на MongoDB держит 250к запросов в секунду, которые распределяются на 11 шардов. Каждый шард — это примерно 20k запросов в секунду на один мастер. Из них ~75% — чтения, ~20% это создание и обновление. Данные удаляются по минимуму, применяется практика soft delete.
– В монолите активно используется сервис-ориентированный подход, что позволяет легко переходить на микросервисную архитектуру.
Поговорили и о применении GraphQL — напомним, об этом Айк Саргсян рассказывал на HighLoad++ 2019.
Подробнее о том, какие задачи решает сервис Юла и какие технологии применяются читайте в блоге компании на Хабре.
Привет, друзья!
9 апреля в 17:00 проведём бесплатный вебинар от Кирилла Анастасина о том, как делать выступления в онлайне и чем они принципиально отличаются от классических выступлений. Рекомендуем посетить, если собираетесь выступать на наших конференциях.
Программа вебинара:
1. Проблемы нашего восприятия в процессе онлайн-выступления.
2. Реквизит для онлайн-выступления.
3. Живой рисунок в процессе и заготовки для него.
4. Работа с камерой и светом.
5. Переключения между реквизитом и основной камерой.
6. Работа с вопросами.
7. Демонстрация видео и прочие сложные кейсы.
Регистрация по ссылке
9 апреля в 17:00 проведём бесплатный вебинар от Кирилла Анастасина о том, как делать выступления в онлайне и чем они принципиально отличаются от классических выступлений. Рекомендуем посетить, если собираетесь выступать на наших конференциях.
Программа вебинара:
1. Проблемы нашего восприятия в процессе онлайн-выступления.
2. Реквизит для онлайн-выступления.
3. Живой рисунок в процессе и заготовки для него.
4. Работа с камерой и светом.
5. Переключения между реквизитом и основной камерой.
6. Работа с вопросами.
7. Демонстрация видео и прочие сложные кейсы.
Регистрация по ссылке
Доставка от Lamoda: запись митапа на HighLoad++.
Тимур Нурутдинов, руководитель отдела разработки e-commerce платформы рассказывает, какие вызовы ставит перед инженером индустрия e-commerce.
Видео будет полезно тем, кто хочет познакомиться с индустрией или разобраться в деталях устройства большого интернет-магазина.
Тимур Нурутдинов, руководитель отдела разработки e-commerce платформы рассказывает, какие вызовы ставит перед инженером индустрия e-commerce.
Видео будет полезно тем, кто хочет познакомиться с индустрией или разобраться в деталях устройства большого интернет-магазина.
YouTube
Какие вызовы ставит перед инженерами e-commerce бизнес, Тимур Нурутдинов. HighLoad 2019
Расшифровка доклада на Habr: https://habr.com/ru/company/lamoda/blog/501716/
0:00 Вступление. О чем пойдет речь?
3:11 E-com Platforma
24:48 Business Process Automation (доставка, склад, фотостудия, contact center)
38:16 ERP (Axapta, 1C)
49:58 IT Infrastructure…
0:00 Вступление. О чем пойдет речь?
3:11 E-com Platforma
24:48 Business Process Automation (доставка, склад, фотостудия, contact center)
38:16 ERP (Axapta, 1C)
49:58 IT Infrastructure…
Друзья, приглашаем принять участие в хакатоне Hack The Crisis Russia.
16 и 17 мая Mail.ru Cloud Solutions (MCS) и сообщество HackTheCrisisRussia при поддержке Онтико проведут хакатон по разработке решений для минимизации последствий пандемии коронавируса.
Хакатон Hack The Crisis Russia — первое в России мероприятие международной серии #HackTheCrisis, которую поддержали уже в 46 странах по всему миру.
Приглашаем стать участниками хакатона. Заявки принимаются с 13 по 27 апреля на сайте https://hackthecrisisrussia.ru/ и должны соответствовать нескольким критериям:
- проект решает актуальные социальные проблемы, вызванные пандемией;
- решение возможно реализовать без привлечения сторонних средств;
- продукт хорошо масштабируется и адаптируется к меняющимся условиям.
Если у вас нет своей команды или идеи проекта, вы также можете подать заявку: разработчики, администраторы, менеджеры, дизайнеры и тестировщики могут усилить сформированные команды.
Хакатон HackTheCrisisRussia будет проходить в онлайн-формате 16 и 17 мая, за работой команд можно будет наблюдать в трансляции.
16 и 17 мая Mail.ru Cloud Solutions (MCS) и сообщество HackTheCrisisRussia при поддержке Онтико проведут хакатон по разработке решений для минимизации последствий пандемии коронавируса.
Хакатон Hack The Crisis Russia — первое в России мероприятие международной серии #HackTheCrisis, которую поддержали уже в 46 странах по всему миру.
Приглашаем стать участниками хакатона. Заявки принимаются с 13 по 27 апреля на сайте https://hackthecrisisrussia.ru/ и должны соответствовать нескольким критериям:
- проект решает актуальные социальные проблемы, вызванные пандемией;
- решение возможно реализовать без привлечения сторонних средств;
- продукт хорошо масштабируется и адаптируется к меняющимся условиям.
Если у вас нет своей команды или идеи проекта, вы также можете подать заявку: разработчики, администраторы, менеджеры, дизайнеры и тестировщики могут усилить сформированные команды.
Хакатон HackTheCrisisRussia будет проходить в онлайн-формате 16 и 17 мая, за работой команд можно будет наблюдать в трансляции.
Сегодня мы открываем доступ к видеозаписям всех докладов с HighLoad++, DevOpsConf, Saint AppsConf, FrontendConf, Product Fest за 2019 год и с февральской TeamLead Conf. Это стало возможным благодаря поддержке AvitoTech.
Специалисты @avitotech работают с высоконагруженными системами и регулярно делятся своим опытом на конференциях, митапах и в статьях. Чтобы помочь вам сориентироваться в потоке видео, они составили и опубликовали на Хабре собственный топ по каждой конференции.
Спасибо партнёрам за поддержку и возможность распространять знания в области разработки и управления IT-продуктами.
Смотреть видео HighLoad++ 2019 👉 https://www.youtube.com/playlist?list=PLH-XmS0lSi_zTZrols83QSxI3Q96dSbBm, остальные плейлисты в статье и на youtube-каналах конференций.
Специалисты @avitotech работают с высоконагруженными системами и регулярно делятся своим опытом на конференциях, митапах и в статьях. Чтобы помочь вам сориентироваться в потоке видео, они составили и опубликовали на Хабре собственный топ по каждой конференции.
Спасибо партнёрам за поддержку и возможность распространять знания в области разработки и управления IT-продуктами.
Смотреть видео HighLoad++ 2019 👉 https://www.youtube.com/playlist?list=PLH-XmS0lSi_zTZrols83QSxI3Q96dSbBm, остальные плейлисты в статье и на youtube-каналах конференций.
Вторая новость на сегодня не такая значительная, но тоже хорошая.
Опубликовали на Хабре статью по одному из лучших докладов HighLoad++ «Хьюстон, у нас проблема. Дизайн систем на отказ». В этом докладе Василий Пантюхин на примерах реальных проблем с боевыми сервисами показал паттерны проектирования распределенных систем, которые используют разработчики AWS.
В конце статьи есть краткая выжимка, по которой можно проверить, какие из подходов вы уже протестировали, или освежить в памяти основные тезисы доклада.
Опубликовали на Хабре статью по одному из лучших докладов HighLoad++ «Хьюстон, у нас проблема. Дизайн систем на отказ». В этом докладе Василий Пантюхин на примерах реальных проблем с боевыми сервисами показал паттерны проектирования распределенных систем, которые используют разработчики AWS.
В конце статьи есть краткая выжимка, по которой можно проверить, какие из подходов вы уже протестировали, или освежить в памяти основные тезисы доклада.
Хабр
Хьюстон, у нас проблема. Дизайн систем на отказ
В 1970 г. американские инженеры запустили аппарат Аполлон-13 к Луне. На борту три батареи топливных элементов, беспокоиться не о чем, всё надежно и многократно продублировано. Но никто не мог...
Мы рады объявить, что благодаря поддержке компании Badoo (@badoo_tech), конференция PHP Russia 2020 Online стала бесплатной.
Badoo делают высоконагруженные продукты для полумиллиарда пользователей по всему миру. Команда решает непростые инженерные задачи и регулярно делится опытом с индустрией, в том числе в области PHP-разработки: проводит митапы, публикует материалы на YouTube и в блоге на Хабре.
PHP Russia 2020 Online пройдёт 13 мая, для участия необходимо зарегистрироваться.
Badoo делают высоконагруженные продукты для полумиллиарда пользователей по всему миру. Команда решает непростые инженерные задачи и регулярно делится опытом с индустрией, в том числе в области PHP-разработки: проводит митапы, публикует материалы на YouTube и в блоге на Хабре.
PHP Russia 2020 Online пройдёт 13 мая, для участия необходимо зарегистрироваться.
«Если вы пишете код — готовьтесь к проблемам».
Как готовиться? Например, прочитайте расшифровку доклада Алексея Миловидова на HighLoad++ 2019. Алексей рассказал о самых нелепых, обескураживающих и безнадёжных проблемах из его опыта разработки и поддержки ClickHouse.
Из рассказа может показаться, что поиск багов и их отладка похожи на увлекательное путешествие. Но едва ли вы захотите, чтобы это путешествие было кругосветным. Поэтому читайте и запоминайте, что можно предпринять, чтобы проблем было меньше.
Как готовиться? Например, прочитайте расшифровку доклада Алексея Миловидова на HighLoad++ 2019. Алексей рассказал о самых нелепых, обескураживающих и безнадёжных проблемах из его опыта разработки и поддержки ClickHouse.
Из рассказа может показаться, что поиск багов и их отладка похожи на увлекательное путешествие. Но едва ли вы захотите, чтобы это путешествие было кругосветным. Поэтому читайте и запоминайте, что можно предпринять, чтобы проблем было меньше.
Хабр
Отъявленные баги и как их избежать на примере ClickHouse
Если вы пишете код — готовьтесь к проблемам. Они обязательно будут, и ожидать их стоит со всех сторон: от вашего кода и компилятора, от операционной системы и железа, а еще пользователи иногда...
Начинаем рассказывать об онлайн-конференциях, первом из планируемых инструментов, 2000 открытых записей, среди которых теперь легко найти релевантные, и самое главное — снижении цен!
Что еще пробуем и какие концепции тестируем в организации онлайн-конференций, слушайте в подкасте «Пятиминутка PHP».
Что еще пробуем и какие концепции тестируем в организации онлайн-конференций, слушайте в подкасте «Пятиминутка PHP».
Facebook
Oleg Bunin
Друзья, В нашей базе данных сейчас более 2000 докладов со всех конференций за последние несколько лет. И мы, руководствуясь вашими интересами в текущей непростой ситуацией в мире, открыли к ним...
Если вы используете PHP и еще не зарегистрировались на онлайн-конференцию PHP Russia Online, которая пройдет 13 мая и при поддержке @badoo_tech будет бесплатной, то смотрите анонс программы и присоединяйтесь — не отставайте от 2000 разработчиков, которые уже с нами.
💥 Доклады будут на английском языке, поэтому смело приглашайте иностранных коллег: phprussia.ru/en/2020/online
💥 Доклады будут на английском языке, поэтому смело приглашайте иностранных коллег: phprussia.ru/en/2020/online
Хабр
Открытая конференция PHP Russia Online
На единственной конференции по PHP в России должно было быть 22 доклада от разработчиков инструментов, которыми мы все пользуемся, и множество камерных событий.
При поддержке AvitoTech мы открыли доступ к видеозаписям ещё двух конференций 2019 года: UseData Conf и GolangConf.
В @avitotech успешно используют Go, умеют работать с данными и охотно делятся опытом на конференциях, митапах и в статьях. Спасибо партнёрам за поддержку и возможность распространять знания.
В @avitotech успешно используют Go, умеют работать с данными и охотно делятся опытом на конференциях, митапах и в статьях. Спасибо партнёрам за поддержку и возможность распространять знания.
Чем больше система, тем сложнее понять, почему что-то пошло не так. Без инструментации и трейсинга тут не обойтись. Пётр Зайцев на HighLoad++ 2019 сделал обзор доступной инфраструктуры для трейсинга в Linux. Читайте текстовую версию этого доклада, чтобы пересмотреть детали, добавляйте в закладки, чтобы дополнительные материалы всегда были под рукой.
💥 А в конце мая на РИТ++ Пётр расскажет о технологиях и тенденциях на рынке баз данных, которые изменят бизнес через год. Присоединяйтесь к фестивалю, чтобы быстро и выгодно разобраться в тенденциях из разных областей IT и подробно познакомиться с их применением на мастер-классах 🧐
💥 А в конце мая на РИТ++ Пётр расскажет о технологиях и тенденциях на рынке баз данных, которые изменят бизнес через год. Присоединяйтесь к фестивалю, чтобы быстро и выгодно разобраться в тенденциях из разных областей IT и подробно познакомиться с их применением на мастер-классах 🧐
Хабр
BpfTrace — наконец, полноценная замена Dtrace в Linux
Бывает, что системы глючат, тормозят, ломаются. Чем больше система, тем сложнее найти причину. Чтобы узнать, почему что-то работает не так, как ожидалось, исправ...
Похоже, онлайн с нами надолго (но HighLoad++ Moscow ему не захватить, нет). Значит, нужно озаботиться техническим обеспечением онлайн-выступлений. На наших конференциях мы планируем предоставлять докладчикам недостающее оборудование. Но если вы часто выступаете, то эти простые советы в любом случае вам пригодятся.
Хабр
Технические особенности онлайн-выступления: Starter Pack
Недавно руководитель Роспотребнадзора назвала ограничение, которое будет отменено последним, — это будет отмена запрета на массовые мероприятия. Онлайн с нами на...
Доклады и мастер-классы РИТ++ решают максимально прикладную задачу, даже когда речь идет о лидарах в беспилотных автомобилях. Объясняем почему на Хабре.
Хабр
Путь от мидла до сеньора
Обсуждение каждого доклада на каждой нашей конференции начинается с простого вопроса: «Какую пользу получат слушатели от этого выступления?» Чему научатся, где с...
Вас приветствует команда программного комитета TechLead Conf! 🙂
В эту пятницу 29 мая в 18:00 мы позовем наших докладчиков и в уютной обстановке расскажем об интересных интересностях, которые будут на конференции 8-10 июня. Это будет живая сессия с онлайн-вопросами. Расскажем, как реализовали идею построить в течение конференции путь развития техлида и при чём здесь maturity model.
А следом вас ждет стрим на тему тестирования интеграции с помощью контрактного тестирования. Во время стрима обсудим цели контрактного тестирования и на что именно стоит обращать внимание, когда мы проверяем интеграцию. Будет сессия live-кодинга, на котором посмотрим реализацию контрактов с помощью Spring Cloud Contract.
Встреча открытая, но нужно зарегистрироваться.
В эту пятницу 29 мая в 18:00 мы позовем наших докладчиков и в уютной обстановке расскажем об интересных интересностях, которые будут на конференции 8-10 июня. Это будет живая сессия с онлайн-вопросами. Расскажем, как реализовали идею построить в течение конференции путь развития техлида и при чём здесь maturity model.
А следом вас ждет стрим на тему тестирования интеграции с помощью контрактного тестирования. Во время стрима обсудим цели контрактного тестирования и на что именно стоит обращать внимание, когда мы проверяем интеграцию. Будет сессия live-кодинга, на котором посмотрим реализацию контрактов с помощью Spring Cloud Contract.
Встреча открытая, но нужно зарегистрироваться.
Сегодня Онтико публикует видеозаписи всех докладов PHP Russia 2020 Online. Это стало возможным благодаря поддержке Badoo.
Ещё больше PHP-контента от одной из сильнейших инженерных команд на tech.badoo.com. PHP-сообщество в Telegram — t.me/badoo_php_meetup.
Спасибо партнёрам за поддержку и возможность распространять знания в области PHP-разработки.
👉 Видео на русском языке
👉 Видео на анлийском языке
Ещё больше PHP-контента от одной из сильнейших инженерных команд на tech.badoo.com. PHP-сообщество в Telegram — t.me/badoo_php_meetup.
Спасибо партнёрам за поддержку и возможность распространять знания в области PHP-разработки.
👉 Видео на русском языке
👉 Видео на анлийском языке
💥На Хабре вышла статья системного архитектора в Lamoda Алексея Скоробогатого. Алексей выступал на HighLoad++ 2019 c докладом “Starship Enterprise Evolution: архитектура e-commerce-платформы” (bit.ly/3i1pCcZ). Узнать об эволюции систем от монолитов через микросервисы к event-based-архитектуре можно, прочитав статью👉 habr.com/ru/company/lamoda/blog/507892/
Хабр
Как настроить real-time data processing на летящем корабле
Привет! Меня зовут Алексей Скоробогатый, я системный архитектор в Lamoda. Недавно мы внесли большие изменения в нашу e-commerce платформу: перешли к событийной (...
Коллеги из Lamoda продолжают радовать статьями по мотивам HighLoad++.
Специально для тех, у кого не хватает времени на пересмотр докладов, Александр Афенов в статье «Наблюдательный пост пессимиста: технические и концептуальные решения в системе мониторинга Lamoda» рассказывает о том, что и как мониторят в компании и, самое главное, что делают с результатами наблюдений 🧐
А если сегодня вечером как раз есть время на полезное видео, то вот запись выступления. Или зайдите на наш youtube-канал, там есть ещё 1590 видео о серверной разработке и высоких нагрузках 😁
Специально для тех, у кого не хватает времени на пересмотр докладов, Александр Афенов в статье «Наблюдательный пост пессимиста: технические и концептуальные решения в системе мониторинга Lamoda» рассказывает о том, что и как мониторят в компании и, самое главное, что делают с результатами наблюдений 🧐
А если сегодня вечером как раз есть время на полезное видео, то вот запись выступления. Или зайдите на наш youtube-канал, там есть ещё 1590 видео о серверной разработке и высоких нагрузках 😁
Хабр
Наблюдательный пост пессимиста: технические и концептуальные решения в системе мониторинга Lamoda
Всем привет! Меня зовут Александр Афенов, я работаю в Lamoda. Эта статья по мотивам моего доклада с HighLoad 2019, запись которого лежит тут . Раньше я был тимлидом, и в моем ведении была пара...
🔥Друзья, рады сообщить — офлайновый HighLoad++ пройдёт 9 и 10 ноября в Москве. Это будет наша первая очная встреча после 9 месяцев сенсорного голодания!
✅Завтра первое повышение цен – забронируйте билет сегодня, а на окончательное решение и оплату будет ещё несколько дней 👉 highload.ru/moscow/2020#prices
👉3000 участников, 160 докладов, 16 параллельных треков докладов, мастер-классов и митапов.
❗️Единственная конференция, где за два дня можно узнать, как устроены Facebook, ВКонтакте, Одноклассники, Яндекс, Mail.ru, Amazon, Badoo, Авито, Alibaba и другие крупнейшие компании.
👉Если есть что-то достойное в мире технологий, то это точно будет на HighLoad++. Ждём вас!
✅Завтра первое повышение цен – забронируйте билет сегодня, а на окончательное решение и оплату будет ещё несколько дней 👉 highload.ru/moscow/2020#prices
👉3000 участников, 160 докладов, 16 параллельных треков докладов, мастер-классов и митапов.
❗️Единственная конференция, где за два дня можно узнать, как устроены Facebook, ВКонтакте, Одноклассники, Яндекс, Mail.ru, Amazon, Badoo, Авито, Alibaba и другие крупнейшие компании.
👉Если есть что-то достойное в мире технологий, то это точно будет на HighLoad++. Ждём вас!
highload.ru
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем 2021
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем.
Давайте проверим, сколько среди нас старожилов IT.
Помните, был Фортран, Алгол и Кобол? А что было до этого? Знаете, как мы пришли к тому, к чему пришли?
История развития IT-разработки куда интереснее, чем вы себе представляете. А хороших источников, в которых были бы не только факты, но можно было бы проследить внутреннюю логику развития, нет. То есть не было — теперь есть статья Максима Цепкова.
Читайте в этой статье на Хабре историю развития разработки от создания первых алгоритмов до ООП, а мы скоро вернёмся с продолжением.
Помните, был Фортран, Алгол и Кобол? А что было до этого? Знаете, как мы пришли к тому, к чему пришли?
История развития IT-разработки куда интереснее, чем вы себе представляете. А хороших источников, в которых были бы не только факты, но можно было бы проследить внутреннюю логику развития, нет. То есть не было — теперь есть статья Максима Цепкова.
Читайте в этой статье на Хабре историю развития разработки от создания первых алгоритмов до ООП, а мы скоро вернёмся с продолжением.
Хабр
История IT. Когда компьютеры были большими…
Некоторое время назад меня попросили рассказать или дать ссылки на историю развития IT-разработки, в которой была бы видна внутренняя логика развития, а не прост...