Александр Крижановский, основатель и системный архитектор Tempesta Technologies. На HighLoad++ 2019 Александр рассказал об особенностях структуры HTTP-строк, объяснил, почему стандартные библиотеки плохо подходят для их обработки, и представил решение Tempesta FW. Расшифровку доклада читайте на Хабре.
В понедельник, 6 апреля, Александр выступит на Saint HighLoad++ 2020 Online c докладом «Механика web акселерации».
В понедельник, 6 апреля, Александр выступит на Saint HighLoad++ 2020 Online c докладом «Механика web акселерации».
Хабр
Алгоритмы быстрой обработки HTTP-строк
В HTTP/2 появилась компрессия стандартных заголовков, но тело URI, Cookie, значения User-Agent по-прежнему могут составлять десятки килобайт и требуют токенизации, поиска и сравнения подстрок....
🥳 В понедельник 6 апреля мы проведём Saint HighLoad++ Online 2020: 6 докладов, дискуссии консультации по вопросам разработки высоконагруженных систем и организованное онлайн-общение.
🎤 Старт онлайн-конференции в 10:45, и дальше все очень плотно:
11:00 – Миллион распределенных баз данных, Микро-Ячеистая архитектура внутренних сервисов облака Amazon / Василий Пантюхин.
12:00 – Алгоритмы в Яндекс.Маршрутизации: 100000 дейкстр в секунду на ядро или как получить хайлоад от одного запроса / Тихон Рощупкин.
13:00 – Механика web акселерации / Александр Крижановский.
15:00 – Необыкновенные возможности ClickHouse / Алексей Миловидов.
16:00 – PostgreSQL. Плохие запросы, примеры и их поиск. / Андрей Сальников.
17:00 – MySQL в финансах: когда секунда простоя стоит больше твоей годовой зарплаты / Владимир Федорков.
📹 А в перерывах прямые включения и конкурсы от наших партнеров: Selectel, Wargaming, Юла.
Всё, что вам еще нужно знать об онлайн-конференции, собрали здесь: https://www.highload.ru/spb/2020/news/1315
⚠️ Участие в онлайн-конференции бесплатно для всех участников у кого есть билеты на Saint HighLoad++ или HighLoad++.
Надеемся, наш эфир 6 апреля скрасит ожидание офлайн Saint HighLoad++, который обязательно состоится осенью.
🎤 Старт онлайн-конференции в 10:45, и дальше все очень плотно:
11:00 – Миллион распределенных баз данных, Микро-Ячеистая архитектура внутренних сервисов облака Amazon / Василий Пантюхин.
12:00 – Алгоритмы в Яндекс.Маршрутизации: 100000 дейкстр в секунду на ядро или как получить хайлоад от одного запроса / Тихон Рощупкин.
13:00 – Механика web акселерации / Александр Крижановский.
15:00 – Необыкновенные возможности ClickHouse / Алексей Миловидов.
16:00 – PostgreSQL. Плохие запросы, примеры и их поиск. / Андрей Сальников.
17:00 – MySQL в финансах: когда секунда простоя стоит больше твоей годовой зарплаты / Владимир Федорков.
📹 А в перерывах прямые включения и конкурсы от наших партнеров: Selectel, Wargaming, Юла.
Всё, что вам еще нужно знать об онлайн-конференции, собрали здесь: https://www.highload.ru/spb/2020/news/1315
⚠️ Участие в онлайн-конференции бесплатно для всех участников у кого есть билеты на Saint HighLoad++ или HighLoad++.
Надеемся, наш эфир 6 апреля скрасит ожидание офлайн Saint HighLoad++, который обязательно состоится осенью.
highload.ru
Saint HighLoad++ 2020 : Все, что вам нужно знать об онлайн-конференции Saint HighLoad++ Online 2020 (состоялась 6 апреля)
Мы собрали всю информацию, которая поможет вам сориентироваться в нашей онлайн-конференции 06 апреля 2020
Forwarded from Oleg Bunin
Как выступать онлайн? С одной стороны мы не видим слушателей, с другой - они все находятся гораздо ближе к нам, чем в зале.
9 апреля в 17:00 мы проведём бесплатный вебинар от знаменитого Кирилла Анастасина о том, как делать выступления в онлайне и чем они принципиально отличаются от классических выступлений (https://ontico.online/innubis).
Программа вебинара:
1 Проблемы нашего восприятия в процессе онлайн-выступления.
2 Реквизит для онлайн-выступления.
3 Живой рисунок в процессе и заготовки для него.
4 Работа с камерой и светом.
5 Переключения между реквизитом и основной камерой.
6 Работа с вопросами.
7 Демонстрация видео и прочие сложные кейсы.
Регистрация традиционно бесплатна, но обязательна:
https://conf.ontico.ru/event/join/vebinar_innubis.html
Прошу, по возможности, расшарить на нужные аудитории пост:
https://www.facebook.com/photo.php?fbid=3712991512075846&set=a.170919312949768&type=3
9 апреля в 17:00 мы проведём бесплатный вебинар от знаменитого Кирилла Анастасина о том, как делать выступления в онлайне и чем они принципиально отличаются от классических выступлений (https://ontico.online/innubis).
Программа вебинара:
1 Проблемы нашего восприятия в процессе онлайн-выступления.
2 Реквизит для онлайн-выступления.
3 Живой рисунок в процессе и заготовки для него.
4 Работа с камерой и светом.
5 Переключения между реквизитом и основной камерой.
6 Работа с вопросами.
7 Демонстрация видео и прочие сложные кейсы.
Регистрация традиционно бесплатна, но обязательна:
https://conf.ontico.ru/event/join/vebinar_innubis.html
Прошу, по возможности, расшарить на нужные аудитории пост:
https://www.facebook.com/photo.php?fbid=3712991512075846&set=a.170919312949768&type=3
ontico.online
Онлайн-конференции
Онлайн-конференции Олега Бунина
Друзья, сегодня в 10:45 по московскому времени стартует Saint HighLoad++ Online 2020!
Это именно конференция, поэтому спикеры готовы отвечать на вопросы, а мы подготовили систему для эффективной коммуникации:
📌 расписание на сайте https://www.highload.ru/spb/2020/schedule
📌 доклады, вопросы и включения партнёров на сайте трансляции https://www.highload.ru/spb/2020/online-conf/
📌 zoom-комнаты для дискуссий с докладчиками;
📌 система чатов в Discord для нетворкинга и фана.
Пора настраиваться, проверять звук и видео, заваривать чай и готовить кофе-брейк 🍫☕️
Это именно конференция, поэтому спикеры готовы отвечать на вопросы, а мы подготовили систему для эффективной коммуникации:
📌 расписание на сайте https://www.highload.ru/spb/2020/schedule
📌 доклады, вопросы и включения партнёров на сайте трансляции https://www.highload.ru/spb/2020/online-conf/
📌 zoom-комнаты для дискуссий с докладчиками;
📌 система чатов в Discord для нетворкинга и фана.
Пора настраиваться, проверять звук и видео, заваривать чай и готовить кофе-брейк 🍫☕️
Начали Saint HighLoad++ Online — новые условия не мешают соблюдать традиции 😁
На Saint HighLoad++ Online мы решили сделать подборку проверенных фильмов, сериалов, книг, которые помогут нам всем с пользой провести время на вынужденном карантине. По ссылке всего 3 вопроса, результатами обязательно поделимся 😎
https://martinshtern.typeform.com/to/sULn9B
https://martinshtern.typeform.com/to/sULn9B
Typeform
Incorrect URL
Create more personal forms & surveys.
Для нас это был классный новый опыт. А для вас? Очень ждём обратную связь от участников в опросе https://conf.ontico.ru/polls/2893400. В этот раз она нужна еще больше, чем обычно. А в благодарность мы тут же передадим вам все записанные видео: все доклады и все дискуссионные зумы.
Встретимся в сентябре, а пока оставайтесь на связи в чатиках и рассылках.
Встретимся в сентябре, а пока оставайтесь на связи в чатиках и рассылках.
conf.ontico.ru
Ontico — Конференции | Вход
Что может квантовый компьютер, мы в первом приближении узнали на HighLoad++ 2019. Если пропустили — читайте текстовую версию доклада Анатолия Дымарского на Хабре.
А какие ещё достижения современной науки полезно знать, посмотрим на РИТ++. Это будет новый формат конференции во всех смыслах: и по тематикам, и потому что онлайн. После Saint HighLoad++ 2020 Online мы точно уверены, что онлайн-конференциям быть и у них есть свои преимущества.
А какие ещё достижения современной науки полезно знать, посмотрим на РИТ++. Это будет новый формат конференции во всех смыслах: и по тематикам, и потому что онлайн. После Saint HighLoad++ 2020 Online мы точно уверены, что онлайн-конференциям быть и у них есть свои преимущества.
Хабр
Что может квантовый компьютер
Квантовая физика родилась в 1900 году, когда Макс Планк предположил, что энергия поглощается не непрерывно, а отдельными порциями — квантами. Его идея получила дальнейшее развитие: фотоэлектрический...
Помимо докладов на Saint HighLoad++ 2020 Online мы провели несколько прямых включений со специалистами компаний-партнёров. Первым подключился Кирилл Малеванов технический директор провайдера IT инфраструктуры Selectel и у нас и, что особенно круто, наших участников была возможность задать вопросы о работе дата-центров в условиях текущей ситуации.
Короткий ответ: «Мы работаем, все хорошо!» Нагрузка в целом где-то убыла, где-то прибыла (примерно 30% на облака), но общий показатель остался прежним. Интересно, что не изменился уровень трафика, и точно так же не изменилось потребление электричества, при том, что услугами дата-центров Selectel пользуются совершенно разные сервисы.
Нас больше всего поразило то, как у компании продуманы планы B, C, и, похоже, Z. Потому что даже количество взаимнорезервирующих договоров с поставщиками топлива для дизельных генераторов увеличено, и все необходимое для того, чтобы запереться в дата-центре и обеспечивать непрерывное функционирование услуг связи, запасено. А вас? Хотели бы пожить в ДЦ?
Короткий ответ: «Мы работаем, все хорошо!» Нагрузка в целом где-то убыла, где-то прибыла (примерно 30% на облака), но общий показатель остался прежним. Интересно, что не изменился уровень трафика, и точно так же не изменилось потребление электричества, при том, что услугами дата-центров Selectel пользуются совершенно разные сервисы.
Нас больше всего поразило то, как у компании продуманы планы B, C, и, похоже, Z. Потому что даже количество взаимнорезервирующих договоров с поставщиками топлива для дизельных генераторов увеличено, и все необходимое для того, чтобы запереться в дата-центре и обеспечивать непрерывное функционирование услуг связи, запасено. А вас? Хотели бы пожить в ДЦ?
В WoT для управления игровым миром используется технология BigWorld Technology. Это распределенный сервер из набора процессов, которые запускаются на разных машинах. Машины объединены в кластеры, а уже они соединяются в «кластер кластеров». Такая структура позволяет доставлять WoT по всему миру и справляться с инцидентами, например, наплывом новых пользователей или потерей хоста. Об этом нам рассказали Левон Авакян (Game Logic Lead) и Дмитрий Курьянович (Head of Maintenance) на прямом включении компании Wargaming на Saint HighLoad++ 2020 Online.
Включение было интерактивным — участники могли задавать вопросы Левону и Дмитрию в zoom-комнате для дискуссий. Выяснилось, что дашборды с нагрузкой WoT находятся в свободном доступе, движку игры уже 20 лет, а обновление игры разделено на части: отделены друг от друга игровые апдейты (клиент-серверные обновления) и веб-сервисы, реализующие мета-геймплей.
Левон и Дмитрий поделились с участниками дискуссии историями о DDOS-атаках на 150 Гигабит под Новый Год (потому что шифрованный UDP), доставке кода в Китай за 24 часа до релиза через другие страны (Европу или Сингапур) и контейнеризации веб-сервисов с самописной системой оркестрации вместо Kubernetes.
Включение было интерактивным — участники могли задавать вопросы Левону и Дмитрию в zoom-комнате для дискуссий. Выяснилось, что дашборды с нагрузкой WoT находятся в свободном доступе, движку игры уже 20 лет, а обновление игры разделено на части: отделены друг от друга игровые апдейты (клиент-серверные обновления) и веб-сервисы, реализующие мета-геймплей.
Левон и Дмитрий поделились с участниками дискуссии историями о DDOS-атаках на 150 Гигабит под Новый Год (потому что шифрованный UDP), доставке кода в Китай за 24 часа до релиза через другие страны (Европу или Сингапур) и контейнеризации веб-сервисов с самописной системой оркестрации вместо Kubernetes.
От Юлы в эфир Saint HighLoad++ 2020 Online вышел Айк Саргсян, чтобы рассказать об архитектуре высоких нагрузок на примере своей компании. После небольшого доклада, участники переместились в zoom-комнату, где расспросили Айка о том, как устроен их сервис.
– Оказалось поиск на главной странице Юлы состоит из 3х уровней (собственный поисковой движок, товары из ElasticSearch и, так называемый, Поиск Последней Надежды (ППН) - который представляет собой кеш всех поисковых запросов с результатами).
– Все события асинхронные и активно используется Kafka, который обрабатывает более 2х миллиардов сообщений в день.
– База данных на MongoDB держит 250к запросов в секунду, которые распределяются на 11 шардов. Каждый шард — это примерно 20k запросов в секунду на один мастер. Из них ~75% — чтения, ~20% это создание и обновление. Данные удаляются по минимуму, применяется практика soft delete.
– В монолите активно используется сервис-ориентированный подход, что позволяет легко переходить на микросервисную архитектуру.
Поговорили и о применении GraphQL — напомним, об этом Айк Саргсян рассказывал на HighLoad++ 2019.
Подробнее о том, какие задачи решает сервис Юла и какие технологии применяются читайте в блоге компании на Хабре.
– Оказалось поиск на главной странице Юлы состоит из 3х уровней (собственный поисковой движок, товары из ElasticSearch и, так называемый, Поиск Последней Надежды (ППН) - который представляет собой кеш всех поисковых запросов с результатами).
– Все события асинхронные и активно используется Kafka, который обрабатывает более 2х миллиардов сообщений в день.
– База данных на MongoDB держит 250к запросов в секунду, которые распределяются на 11 шардов. Каждый шард — это примерно 20k запросов в секунду на один мастер. Из них ~75% — чтения, ~20% это создание и обновление. Данные удаляются по минимуму, применяется практика soft delete.
– В монолите активно используется сервис-ориентированный подход, что позволяет легко переходить на микросервисную архитектуру.
Поговорили и о применении GraphQL — напомним, об этом Айк Саргсян рассказывал на HighLoad++ 2019.
Подробнее о том, какие задачи решает сервис Юла и какие технологии применяются читайте в блоге компании на Хабре.
Привет, друзья!
9 апреля в 17:00 проведём бесплатный вебинар от Кирилла Анастасина о том, как делать выступления в онлайне и чем они принципиально отличаются от классических выступлений. Рекомендуем посетить, если собираетесь выступать на наших конференциях.
Программа вебинара:
1. Проблемы нашего восприятия в процессе онлайн-выступления.
2. Реквизит для онлайн-выступления.
3. Живой рисунок в процессе и заготовки для него.
4. Работа с камерой и светом.
5. Переключения между реквизитом и основной камерой.
6. Работа с вопросами.
7. Демонстрация видео и прочие сложные кейсы.
Регистрация по ссылке
9 апреля в 17:00 проведём бесплатный вебинар от Кирилла Анастасина о том, как делать выступления в онлайне и чем они принципиально отличаются от классических выступлений. Рекомендуем посетить, если собираетесь выступать на наших конференциях.
Программа вебинара:
1. Проблемы нашего восприятия в процессе онлайн-выступления.
2. Реквизит для онлайн-выступления.
3. Живой рисунок в процессе и заготовки для него.
4. Работа с камерой и светом.
5. Переключения между реквизитом и основной камерой.
6. Работа с вопросами.
7. Демонстрация видео и прочие сложные кейсы.
Регистрация по ссылке
Доставка от Lamoda: запись митапа на HighLoad++.
Тимур Нурутдинов, руководитель отдела разработки e-commerce платформы рассказывает, какие вызовы ставит перед инженером индустрия e-commerce.
Видео будет полезно тем, кто хочет познакомиться с индустрией или разобраться в деталях устройства большого интернет-магазина.
Тимур Нурутдинов, руководитель отдела разработки e-commerce платформы рассказывает, какие вызовы ставит перед инженером индустрия e-commerce.
Видео будет полезно тем, кто хочет познакомиться с индустрией или разобраться в деталях устройства большого интернет-магазина.
YouTube
Какие вызовы ставит перед инженерами e-commerce бизнес, Тимур Нурутдинов. HighLoad 2019
Расшифровка доклада на Habr: https://habr.com/ru/company/lamoda/blog/501716/
0:00 Вступление. О чем пойдет речь?
3:11 E-com Platforma
24:48 Business Process Automation (доставка, склад, фотостудия, contact center)
38:16 ERP (Axapta, 1C)
49:58 IT Infrastructure…
0:00 Вступление. О чем пойдет речь?
3:11 E-com Platforma
24:48 Business Process Automation (доставка, склад, фотостудия, contact center)
38:16 ERP (Axapta, 1C)
49:58 IT Infrastructure…
Друзья, приглашаем принять участие в хакатоне Hack The Crisis Russia.
16 и 17 мая Mail.ru Cloud Solutions (MCS) и сообщество HackTheCrisisRussia при поддержке Онтико проведут хакатон по разработке решений для минимизации последствий пандемии коронавируса.
Хакатон Hack The Crisis Russia — первое в России мероприятие международной серии #HackTheCrisis, которую поддержали уже в 46 странах по всему миру.
Приглашаем стать участниками хакатона. Заявки принимаются с 13 по 27 апреля на сайте https://hackthecrisisrussia.ru/ и должны соответствовать нескольким критериям:
- проект решает актуальные социальные проблемы, вызванные пандемией;
- решение возможно реализовать без привлечения сторонних средств;
- продукт хорошо масштабируется и адаптируется к меняющимся условиям.
Если у вас нет своей команды или идеи проекта, вы также можете подать заявку: разработчики, администраторы, менеджеры, дизайнеры и тестировщики могут усилить сформированные команды.
Хакатон HackTheCrisisRussia будет проходить в онлайн-формате 16 и 17 мая, за работой команд можно будет наблюдать в трансляции.
16 и 17 мая Mail.ru Cloud Solutions (MCS) и сообщество HackTheCrisisRussia при поддержке Онтико проведут хакатон по разработке решений для минимизации последствий пандемии коронавируса.
Хакатон Hack The Crisis Russia — первое в России мероприятие международной серии #HackTheCrisis, которую поддержали уже в 46 странах по всему миру.
Приглашаем стать участниками хакатона. Заявки принимаются с 13 по 27 апреля на сайте https://hackthecrisisrussia.ru/ и должны соответствовать нескольким критериям:
- проект решает актуальные социальные проблемы, вызванные пандемией;
- решение возможно реализовать без привлечения сторонних средств;
- продукт хорошо масштабируется и адаптируется к меняющимся условиям.
Если у вас нет своей команды или идеи проекта, вы также можете подать заявку: разработчики, администраторы, менеджеры, дизайнеры и тестировщики могут усилить сформированные команды.
Хакатон HackTheCrisisRussia будет проходить в онлайн-формате 16 и 17 мая, за работой команд можно будет наблюдать в трансляции.
Сегодня мы открываем доступ к видеозаписям всех докладов с HighLoad++, DevOpsConf, Saint AppsConf, FrontendConf, Product Fest за 2019 год и с февральской TeamLead Conf. Это стало возможным благодаря поддержке AvitoTech.
Специалисты @avitotech работают с высоконагруженными системами и регулярно делятся своим опытом на конференциях, митапах и в статьях. Чтобы помочь вам сориентироваться в потоке видео, они составили и опубликовали на Хабре собственный топ по каждой конференции.
Спасибо партнёрам за поддержку и возможность распространять знания в области разработки и управления IT-продуктами.
Смотреть видео HighLoad++ 2019 👉 https://www.youtube.com/playlist?list=PLH-XmS0lSi_zTZrols83QSxI3Q96dSbBm, остальные плейлисты в статье и на youtube-каналах конференций.
Специалисты @avitotech работают с высоконагруженными системами и регулярно делятся своим опытом на конференциях, митапах и в статьях. Чтобы помочь вам сориентироваться в потоке видео, они составили и опубликовали на Хабре собственный топ по каждой конференции.
Спасибо партнёрам за поддержку и возможность распространять знания в области разработки и управления IT-продуктами.
Смотреть видео HighLoad++ 2019 👉 https://www.youtube.com/playlist?list=PLH-XmS0lSi_zTZrols83QSxI3Q96dSbBm, остальные плейлисты в статье и на youtube-каналах конференций.
Вторая новость на сегодня не такая значительная, но тоже хорошая.
Опубликовали на Хабре статью по одному из лучших докладов HighLoad++ «Хьюстон, у нас проблема. Дизайн систем на отказ». В этом докладе Василий Пантюхин на примерах реальных проблем с боевыми сервисами показал паттерны проектирования распределенных систем, которые используют разработчики AWS.
В конце статьи есть краткая выжимка, по которой можно проверить, какие из подходов вы уже протестировали, или освежить в памяти основные тезисы доклада.
Опубликовали на Хабре статью по одному из лучших докладов HighLoad++ «Хьюстон, у нас проблема. Дизайн систем на отказ». В этом докладе Василий Пантюхин на примерах реальных проблем с боевыми сервисами показал паттерны проектирования распределенных систем, которые используют разработчики AWS.
В конце статьи есть краткая выжимка, по которой можно проверить, какие из подходов вы уже протестировали, или освежить в памяти основные тезисы доклада.
Хабр
Хьюстон, у нас проблема. Дизайн систем на отказ
В 1970 г. американские инженеры запустили аппарат Аполлон-13 к Луне. На борту три батареи топливных элементов, беспокоиться не о чем, всё надежно и многократно продублировано. Но никто не мог...
Мы рады объявить, что благодаря поддержке компании Badoo (@badoo_tech), конференция PHP Russia 2020 Online стала бесплатной.
Badoo делают высоконагруженные продукты для полумиллиарда пользователей по всему миру. Команда решает непростые инженерные задачи и регулярно делится опытом с индустрией, в том числе в области PHP-разработки: проводит митапы, публикует материалы на YouTube и в блоге на Хабре.
PHP Russia 2020 Online пройдёт 13 мая, для участия необходимо зарегистрироваться.
Badoo делают высоконагруженные продукты для полумиллиарда пользователей по всему миру. Команда решает непростые инженерные задачи и регулярно делится опытом с индустрией, в том числе в области PHP-разработки: проводит митапы, публикует материалы на YouTube и в блоге на Хабре.
PHP Russia 2020 Online пройдёт 13 мая, для участия необходимо зарегистрироваться.
«Если вы пишете код — готовьтесь к проблемам».
Как готовиться? Например, прочитайте расшифровку доклада Алексея Миловидова на HighLoad++ 2019. Алексей рассказал о самых нелепых, обескураживающих и безнадёжных проблемах из его опыта разработки и поддержки ClickHouse.
Из рассказа может показаться, что поиск багов и их отладка похожи на увлекательное путешествие. Но едва ли вы захотите, чтобы это путешествие было кругосветным. Поэтому читайте и запоминайте, что можно предпринять, чтобы проблем было меньше.
Как готовиться? Например, прочитайте расшифровку доклада Алексея Миловидова на HighLoad++ 2019. Алексей рассказал о самых нелепых, обескураживающих и безнадёжных проблемах из его опыта разработки и поддержки ClickHouse.
Из рассказа может показаться, что поиск багов и их отладка похожи на увлекательное путешествие. Но едва ли вы захотите, чтобы это путешествие было кругосветным. Поэтому читайте и запоминайте, что можно предпринять, чтобы проблем было меньше.
Хабр
Отъявленные баги и как их избежать на примере ClickHouse
Если вы пишете код — готовьтесь к проблемам. Они обязательно будут, и ожидать их стоит со всех сторон: от вашего кода и компилятора, от операционной системы и железа, а еще пользователи иногда...
Начинаем рассказывать об онлайн-конференциях, первом из планируемых инструментов, 2000 открытых записей, среди которых теперь легко найти релевантные, и самое главное — снижении цен!
Что еще пробуем и какие концепции тестируем в организации онлайн-конференций, слушайте в подкасте «Пятиминутка PHP».
Что еще пробуем и какие концепции тестируем в организации онлайн-конференций, слушайте в подкасте «Пятиминутка PHP».
Facebook
Oleg Bunin
Друзья, В нашей базе данных сейчас более 2000 докладов со всех конференций за последние несколько лет. И мы, руководствуясь вашими интересами в текущей непростой ситуацией в мире, открыли к ним...