Авито в отчетной о HighLoad++ публикации собрали презентации и конспекты докладов своих спикеров и раскрыли секрет верткого докера и неустанавливающихся контейнеров.
https://habr.com/company/avito/blog/429988/
https://habr.com/company/avito/blog/429988/
Хабр
HighLoad++: презентации от докладчиков Авито, конспекты, фото и впечатления
В Сколково отгремела двенадцатая по счету HighLoad++. Конференция собрала больше 3000 участников, профессионалов в области работы с высоконагруженными системами.
Помните, мы говорили, что наши конференции освещают СМИ 2.0. Так вот — первые подкасты уже вышли.
https://sdcast.ksdaemon.ru/2018/11/sdcast-93/ — выпуск для тех, кто не успел разобраться, чем занимается SONM, и почему на их стенде туманные коктейли.
Коротко, SONM — это децентрализованная платформа для вычислений, исходный код проекта доступен на github, ядро системы написано на go, использует blockchain, умные контракты и много чего ещё интересного :) Подробности по ссылке.
https://sdcast.ksdaemon.ru/2018/11/sdcast-93/ — выпуск для тех, кто не успел разобраться, чем занимается SONM, и почему на их стенде туманные коктейли.
Коротко, SONM — это децентрализованная платформа для вычислений, исходный код проекта доступен на github, ядро системы написано на go, использует blockchain, умные контракты и много чего ещё интересного :) Подробности по ссылке.
Максим Цепков (@MaximTsepkov) собрал все свои записи о докладах на HighLoad++ в один большой материал, который полезен еще и тем, что Максим не только замечает основные идеи доклада, но и дает их выжимку через призму своего огромного опыта.
По ссылке большое внимание рассказам об устройстве цифрового мира и организации разработки, и меньше о технологиях http://mtsepkov.org/Highload-2018
По ссылке большое внимание рассказам об устройстве цифрового мира и организации разработки, и меньше о технологиях http://mtsepkov.org/Highload-2018
Александр Борисов (NGINX) опубликовал развернутую версию своего доклада «Разрабатываем свой браузер с нуля. Часть первая: HTML».
В статье много информации, а главное — ответ на вопрос, когда же будет следующая часть.
https://habr.com/post/430736/
В статье много информации, а главное — ответ на вопрос, когда же будет следующая часть.
https://habr.com/post/430736/
Хабр
Разрабатываем свой браузер с нуля. Часть первая: HTML
Всем привет! Продолжаем цикл статей по разработке браузерного движка. В данной статье я расскажу как создать самый быстрый HTML-парсер c DOM. Мы рассмотрим HTML...
Месяц ClickHouse подходит к концу, но ещё не закончился. Рекомендуем:
https://habr.com/company/vkontakte/blog/430168/
Статья по следам выступления Юрия Насретдинова о том, как в ВКонтакте используют ClickHouse (видео https://youtu.be/pbbcMcrQoXw). Можно задать оставшиеся вопросы (кстати, это же можно сделать и в @HighLoadTalks) и наконец-то найти ссылки на kittenhouse и lighthouse в open-source.
https://habr.com/company/vkontakte/blog/430168/
Статья по следам выступления Юрия Насретдинова о том, как в ВКонтакте используют ClickHouse (видео https://youtu.be/pbbcMcrQoXw). Можно задать оставшиеся вопросы (кстати, это же можно сделать и в @HighLoadTalks) и наконец-то найти ссылки на kittenhouse и lighthouse в open-source.
Хабр
Использование ClickHouse в VK, или Зачем мы написали KittenHouse
В начале года мы решили научиться хранить и читать отладочные логи ВКонтакте более эффективно, чем раньше. Отладочные логи — это, к примеру, логи конвертации ви...
Все уже отошли от Чёрной пятницы? Независимо от того, прошло у вас все как по маслу, или пришлось быстро-быстро поднимать упавшее, или даже если вы никак не связаны с e-commerce, рекомендуем подкаст-интервью с Евгением Потаповым (ITSumma): http://blog.golodnyj.ru/2018/11/180-art-of-programming-highload.html
Там же о трансформация админов, DevOps и программе цифровой экономики.
Там же о трансформация админов, DevOps и программе цифровой экономики.
blog.golodnyj.ru
Выпуск №180 — The Art Of Programming [ Highload ] Черная пятница
Евгений Потапов из ITSumma на конференции Highload 2018 Черная пятница Трансформация админов — Админы не админы, DevOps не DevOps Два ...
Встречаем интро-выпуск о HighLoad++ от блогера Marlin: про влияние сообщества на профессиональное развите разработчиков, про впечатления, кипящий мозг, и микросервисы - куда без них :)
https://youtu.be/oYfVEzV1dnc
https://youtu.be/oYfVEzV1dnc
YouTube
О докладах Highload 2018 [1/3]
Конференция HighLoad: https://www.highload.ru
Следующие конференции и митапы: http://ontico.ru/
Разработчиков интернета вещей: http://inothings.ru/
Для блокчейн-разработчиков:http://tokenconf.ru/
Про тимлидов и для тимлидов: http://teamleadconf.ru/moscow/2019…
Следующие конференции и митапы: http://ontico.ru/
Разработчиков интернета вещей: http://inothings.ru/
Для блокчейн-разработчиков:http://tokenconf.ru/
Про тимлидов и для тимлидов: http://teamleadconf.ru/moscow/2019…
Много разной информации о HighLoad++, докладах, спикерах, митапах, выпитых литрах пива, съеденных пирожных, татуировках, чемпионате по Counter-Strike в одном месте: https://habr.com/article/431100/
Хабр
Подсмотрено, подслушано и записано на HighLoad++ 2018
В этом году московский HighLoad++ побил очередной рекорд, собрав в стенах кампуса Сколково 3096 участников. Под катом подробности двенадцатой по счету конференции. О докладах, спикерах, митапах, выпитых литрах пива, съеденных пирожных, татуировках, чемпионате…
А все видели конспекты с HighLoad++?
Например, тут выжимка из выступления Олега Бартунова и Федора Сигаева «Как устроить хайлоад на ровном месте» https://github.com/NickVolynkin/highload-2018/blob/master/2.3-such-highload.md
Кратко о том, что такое хайлоад на самом деле, почему в идеале его не должно быть, и какие бывают костыли.
А это видео https://youtu.be/jcCLqVQs5No
Например, тут выжимка из выступления Олега Бартунова и Федора Сигаева «Как устроить хайлоад на ровном месте» https://github.com/NickVolynkin/highload-2018/blob/master/2.3-such-highload.md
Кратко о том, что такое хайлоад на самом деле, почему в идеале его не должно быть, и какие бывают костыли.
А это видео https://youtu.be/jcCLqVQs5No
Дмитрий Столяров из «Флант» в докладе «Базы данных и Kubernetes» поделился опытом и примерами баз данных в Kubernetes, а Nick Volynkin разобрал информацию на атомы и собрал все в конспект.
https://github.com/NickVolynkin/highload-2018/blob/master/1.4-bd-k8s.md?fbclid=IwAR2Hf36mEHcBrZnQxpz1yabW7Cm2wvM-cNAgtIyhoGyKJSt6Nn6ZS_4nWvQ
https://github.com/NickVolynkin/highload-2018/blob/master/1.4-bd-k8s.md?fbclid=IwAR2Hf36mEHcBrZnQxpz1yabW7Cm2wvM-cNAgtIyhoGyKJSt6Nn6ZS_4nWvQ
Что мы знаем о микросервисах? А что знает о микросервисах Авито? Какие «тайные знания» скрывают? Вадим Мадисон сорвал «покровы» и рассказал на HighLoad++ всё про микросервисы от сборки до продакшнена, про метрики и перебалансировку, а Ник Волынкин всё внимательно послушал и собрал в конспект.
https://github.com/NickVolynkin/highload-2018/blob/master/1.1-microservices.md
https://github.com/NickVolynkin/highload-2018/blob/master/1.1-microservices.md
В 1818 году немецкий профессор и барон Карл фон Дрез запатентовал первый велосипед. Apache Kafka написали в LinkedIn, открыв исходный код в 2011.
Восьмого ноября 2018 года Николай Сивко провел доклад «Apache Kafka как основа для велосипедостроения» на конференции HighLoad++, а несколько минут спустя Ник Волынкин опубликовал конспект этого выступления. Даже если бы Кафка был жив, то не смог бы записать конспект этого отличного доклада лучше.
https://github.com/NickVolynkin/highload-2018/blob/master/1.5-kafka-bicycle.md
Восьмого ноября 2018 года Николай Сивко провел доклад «Apache Kafka как основа для велосипедостроения» на конференции HighLoad++, а несколько минут спустя Ник Волынкин опубликовал конспект этого выступления. Даже если бы Кафка был жив, то не смог бы записать конспект этого отличного доклада лучше.
https://github.com/NickVolynkin/highload-2018/blob/master/1.5-kafka-bicycle.md
GitHub
NickVolynkin/highload-2018
Конспекты докладов на Highload 2018. Contribute to NickVolynkin/highload-2018 development by creating an account on GitHub.
Зачем в Badoo собирают статистику? Как её доставляют и обрабатывают? И о чем Александр Крашенинников из Badoo сказал: «Инструмент классный, документация ваще огонь, я сам туда писал» в конспекте от Ника Волынкина.
https://github.com/NickVolynkin/highload-2018/blob/master/1.6-accelerate-events.md
https://github.com/NickVolynkin/highload-2018/blob/master/1.6-accelerate-events.md
За последние 2,5 года Booking.com прошел через 3 поколения приватных облаков. Первое было построено на Mesos и Marathon. В активной фазе оно просуществовало около полугода. Решили отказаться. Второе - на OpenShift. Отказались через год. Сейчас Booking работает на чистом Kubernetes.
Иван Круглов в докладе на HighLoad++ рассказал про внедрение и проблемы всех трех платформ, про почти полную замену инфраструктуры и внедрение контейнеризованных приложений. Основные мысли и ключевые моменты в конспект доклада от Ника Волынкина. https://github.com/NickVolynkin/highload-2018/blob/master/1.2-per-aspera-ad-paas.md
Иван Круглов в докладе на HighLoad++ рассказал про внедрение и проблемы всех трех платформ, про почти полную замену инфраструктуры и внедрение контейнеризованных приложений. Основные мысли и ключевые моменты в конспект доклада от Ника Волынкина. https://github.com/NickVolynkin/highload-2018/blob/master/1.2-per-aspera-ad-paas.md
Три года назад на Highload++ Александр Крашенинников рассказывал как в Badoo построили масштабируемую систему near-realtime обработки событий. С тех пор она эволюционировала, выросли объёмы и решены задачи масштабирования и отказоустойчивости. В определённый момент в Badoo достигли точки, когда потребовались радикальные меры — смена технологического стека на связку Spark + Hadoop на ClickHouse, что в три раза сэкономило железо и увеличило нагрузку с 300 000 событий в секунду до 1 600 000 в пике. В ноябре на Highload++ Александр рассказал о этом в своем докладе, а Ник Волынкин описал кратко в своем конспекте.
https://github.com/NickVolynkin/highload-2018/blob/master/1.6-accelerate-events.md
https://github.com/NickVolynkin/highload-2018/blob/master/1.6-accelerate-events.md
Есть мнение, что больше данных, чем X5, в SAP ERP и SAP BW в России не обрабатывает никто.
Поэтому очень интересно узнать об их опыте борьбы за производительность. Сделать это можно было на конференции, а теперь и статья вышла, в комментариях можно позадавать вопросы.
https://habr.com/company/X5RetailGroup/blog/432412/
Поэтому очень интересно узнать об их опыте борьбы за производительность. Сделать это можно было на конференции, а теперь и статья вышла, в комментариях можно позадавать вопросы.
https://habr.com/company/X5RetailGroup/blog/432412/
Habr
Highload++: Как помочь ERP-системе справиться с 500 000 запросов в секунду
Мы в X5 обрабатываем много данных в ERP-системе. Есть мнение, что больше нас в SAP ERP и SAP BW в России не обрабатывает никто. Но есть еще один момент – число операций и нагрузка на эту систему...
Если вы контрибьютили свою альтернативную реализацию хэширования в Cassandra, то сегодняшняя новость не для вас :(
Но если хайлоад уже почти захлестнул, а системных знаний не хватает, то вам стоит прочитать эту статью про шардинг. Будем думать, что хуже – шардить или на шардить, и главное, когда что выбрать.
https://habr.com/company/oleg-bunin/blog/433370/
Но если хайлоад уже почти захлестнул, а системных знаний не хватает, то вам стоит прочитать эту статью про шардинг. Будем думать, что хуже – шардить или на шардить, и главное, когда что выбрать.
https://habr.com/company/oleg-bunin/blog/433370/
Хабр
Теория шардирования
Кажется, мы так глубоко погрузились в дебри highload-разработки, что просто не задумываемся о базовых проблемах. Взять, например, шардирование. Чего в нем разбир...
В ВК зарегистрировано полмиллиарда пользователей, а среднесуточная аудитория около 100 млн. Чтобы держать такую нагрузку нужна крепкая архитектура и десятки тысяч серверов. Как организовано взаимодействие между ними, как происходит мониторинг и как решают проблему постоянно ломающихся серверов рассказал Алексей Акулович на HighLoad++ в докладе FAQ по архитектуре и работе ВКонтакте, а Ник Волынкин аккуратно записал в конспект.
https://github.com/NickVolynkin/highload-2018/blob/master/2.1-vk-architecture.md
https://github.com/NickVolynkin/highload-2018/blob/master/2.1-vk-architecture.md
А вы знаете, что прием заявок на Saint HighLoad++, которая пройдет 8-9 апреля в Питере, уже идет полным ходом?
В помощь начинающим спикерам наш коуч Роман Поборчий выпустил заметку о работе программного комитета, которая будет полезна всем, кто выступает или только планирует выступить на большой профессиональной конференции.
https://habr.com/company/oleg-bunin/blog/431768/
В помощь начинающим спикерам наш коуч Роман Поборчий выпустил заметку о работе программного комитета, которая будет полезна всем, кто выступает или только планирует выступить на большой профессиональной конференции.
https://habr.com/company/oleg-bunin/blog/431768/
Хабр
Я так хотел попасть в программный комитет конференции, и вот я здесь, и что мы будем делать?
На разных конференциях обязанности участников программного комитета отличаются. Бывает так, что «программный комитет» и «организаторы» — в точности одни и те ж...
HighLoad мишка пошел на следующий круг!
Открыты продажи билетов на HighLoad++ Siberia, которая состоится 24-25 июня в Новосибирске, — минимальная цена продержится до 15 января. Подробности на сайте https://www.highload.ru/siberia/2019
Открыты продажи билетов на HighLoad++ Siberia, которая состоится 24-25 июня в Новосибирске, — минимальная цена продержится до 15 января. Подробности на сайте https://www.highload.ru/siberia/2019
highload.ru
Конференция разработчиков высоконагруженных систем HighLoad++ в Сибири 2019
На HighLoad++ всегда есть секция по DevOps, и в Санкт-Петербурге будет.
А пока статья про Ansible и механизм непрерывной поставки ролей https://habr.com/company/oleg-bunin/blog/431542/
А пока статья про Ansible и механизм непрерывной поставки ролей https://habr.com/company/oleg-bunin/blog/431542/
Хабр
Эффективная разработка и сопровождение Ansible-ролей
Ansible — система, которая решает различные задачи автоматизации, включая конфигурирование, резервное копирование и деплой проектов. Систему приятно использовать...