💥Как решить проблемы оркестрации сотен задач по обработке данных с помощью Apache Airflow? – Расскажет на HighLoad++ Владимир Баев, Senior Big Data Developer в Grid Dynamics.

Apache Airflow широко используется для оркестрации ETL data-пайплайнов. Давайте более детально взглянем на Airflow с точки зрения разработки и эксплуатации: какие особенности помогут избежать проблем, а какие могут потенциально привести к отказу работы распределенных систем.

✅Посмотреть всю программу и приобрести билет можно здесь.

🔥7 декабря с 16:00 до 21:00 МСК пройдёт митап Онтико и Слёрма

«Stateful-приложения в 2020 году»

Слёрм — обоазовательный проект, обучающий инженеров из России и СНГ лучшим практикам DevOps, SRE и некоторым технологиям (Kubernetes, Docker, Ceph, Kafka и другие).

На митапе поговорим о том, что происходит с базами данных, что с ними делать в 2020 году, какие перспективы и тренды нас ждут.

Ведущий митапа — Антон Черноусов. Developer Advocate в Yandex.Cloud, автор подкаста «The Art Of Programming».

Спикеры:
🔹Марсель Ибраев. CTO Слёрм
🔹Андрей Квапил. Cloud Architect и DevOps Engineer в WEDOS Internet a.s.

Встречаемся 7 декабря, в 16:00 МСК

Полная информация о митапе и регистрация по ссылке.

😱Опять боль и страдания!!!

Внедряя NoOps в большой компании, Сергей Бердников (ЦФТ), руководитель отдела эксплуатации платежной системы «Золотая корона — Денежные переводы», услышал много разного.

🔥По классике жанра, Сергей собрал все возможные "грабли", где-то пришлось пойти на компромиссы, ибо любая концепция требует обработки напильником под себя, чтобы максимально решать свои задачи. И на HighLoad++ расскажет про свой опыт погони за хайпом.

✅Программа и билеты здесь.

🔥Уже через пару часов встречаемся онлайн на митапе от Онтико и Слёрм «Stateful-приложения в 2020 году».

Слёрм — образовательный проект, обучающий инженеров из России и СНГ лучшим практикам DevOps, SRE и некоторым технологиям (Kubernetes, Docker, Ceph, Kafka и другие).

На митапе поговорим о том, что происходит с базами данных, что с ними делать в 2020 году, какие перспективы и тренды нас ждут.

✅Сегодня в 16:00 МСК, нужно зарегистрироваться

Слёрм-митап начнётся с минуты на минуту. Подключайтесь — https://www.highload.ru/2020/slurm-meetup/watch

🔥Уже сегодня в 17:00 начнётся митап со SberDevices

В сентябре Герман Греф выступил на Сберконф не только с презентацией логотипа, но ещё и показал умные устройства, управляемые голосом и жестами, распознающие лица.

😎Хотите научиться писать программное обеспечение для этих устройств?

✅Регистрируйтесь на митап!

🖖Всем привет! Через несколько минут стартует Первый митап разработчиков SberMarket.

Присоединяйтесь, готовьте вопросы спикерам.

https://ontico.online/2020/sberdevices-meetup/watch

😎Григорий Коваль (МТС), Data Lake Product Owner, на HighLoad++ поделится практическим опытом создания и эволюции одного из крупнейших в России Озера Данных:

• задачами, которые приходится решать, и как удается совмещать технические желания и бизнес-рационализм;
• как совместить классические и более современные подходы к архитектуре данных с Hadoop-экосистемой;
• концептуальной архитектурой данных — современными подходами, разницей между Data Lake и Data Mesh.

✅Расписание, программа, билеты здесь.

💥Два года назад компания Scentbird, пережив серьезный рост, решила строить свою систему аналитики для обеспечения необходимой гибкости. Scentbird постоянно совершенствуется в этом направлении, и самым качественным изменением в архитектуре стал переход от ETL к ELT-концепции посредством инструмента DBT. Это позволило компании сосредоточится на бизнес-смысле перевозимых данных, вместо технических особенностей процесса трансформации данных.

😎Подробнее о трансформации и последствиях расскажет Иван Зерин на HighLoad++.

✅Посмотреть всю программу и купить билет.

😎Иван Артюхов в GridGain занимается тестированием производительности (benchmarks, load testing, endurance testing) распределенной БД на базе Apache Ignite. На HighLoad++ выступит с докладом “Production-like-нагрузочное тестирование распределенной системы”.

💥Иван расскажет, как был написан PoC Tester — фреймворк для описания логики работы клиентских узлов, которые симулируют реальную нагрузку на тестовый кластер — и какие задачи пришлось решить в процессе.

✅Расписание, программа, билеты.

💥Важно видеть то, как сервисы взаимодействуют между собой до выхода в продакшн. Но что делать с факторами, выходящими за рамки простых тестов? Как поведет себя система, когда сеть тормозит, сервис в цепочке сломали, подсеть отвалилась?

😎На HighLoad++ Олег Якушкин (СПбГУ) покажет, как наблюдать за логикой работы сервисной системы, когда в сети творится хаос! На самом важном для вас уровне — уровне разработчика сервисов.

✅Посмотреть всю программу и купить билет.

Всем привет!

Есть новости, которые не касаются какой-то конкретной конференции или митапа, а больше рассказывают о том, как мы думаем, что планируем и собираемся делать.

Обсуждение онлайн-форматов конференций, программ обучения спикеров, гибридных конференций следующего года, diversity-тематик, концепций конференций - всё что выходит за привычные рамки.

🔥Для таких общих тем мы решили завести свой канал и чатик

Подключайтесь!

Cтартуем митап Как построить цифровую платформу? Что должен знать техлид? 👉 https://youtu.be/u1SonVou7xI

📍Начнем обсуждение с разработки прикладных приложений на основе облачной платформы.
✅Обсудим развитие архитектуры от интеграции через очереди сообщений до прямых запросов и значение транспортных библиотек в этом процессе.
📍Рассмотрим внедрение автотестов на проекте как "источника правды" и лайфхаки для упрощения их написания.
✅Узнаем, как навести порядок разрозненной документации, структурировать её.

😎Василий Тюбек (Mail.ru Group) и Александр Деулин (МегаФон) выступят на HighLoad c докладом «Как мы Change Data Capture делали».

Есть нагруженная SQL-база данных известного вендора, есть потребность: получать изменения из этой базы в realtime, желательно, не переписывая все сервисы, которые пишут в эту базу данные, и отправлять их дальше. Василий и Александр расскажут, как сделали Change Data Capture из Oracle, какие способы опробовали, какие грабли собрали и как их обошли.

✅Расписание, программа, билеты.

💥Высоконагруженные приложения финансовой сферы предъявляют жесткие требования ко всем компонентам и особенно к системе хранения данных. Что делать, когда высокую нагрузку на MySQL нужно не просто хорошо держать, но держать без даунтайма. Как решать проблемы работы с двумя дата-центрами? Как отслеживать потенциально опасные ситуации и предотвращать простой?

😎Обо всём этом расскажет в своём докладе на HighLoad Владимир Федорков (ECOMMPAY IT) Владимир вытаскивает проекты, использующие MySQL, из сложных жизненных ситуаций и более 15 лет специализируется на высоких нагрузках.

✅Вся программа и билеты на конфу.

😎Дмитрий Кирий (Техцентр Deutsche Bank) C++-девелопер/Java developer/Project & Program manager/IT Director/IT architect и спикер нашей HighLoad.

Дмитрий расскажет про трансформацию Enterprise- и Highload-приложений в HPC.

✅Купить билеты на HighLoad++.

💥Kubernetes Operator Pattern был создан для автоматизации роли человека-оператора, который управляет приложениями, имея глубокие знания о том, как их правильно готовить. Это как раз то, что необходимо для управления базами данных!

😎В своей презентации на HighLoad Пётр Зайцев (Percona) расскажет, как Kubernetes Operator для управления базой данных может быть устроен внутри и чему в Percona научились, создавая операторы для MySQL и MongoDB.

✅Познакомиться с программой и купить билеты на HighLoad.