Media is too big
VIEW IN TELEGRAM
Пётр Зайцев — основатель компании Percona по разработке ПО для работы с базами данных, предприниматель в области open source, инвестор, ментор и adviser. Кроме Percona, участвует в проектах Altinity, которые занимаются технологией ClickHouse; FerretDB — альтернативой MongoDB и ряде других. Мы расспросили Петра, как дойти до такого уровня экспертизы и что мешает современным IT-бизнесменам.
📍Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/774998/
📍Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/774998/
👍5
Алексей Морозов расскажет про Zero-cost I/O и fault tolerance в распределенном глубоком обучении.
⠀
Узнаем, как они в Яндексе сделали zero-cost-инфраструктуру распределенного обучения поверх распределенной транзакционной файловой системы:
⠀
1. Никаких модификаций однопоточного однопроцессного кода обучения на Python — экономим время DataScientist’а. Не нужно быть бэкендером-профессионалом, чтобы писать распределенный код обучения.
⠀
2. Никакого дополнительного оверхеда по производительности под Python GIL при переходе к распределенному обучению — улучшаем утилизацию железа.
⠀
3. Автоматическое масштабирование обучений с 1 GPU на сотни видеокарт, I/O на чтение/запись в десятки GB/s — улучшаем общую емкость систем обучения.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel
⠀
Узнаем, как они в Яндексе сделали zero-cost-инфраструктуру распределенного обучения поверх распределенной транзакционной файловой системы:
⠀
1. Никаких модификаций однопоточного однопроцессного кода обучения на Python — экономим время DataScientist’а. Не нужно быть бэкендером-профессионалом, чтобы писать распределенный код обучения.
⠀
2. Никакого дополнительного оверхеда по производительности под Python GIL при переходе к распределенному обучению — улучшаем утилизацию железа.
⠀
3. Автоматическое масштабирование обучений с 1 GPU на сотни видеокарт, I/O на чтение/запись в десятки GB/s — улучшаем общую емкость систем обучения.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1🔥1
С Дани Эль-Айясс и Александром Абрамовым кратко обсудим историю NLP: от T9 до ChatGPT.
⠀
В рамках доклада спикеры осветят историческую хронологию того, как человечество пришло к текущему состоянию NLP-индустрии (появление ChatGPT и других LLM), какие челленджи, сложности и препятствия стояли перед сообществом и что нас может ждать дальше.
⠀
Обсудим следующее:
⠀
1. Состояние NLP до появления модели трансформера в 2017 году.
2. Что такое языковые модели.
3. Появление GPT-1, BERT, и как transfer learning изменил индустрию.
4. Появление GPT-2 и zero-shot.
5. Появление GPT-3, больших языковых моделей и few-shot.
6. Появление инструктивных моделей Flan-T5, Instruct-GPT, ChatGPT.
7. Их возможности, ограничения и перспективы.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel
⠀
В рамках доклада спикеры осветят историческую хронологию того, как человечество пришло к текущему состоянию NLP-индустрии (появление ChatGPT и других LLM), какие челленджи, сложности и препятствия стояли перед сообществом и что нас может ждать дальше.
⠀
Обсудим следующее:
⠀
1. Состояние NLP до появления модели трансформера в 2017 году.
2. Что такое языковые модели.
3. Появление GPT-1, BERT, и как transfer learning изменил индустрию.
4. Появление GPT-2 и zero-shot.
5. Появление GPT-3, больших языковых моделей и few-shot.
6. Появление инструктивных моделей Flan-T5, Instruct-GPT, ChatGPT.
7. Их возможности, ограничения и перспективы.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🖐
⠀
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
LLMops: Ирина Николаева расскажет, что есть, кроме ChatGPT, и как вы можете развернуть это.
⠀
Из доклада Ирины вы узнаете:
⠀
1. ML-ликбез. Про используемые в дальнейшем термины простыми словами.
2. Классический MLops и его принципы.
3. Почему Large Language Models действительно такие крутые.
4. Эволюция генерации языка. Как мир пришел к LLM.
5. Многообразие LLM: основные модели и их особенности.
6. Развернуть LLM и радоваться жизни: обзор способов, лицензий и требований к железу.
7. Квантизация и файн тьюнинг — убрать нельзя использовать.
8. Векторные базы данных и LangChain.
9. LLM всегда ли нужен?
10. Заключение.
⠀
Встречаемся уже совсем скоро на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel
⠀
Из доклада Ирины вы узнаете:
⠀
1. ML-ликбез. Про используемые в дальнейшем термины простыми словами.
2. Классический MLops и его принципы.
3. Почему Large Language Models действительно такие крутые.
4. Эволюция генерации языка. Как мир пришел к LLM.
5. Многообразие LLM: основные модели и их особенности.
6. Развернуть LLM и радоваться жизни: обзор способов, лицензий и требований к железу.
7. Квантизация и файн тьюнинг — убрать нельзя использовать.
8. Векторные базы данных и LangChain.
9. LLM всегда ли нужен?
10. Заключение.
⠀
Встречаемся уже совсем скоро на HighLoad++ 2023 🙌
⠀
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥2🤩1
Prompt engineering: путь к эффективной работе с ChatGPT разберём на мастер-классе от Ильи Козырева.
Мы начнем с основных принципов работы языковых моделей и детально разберем роль промптов во взаимодействии с ChatGPT. Особое внимание уделим мастерству формулировки промптов, которое является ключевым для извлечения максимальной пользы из возможностей искусственного интеллекта.
⠀
На мастер-классе рассмотрим как аспекты применения ИИ в разработке и тестировании, так и методы работы с ChatGPT для проектирования архитектуры. Разберем конкретную архитектурную задачу, вместе спроектируем архитектуру решения, используя ChatGPT в качестве copilot ассистента архитектора.
⠀
Участники мастер-класса смогут на практике улучшить свои промпты и получить ценный навык для работы с современными языковыми моделями.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Мы начнем с основных принципов работы языковых моделей и детально разберем роль промптов во взаимодействии с ChatGPT. Особое внимание уделим мастерству формулировки промптов, которое является ключевым для извлечения максимальной пользы из возможностей искусственного интеллекта.
⠀
На мастер-классе рассмотрим как аспекты применения ИИ в разработке и тестировании, так и методы работы с ChatGPT для проектирования архитектуры. Разберем конкретную архитектурную задачу, вместе спроектируем архитектуру решения, используя ChatGPT в качестве copilot ассистента архитектора.
⠀
Участники мастер-класса смогут на практике улучшить свои промпты и получить ценный навык для работы с современными языковыми моделями.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
Please open Telegram to view this post
VIEW IN TELEGRAM
⠀
Для онлайн-участников будут доступны:
⠀
- Все презентации спикеров
- Видеозаписи всех докладов
- Трансляция всех докладов. Митапы и воркшопы не транслируются️
- Вопросы к спикерам в telegram-чате
- Доступ к трансляции для одного пользователя
⠀
Купить онлайн-билет
⠀
Ждем вас в эфире 27 и 28 ноября 🙌
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3👍1
Самая крутая новость ноября: 27 и 28 ноября пройдет открытая трансляция Главного зала HighLoad++ 2023. Это стало возможным благодаря поддержке нашего генерального партнёра, компании Яндекс.
⭐ В программе доклады лучших спикеров:
Павел Капля (Яндекс) - Алиса 6 лет спустя.
Александр Кирсанов (VK, ВКонтакте) - Математический хайлоад: большие, очень большие и немыслимо большие числа.
Евгений Россинский (ИВИ) - Как из Python и палок собрать детектор аномалий для highload.
Вы сможете не только посмотреть интересные доклады ТОПовых разработчиков, но и задать им вопросы.
Регистрируйтесь и присоединяйтесь к просмотру 🙌
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9❤1
Как выглядит борьба со спамерами в Антифроде билайн глазами Data Scientist? Узнаем из доклада Наталии Багровой.
Команда Антиспам (подразделение Антифрод) занимается созданием услуги по защите абонентов от нежелательных (навязчивых, рекламных) спам-вызовов, а также повышением информированности абонентов о таких звонках.
Услуга работает на уровне сети, не задействуя устройство абонента, и блокирует подозрительные звонки, перенаправляя их на голосового ассистента, а абонент получает SMS или push-уведомление о характере звонка.
Наталия начнет доклад с краткого обзора рынка антиспам-услуг и существующих решений, сравнит их с целевым дизайном, к которому они пришли в билайн. Обрисует текущую ситуацию на цифрах в терминах количества звонков, приходящихся на их базу, и их распределении внутри дня, активных номеров и их лайф-тайма, особенности трафика спам-номеров.
Перед тем, как мы сконцентрируемся на сердце услуги — алгоритмах машинного обучения, отвечающих за обнаружение токсичного трафика, мы рассмотрим доступные им способы получения таргета и их ограничения, а также технические (подмена номеров, задержка данных) и логические (использование одного номера под разные цели) сложности определения спама.
Затем проведем обзор комплекса существующих моделей и офлайн- и онлайн-метрик, которые они отслеживают. Наталия пояснит, почему была выбрана именно такая конфигурация и какие альтернативы были отброшены — и почему.
Далее расскажет про то, как устроено А/В-тестирование у них в команде, и поделится краткими результатами первых пилотов.
И в завершение мы пройдемся по ближайшими планам, которые им предстоят для поддержания качества алгоритмов с учетом изменения поведения спамерами (появление номеров-однодневок, перевод трафика в WhatsApp, маскировка под положительный трафик).
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🖐️
✅ Программа конференции и онлайн-билеты на сайте в описании канала @HighLoadChannel
Команда Антиспам (подразделение Антифрод) занимается созданием услуги по защите абонентов от нежелательных (навязчивых, рекламных) спам-вызовов, а также повышением информированности абонентов о таких звонках.
Услуга работает на уровне сети, не задействуя устройство абонента, и блокирует подозрительные звонки, перенаправляя их на голосового ассистента, а абонент получает SMS или push-уведомление о характере звонка.
Наталия начнет доклад с краткого обзора рынка антиспам-услуг и существующих решений, сравнит их с целевым дизайном, к которому они пришли в билайн. Обрисует текущую ситуацию на цифрах в терминах количества звонков, приходящихся на их базу, и их распределении внутри дня, активных номеров и их лайф-тайма, особенности трафика спам-номеров.
Перед тем, как мы сконцентрируемся на сердце услуги — алгоритмах машинного обучения, отвечающих за обнаружение токсичного трафика, мы рассмотрим доступные им способы получения таргета и их ограничения, а также технические (подмена номеров, задержка данных) и логические (использование одного номера под разные цели) сложности определения спама.
Затем проведем обзор комплекса существующих моделей и офлайн- и онлайн-метрик, которые они отслеживают. Наталия пояснит, почему была выбрана именно такая конфигурация и какие альтернативы были отброшены — и почему.
Далее расскажет про то, как устроено А/В-тестирование у них в команде, и поделится краткими результатами первых пилотов.
И в завершение мы пройдемся по ближайшими планам, которые им предстоят для поддержания качества алгоритмов с учетом изменения поведения спамерами (появление номеров-однодневок, перевод трафика в WhatsApp, маскировка под положительный трафик).
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🖐️
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Сергей Жемжицкий расскажет про Data Sketches — как съесть слона целиком (даже если он бесконечный).
⠀
При обработке и анализе данных часто возникают задачи, которые сложно масштабировать из-за огромного количества требуемых вычислительных ресурсов или значительного количества времени для получения точных результатов. Примеры таких задач — подсчет уникальных элементов, подсчет распределения элементов, определение частоты тех или иных элементов и т. д.
⠀
Если приблизительные результаты при решении подобных задач допустимы, то существует класс алгоритмов, называемых потоковыми или скетчами, которые позволяют получить результат (в заданных пределах погрешности) на несколько порядков быстрее. В случае пакетной обработки данных, жизнеспособных альтернатив часто может и не быть, а в случае потоковой обработки данных скетчи — единственное известное жизнеспособное решение.
⠀
Дата-скетчи (HyperLogLog, CPC, Theta, Count-min, Fdt, KLL и др.) могут стать отличным инструментом для всех, кому необходимо извлекать полезную информацию из больших объемов данных на ежедневной основе, используя приемлемое количество времени и ресурсов.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и онлайн-билеты на сайте в описании канала @HighLoadChannel
⠀
При обработке и анализе данных часто возникают задачи, которые сложно масштабировать из-за огромного количества требуемых вычислительных ресурсов или значительного количества времени для получения точных результатов. Примеры таких задач — подсчет уникальных элементов, подсчет распределения элементов, определение частоты тех или иных элементов и т. д.
⠀
Если приблизительные результаты при решении подобных задач допустимы, то существует класс алгоритмов, называемых потоковыми или скетчами, которые позволяют получить результат (в заданных пределах погрешности) на несколько порядков быстрее. В случае пакетной обработки данных, жизнеспособных альтернатив часто может и не быть, а в случае потоковой обработки данных скетчи — единственное известное жизнеспособное решение.
⠀
Дата-скетчи (HyperLogLog, CPC, Theta, Count-min, Fdt, KLL и др.) могут стать отличным инструментом для всех, кому необходимо извлекать полезную информацию из больших объемов данных на ежедневной основе, используя приемлемое количество времени и ресурсов.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Денис Антюхов и Прохор Гладких расскажут о внедрении GigaChat LLM в виртуального ассистента Сбера: техническая реализация.
⠀
Обсудим следующие вопросы:
⠀
- цель. Зачем LLM в виртуальном ассистенте;
- использование внешних навыков;
- процесс обработки запроса;
- структура промпта;
- эксперименты и результаты.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и онлайн-билеты на сайте в описании канала @HighLoadChannel
⠀
Обсудим следующие вопросы:
⠀
- цель. Зачем LLM в виртуальном ассистенте;
- использование внешних навыков;
- процесс обработки запроса;
- структура промпта;
- эксперименты и результаты.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Magnit Tech: сервисы остатков и цен на Go. Как справиться с большими потоками данных, быть гибким и консистентным? Узнаем из доклада Дмитрия Жаворонкова.
⠀
Дмитрий расскажет, как они делали систему управления остатками и ценами:
⠀
- какие технические сложности возникают при больших объемах данных (3̰0̰к̰ м̰а̰г̰а̰з̰и̰н̰о̰в̰,̰ 10-20к SKU, ~ 500 млн строк, 150к/рпс на запись);
- монолит vs микросервисы. Что выбрали и с каким сложностями столкнулись;
- Postgres vs Tarantool. Не самый очевидный выбор;
- работа с Kafka: конфигурация, графики, семантика «exactly-once», драйвер kafka-go от segmentio;
- согласованность в конечном счете — когда и зачем ее можно применять, как достичь;
- извечный вопрос: предподготовить данные или рассчитать на лету? Они выбрали гибридный подход;
- на какие метрики ориентировались: технические и бизнесовые;
- покажет их дашборды, расскажет, как они мониторят асинхронную систему и проводят нагрузочное тестирование, графики ТТХ, нагрузки, таймингов.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023, в рамках которой пройдёт Golang Conf 2023.
⠀
✅ Программа конференции на сайте в описании канала @HighLoadChannel
⠀
Дмитрий расскажет, как они делали систему управления остатками и ценами:
⠀
- какие технические сложности возникают при больших объемах данных (3̰0̰к̰ м̰а̰г̰а̰з̰и̰н̰о̰в̰,̰ 10-20к SKU, ~ 500 млн строк, 150к/рпс на запись);
- монолит vs микросервисы. Что выбрали и с каким сложностями столкнулись;
- Postgres vs Tarantool. Не самый очевидный выбор;
- работа с Kafka: конфигурация, графики, семантика «exactly-once», драйвер kafka-go от segmentio;
- согласованность в конечном счете — когда и зачем ее можно применять, как достичь;
- извечный вопрос: предподготовить данные или рассчитать на лету? Они выбрали гибридный подход;
- на какие метрики ориентировались: технические и бизнесовые;
- покажет их дашборды, расскажет, как они мониторят асинхронную систему и проводят нагрузочное тестирование, графики ТТХ, нагрузки, таймингов.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023, в рамках которой пройдёт Golang Conf 2023.
⠀
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5
В билайне для улучшения бизнес-процессов и повышения эффективности дата-сайентист полностью владеет и управляет жизненным циклом своих ML-моделей — от обучения и до постановки в продакшн и на мониторинг.
В компании разработана и внедрена собственная MLOps-платформа, на которой работают несколько десятков продуктовых команд: она позволяет дата-сайентисту любого уровня самостоятельно разрабатывать модели и вводить их в работу.
⠀
На HighLoad++ 2023 совместно с билайном мы подготовили секцию докладов, посвящённую ML. Если вы дата-сайентист или интересуетесь этой темой, не пропустите доклады секции:
⠀
Новые возможности в HR tech. Решаем генеративные задачи с помощью: Transformer + LoRA + RLHF. Марк Паненко (Работа.ру)
Актуальные угрозы безопасности в Large Language Model Applications. Артем Бачевский (MTS RED)
В компании разработана и внедрена собственная MLOps-платформа, на которой работают несколько десятков продуктовых команд: она позволяет дата-сайентисту любого уровня самостоятельно разрабатывать модели и вводить их в работу.
⠀
На HighLoad++ 2023 совместно с билайном мы подготовили секцию докладов, посвящённую ML. Если вы дата-сайентист или интересуетесь этой темой, не пропустите доклады секции:
⠀
Новые возможности в HR tech. Решаем генеративные задачи с помощью: Transformer + LoRA + RLHF. Марк Паненко (Работа.ру)
Актуальные угрозы безопасности в Large Language Model Applications. Артем Бачевский (MTS RED)
Мы встретимся уже совсем скоро — 27 и 28 ноября в кампусе Сколково состоится HighLoad++ 2023. Вы наверняка знаете, что доклады — это только часть конференции, а все самое важное происходит в кулуарах и в общении с экспертами.
⠀
В этом году мы организовали для вас индивидуальные консультации по вопросам разработки, юридическим и управленческим задачам. В разговоре с экспертами вы найдёте ответы, которые не сможете нагуглить или спросить у AI. Экспертные зоны — место для хардкорных вопросов о разработке
⠀
Экспертные зоны будут работать на стендах партнёров. Мы наблюдаем за развитием IT-сообщества и выбрали лучших специалистов в своей области. Приходите обсудить конкретный кейс или получить общее представление об интересующей вас теме.
⠀
Чтобы вынести максимум из разговора с экспертом, заранее сформулируйте вопрос или круг проблем, которые вы хотите обсудить.
⠀
Экспертные зоны будут работать оба дня конференции с 10:00 до 18:00
⠀
В этом году мы организовали для вас индивидуальные консультации по вопросам разработки, юридическим и управленческим задачам. В разговоре с экспертами вы найдёте ответы, которые не сможете нагуглить или спросить у AI. Экспертные зоны — место для хардкорных вопросов о разработке
⠀
Экспертные зоны будут работать на стендах партнёров. Мы наблюдаем за развитием IT-сообщества и выбрали лучших специалистов в своей области. Приходите обсудить конкретный кейс или получить общее представление об интересующей вас теме.
⠀
Чтобы вынести максимум из разговора с экспертом, заранее сформулируйте вопрос или круг проблем, которые вы хотите обсудить.
⠀
Экспертные зоны будут работать оба дня конференции с 10:00 до 18:00
С Константином Козловским рассмотрим точки отказа в хайлоад-системах. Backend.
⠀
Доклад о разработке, эксплуатации и отладке высоконагруженных систем в Газпромбанке. Рассмотрим типовые причины отказа, методы поиска проблем и лучшие инженерные практики, обеспечивающие высокую доступность системы и оперативное расследование инцидентов.
⠀
Константин расскажет вот о чём:
⠀
- Как разработчик видит хайлоад (джун/мидл/сеньор);
- виды точек отказа в хайлоаде с точки зрения backend;
- память сервиса под нагрузкой;
- пулы потоков;
- пулы соединений к базе данных;
- пулы tcp-соединений;
- пулы jms-сессий и соединений;
- реактивность (project reactor) и распространенные ошибки (java/kotlin);
- прокси и балансировщики;
- примеры инцидентов и их решение (как можно было предотвратить);
- диагностика и мониторинг хайлоад-проблем (практические примеры мониторинга).
⠀
До скорой встречи на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и онлайн-билеты на сайте в описании канала @HighLoadChannel
⠀
Доклад о разработке, эксплуатации и отладке высоконагруженных систем в Газпромбанке. Рассмотрим типовые причины отказа, методы поиска проблем и лучшие инженерные практики, обеспечивающие высокую доступность системы и оперативное расследование инцидентов.
⠀
Константин расскажет вот о чём:
⠀
- Как разработчик видит хайлоад (джун/мидл/сеньор);
- виды точек отказа в хайлоаде с точки зрения backend;
- память сервиса под нагрузкой;
- пулы потоков;
- пулы соединений к базе данных;
- пулы tcp-соединений;
- пулы jms-сессий и соединений;
- реактивность (project reactor) и распространенные ошибки (java/kotlin);
- прокси и балансировщики;
- примеры инцидентов и их решение (как можно было предотвратить);
- диагностика и мониторинг хайлоад-проблем (практические примеры мониторинга).
⠀
До скорой встречи на HighLoad++ 2023 🙌
⠀
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Кирилл Мокевнин — сооснователь школы программирования «Хекслет». В 2019 году по результатам голосования его наградили Премией HighLoad++ — за весомый вклад в IT-образование.
Мы узнали у Кирилла, что для него значит Премия и как стать узнаваемым человеком в индустрии: https://habr.com/ru/companies/oleg-bunin/articles/775604/
Мы узнали у Кирилла, что для него значит Премия и как стать узнаваемым человеком в индустрии: https://habr.com/ru/companies/oleg-bunin/articles/775604/
🔥1🎉1🤩1
От CRM к DataLake с K8s и микросервисами – тема доклада Андрея Вильмова.
⠀
Как только система начинает разрастаться, появляются различные внешние и внутренние сервисы, с которыми необходимо реализовывать интеграции. Появляются задачи по построению аналитики или построению предиктивных моделей, а система не позволяет это делать без нагрузки? Или необходимо масштабировать систему?
⠀
Ответом на эти вопросы будут микросервисы, которые помогут реализовать всю необходимую логику. Как в этом помогают Kafka и Airflow, и что такое ETL. Все это поможет построить хорошую архитектуру, которую можно будет масштабировать и к которой можно подключать неограниченное число интеграций и внешних сервисов.
⠀
До скорой встречи на HighLoad++ 2023 🙌
⠀
✅ Ознакомиться с программой конференции и присоединиться к нам онлайн можно на сайте в описании канала @HighLoadChannel
⠀
Как только система начинает разрастаться, появляются различные внешние и внутренние сервисы, с которыми необходимо реализовывать интеграции. Появляются задачи по построению аналитики или построению предиктивных моделей, а система не позволяет это делать без нагрузки? Или необходимо масштабировать систему?
⠀
Ответом на эти вопросы будут микросервисы, которые помогут реализовать всю необходимую логику. Как в этом помогают Kafka и Airflow, и что такое ETL. Все это поможет построить хорошую архитектуру, которую можно будет масштабировать и к которой можно подключать неограниченное число интеграций и внешних сервисов.
⠀
До скорой встречи на HighLoad++ 2023 🙌
⠀
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
С Андреем Цветцих обсудим эволюцию и мифы CQRS.
⠀
Казалось бы, про CQRS всё уже давно сказано — но Андрею есть что добавить!
⠀
Если спросить 10 разных разработчиков: что такое CQRS, то получишь 10 разных ответов. В докладе Андрей обобщит свой многолетний опыт применения CQRS. Обсудим, какие варианты реализации CQRS бывают. Какие преимущества дает каждый из вариантов, и какие он накладывает ограничения.
⠀
Также обсудим самые популярные вопросы и заблуждения CQRS:
⠀
- могут ли команды возвращать значения. Если нет, то почему?
- могут ли query писать логи?
- что делать, если две команды должны использовать общую логику?
- поможет ли CQRS при росте нагрузки на сервис?
⠀
🖐 Встречаемся уже 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и онлайн-билеты на сайте в описании канала @HighLoadChannel
⠀
Казалось бы, про CQRS всё уже давно сказано — но Андрею есть что добавить!
⠀
Если спросить 10 разных разработчиков: что такое CQRS, то получишь 10 разных ответов. В докладе Андрей обобщит свой многолетний опыт применения CQRS. Обсудим, какие варианты реализации CQRS бывают. Какие преимущества дает каждый из вариантов, и какие он накладывает ограничения.
⠀
Также обсудим самые популярные вопросы и заблуждения CQRS:
⠀
- могут ли команды возвращать значения. Если нет, то почему?
- могут ли query писать логи?
- что делать, если две команды должны использовать общую логику?
- поможет ли CQRS при росте нагрузки на сервис?
⠀
🖐 Встречаемся уже 27 и 28 ноября на HighLoad++ 2023.
⠀
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉3👍2🔥1
Роман Горб расскажет, как они запускали YandexGPT.
⠀
Из этого доклада вы узнаете, как заставить большую языковую модель реально работать и приносить пользу, а не только писать что-то прикольное.
⠀
Роман расскажет:
⠀
• Какие этапы проходила модель от pretrain-а до релиза в продукт, и с какими сложностями они столкнулись
• Как они починили баг в фреймворке распределенных коммуникаций NCCL и ускорили pretrain на 30% для всех
• Как уложиться на инференсе в имеющиеся вычислительные ресурсы, ускорив модель в N раз без значительных потерь в качестве
⠀
Встречаемся уже 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и онлайн-билеты на сайте в описании канала @HighLoadChannel
⠀
Из этого доклада вы узнаете, как заставить большую языковую модель реально работать и приносить пользу, а не только писать что-то прикольное.
⠀
Роман расскажет:
⠀
• Какие этапы проходила модель от pretrain-а до релиза в продукт, и с какими сложностями они столкнулись
• Как они починили баг в фреймворке распределенных коммуникаций NCCL и ускорили pretrain на 30% для всех
• Как уложиться на инференсе в имеющиеся вычислительные ресурсы, ускорив модель в N раз без значительных потерь в качестве
⠀
Встречаемся уже 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6🔥2👍1🎉1
Самая крутая новость ноября: 27 и 28 ноября пройдет открытая трансляция Главного зала HighLoad++ 2023. Это стало возможным благодаря поддержке нашего генерального партнёра, компании Яндекс.
⭐ В программе доклады лучших спикеров:
Павел Капля (Яндекс) - Алиса 6 лет спустя.
Александр Кирсанов (VK, ВКонтакте) - Математический хайлоад: большие, очень большие и немыслимо большие числа.
Евгений Россинский (ИВИ) - Как из Python и палок собрать детектор аномалий для highload.
Вы сможете не только посмотреть интересные доклады ТОПовых разработчиков, но и задать им вопросы.
Регистрируйтесь и присоединяйтесь к просмотру 🙌
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2❤1👍1
Консалтинг на HighLoad++ 2023: управленческие задачи и юридические головоломки.
⠀
Обсудите сложности в управлении и развитии бизнеса с Aletheia Digital и решите юридические головоломки с компанией Nevsky IP Law (важно: слотов для консультаций немного).
⠀
♻️ Aletheia Digital помогает руководителям разного уровня быстро приобретать уверенность и мастерство в управлении. Примеры вопросов, которые можно обсудить с ними:
⚡️Как мотивировать людей и создавать договоренности, которые выполняются?
⚡️Как научить сотрудников находить решение вместе, а не жаловаться на невыстроенные процессы?
⚡️Как системно работать с непрерывными изменениями?
⠀
Запись на консультацию с Aletheia Digital по ссылке: https://calendly.com/ontico/aletheia-digital?month=2023-11
⠀
♻️ Nevsky IP Law специализируются на защите интеллектуальной собственности. С ними можно обсудить:
⚡️Как снизить риски и предотвратить проблемы с сотрудниками или подрядчиками при переходе в другую компанию или создании своего бизнеса?
⚡️Как разграничить права на собственные результаты и те, что созданы по договору заказа? И как в этом случае снизить риски в отношениях с крупными заказчиками?
⚡️Как оптимизировать налоговую нагрузку компаниям, имеющим ИТ-подразделения?
⠀
Бронирование слота для встречи: https://calendly.com/ontico-2/nevskylaw?month=2023-11
⠀
До встречи 27 ноября!
⠀
Команда HighLoad++
⠀
Обсудите сложности в управлении и развитии бизнеса с Aletheia Digital и решите юридические головоломки с компанией Nevsky IP Law (важно: слотов для консультаций немного).
⠀
♻️ Aletheia Digital помогает руководителям разного уровня быстро приобретать уверенность и мастерство в управлении. Примеры вопросов, которые можно обсудить с ними:
⚡️Как мотивировать людей и создавать договоренности, которые выполняются?
⚡️Как научить сотрудников находить решение вместе, а не жаловаться на невыстроенные процессы?
⚡️Как системно работать с непрерывными изменениями?
⠀
Запись на консультацию с Aletheia Digital по ссылке: https://calendly.com/ontico/aletheia-digital?month=2023-11
⠀
♻️ Nevsky IP Law специализируются на защите интеллектуальной собственности. С ними можно обсудить:
⚡️Как снизить риски и предотвратить проблемы с сотрудниками или подрядчиками при переходе в другую компанию или создании своего бизнеса?
⚡️Как разграничить права на собственные результаты и те, что созданы по договору заказа? И как в этом случае снизить риски в отношениях с крупными заказчиками?
⚡️Как оптимизировать налоговую нагрузку компаниям, имеющим ИТ-подразделения?
⠀
Бронирование слота для встречи: https://calendly.com/ontico-2/nevskylaw?month=2023-11
⠀
До встречи 27 ноября!
⠀
Команда HighLoad++
Добро пожаловать в реальный мир, робот! Александр Чистяков расскажет, как они построили систему симуляции, позволяющую тестировать новые беспилотные автомобили на произвольных кейсах из реального мира.
⠀
Прежде чем выпускать беспилотный автомобиль на дороги города, необходимо удостовериться в его безопасности и эффективности. Конечно, можно для этого улучшать тестовое покрытие компонентов, выстраивать более чувствительные метрики для оценки ML-моделей, описывать сотни тестовых сценариев для анализа поведения беспилотного автомобиля в конкретных дорожных ситуациях. Однако реальный мир оказывается намного сложнее, чем это могла бы предвидеть любая рукописная система тестирования.
⠀
Александр расскажет еще вот о чём:
⠀
- откуда в симуляторе берутся 2 реальности и из чего они состоят;
- к каким проблемам приводит эффект бабочки и как обратить эти проблемы в преимущества;
- зачем они заставили беспилотное авто проходить тест Тьюринга и как с помощью этого теста померили то, что не смог замерить человек.
⠀
До скорой встречи на HighLoad++ 2023! Вы еще можете присоединиться к нам онлайн 🙌
⠀
✅ Программа конференции на сайте в описании канала @HighLoadChannel
⠀
Прежде чем выпускать беспилотный автомобиль на дороги города, необходимо удостовериться в его безопасности и эффективности. Конечно, можно для этого улучшать тестовое покрытие компонентов, выстраивать более чувствительные метрики для оценки ML-моделей, описывать сотни тестовых сценариев для анализа поведения беспилотного автомобиля в конкретных дорожных ситуациях. Однако реальный мир оказывается намного сложнее, чем это могла бы предвидеть любая рукописная система тестирования.
⠀
Александр расскажет еще вот о чём:
⠀
- откуда в симуляторе берутся 2 реальности и из чего они состоят;
- к каким проблемам приводит эффект бабочки и как обратить эти проблемы в преимущества;
- зачем они заставили беспилотное авто проходить тест Тьюринга и как с помощью этого теста померили то, что не смог замерить человек.
⠀
До скорой встречи на HighLoad++ 2023! Вы еще можете присоединиться к нам онлайн 🙌
⠀
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4❤1👍1